Le Fraysse se situe au nord-est du Département du Tarn, à environ 4 kilomètres d'Alban, 8 kilomètres de Villefranche d'Albigeois et 25 kilomètres d'Albi. La commune s'étend sur 2 963 hectares avec une altitude moyenne de 550 m, comprise entre 239 m pour le point le plus bas et 631 m pour son point le plus haut. Le territoire est caractérisé par un plateau incliné vers l'ouest et dont le paysage est composé de prairies naturelles et de parcelles cultivées.