À la fin du XVI^e  siècle, la ville de Vesoul, comme d’autres en Franche-Comté, se montre désireuse de disposer de son propre collège afin de pouvoir former en son sein des élèves qui, jusqu’alors, partent étudier à Besançon ou à Dole.

En 1610, elle confie à l’ordre des Jésuites la gestion du collège existant. En 1765, après l’expulsion de ces derniers du royaume de France, le collège est désormais placé sous l’invocation de saint François de Sales. Il passe sous le contrôle de l’université de Besançon, qui y nomme les prêtres régents chargés d’y enseigner.

Sous l’Ancien Régime, seuls les garçons des familles les plus aisées (bourgeois, hommes de robe, négociants) y ont accès. Par décision du 2 mai 1796, le collège est officiellement remplacé par une école centrale départementale avec des enseignements scientifiques. Sa vocation évolue vers une école secondaire communale en 1802, puis un collège communal en 1810.

Bien qu’érigé en lycée impérial par décret du 5 septembre 1859, il ne fonctionne comme tel qu’à la rentrée de 1862. En 1908, le lycée prend le nom de Jean-Léon Gérôme (1824-1904), en hommage au célèbre peintre né à Vesoul¹.