À partir de 1738, la zone située à l’entrée ouest de la ville subit une transformation majeure. Au-delà de l’enceinte fortifiée, en partie démantelée, cette zone est convertie en un quartier militaire complet, doté d'un corps de casernes et d'une vaste place d’Armes.

Jusqu’alors, une situation délicate prévalait : les troupes en garnison étaient logées et nourries par l’habitant. Cette pratique entraînait des troubles de l’ordre public et représentait une charge financière conséquente pour la Municipalité et la population. La création du quartier militaire était donc une nécessité vitale pour la stabilité de la ville.

Le Pavillon lui-même voit le jour grâce à un legs effectué par un généreux habitant, Léonard de Mesmay. Grâce à sa contribution, la ville érige, entre 1764 et 1768, le pavillon spécifiquement destiné à loger les officiers de la garnison de cavalerie.

Pour dessiner les plans de cet édifice, la ville fait appel au contrôleur-architecte Antoine-Louis Attiret. Celui-ci conçoit un bâtiment aux proportions harmonieuses. Les deux ailes sont disposées en équerre et s’articulent autour d’un magnifique escalier en pierre, pièce maîtresse de la structure.

La répartition des logements était hiérarchique :

• Le rez-de-chaussée abritait deux appartements réservés aux officiers supérieurs.
• Les étages supérieurs étaient la résidence des capitaines et lieutenants.

La fonction militaire du bâtiment était ostensiblement rappelée en façade. On y trouve un décor sculpté constitué d’attributs guerriers et, surtout, un trophée d’armes en haut-relief couronnant l’avant-corps, soulignant son rôle essentiel au sein de la caserne.

Depuis 1980, le pavillon a connu une seconde vie. Rénové par l’architecte Louis Miquel, il ne loge plus d'officiers mais accueille désormais les collections permanentes et les expositions temporaires du Musée des Beaux-Arts. Ce changement de vocation permet de préserver et de valoriser ce patrimoine historique auprès du public.