Sur l'emplacement d'un ancien couvent qui avait été occupé par les congrégations de l'ordre des Célestins puis des Cordeliers, la municipalité envisage en 1875 la construction d'un édifice neuf et adapté, destiné à recevoir des soldats et leurs montures. Sur les plans de l'architecte Jacques Hermant, un nouveau quartier est bâti entre 1893 et 1905 sur une surface de 4 hectares. Le plan général est établi en fer de lance dont la pointe est orientée vers Notre-Dame. L'édifice s'impose dans le milieu urbain, notamment par sa façade donnant sur le boulevard Henri IV (percé en 1871), d'un style sobre et sévère, rehaussée par un bossage de pierres de Haute-Marne cassées au marteau.
Des écuries pouvant accueillir près de 500 chevaux sont construites autour d'une piste de 250 mètres destinée à la détente des équidés. Un manège rectangulaire d'une surface intérieure au sol de 53x22 m est construit, il porte le nom de Battesti, ancien officier de la Garde Républicaine, tué à l'ennemi en 1914. Cet espace est coiffé d'une structure métallique « Eiffel » et permet le travail des chevaux à l'abri des intempéries. Sur son fronton situé au-dessus de son entrée principale, un bas-relief signé Allard représente symboliquement un homme maîtrisant des chevaux en liberté, dans un style imitant le bas-relief de Robert Lorrain à l'hôtel de Rohan (1736).