Fief de la famille des Lastour et des Pompadour, le château est fondé au XIe siècle. Reconstruit au XVe siècle, il est offert en 1745 par Louis XV, avec ses dépendances, à sa favorite Jeanne Antoinette Poisson, qui devient la nouvelle marquise de Pompadour. Louis XV redevient propriétaire du site en 1761 et y crée un haras. La direction en est confiée au marquis de Tourdonnet. Cette activité renforce la réputation du Limousin, dont ont dit qu'il produit les meilleurs chevaux de selle du royaume pour les meilleurs régiments de cavalerie légère.
En 1790, les haras royaux sont supprimés. La production d'étalons reprend cependant à partir de 1795. L'activité devient alors florissante. Le haras est réorganisé par Antonin Chebrou de Lespinats, qui en devient directeur en 1834. Il aménage herbages et écuries, selon un schéma toujours en cours, en répartissant les étalons dans les écuries attenantes au château, les poulinières dans les écuries et prairies plus éloignées du château, dans le domaine de la Rivière, et les poulains au sevrage dans une succursale, à La Villatte. Il installe également un hippodrome dans la prairie au pied du château.
Les anglo-arabes élevés au haras acquièrent aux XIXe et XXe siècles une solide réputation sportive, en remportant de nombreux prix lors des concours et compétitions. Le centre de la Rivière devient un important conservatoire des races arabe et anglo-arabe.
En 1999, l’Institut du cheval, créé sur la commune de Pompadour en 1974 pour développer la base de données des équidés, est fusionné avec l’ancien service des Haras. Le siège du nouvel établissement public, les Haras nationaux, est alors installé à Pompadour, dans les anciens locaux de l’Institut du cheval, agrandis par un nouveau bâtiment inauguré en 2006.