Vers 1802, le futur baron d’Empire Mathieu de Favier acheta un ancien château féodal situé sur un contrefort des Vosges, en contrebas duquel il fit construire un manoir.
Sur la pente séparant la demeure Directoire et la forteresse « gothique », Favier fit aménager un « jardin-tableau » de la fin du 18e.