Село Ершово, где расположена усадьба, имеет большую историю. В 2002 году ему исполнилось 550 лет. В начале XVII века имением владел боярин Салтыков, известная фигура при дворе царя Михаила Фёдоровича Романова. Позже усадьба перешла в руки его сына, который был приближённым царя Алексея Михайловича и управляющим Малороссийским приказом. Далее имение передавалось из поколения в поколение, оставаясь в роду Салтыковых до 1764 года.
При владельце Д. А. Олсуфьеве в усадьбе значился одноэтажный дом и деревянная церковь, но настоящий расцвет усадьба переживает при его сыне — Василии Дмитриевиче. То, что мы можем увидеть сегодня, построено именно благодаря последнему владельцу усадьбы.