Два других флигеля стояли отдельно по сторонам главного дома. На речном откосе возвышалось здание крепостного театра. Основательно реконструирована усадьба была при графе Арсении Андреевиче Закревском. К хозяину часто съезжались знакомцы по походам 1812 года, а вдохновительницей всех праздников и балов была ослепительная красавица, хозяйка дома — Аграфена Федоровна Закревская.
Одно время ею был увлечен Пушкин, и даже посвятил ей стихотворение «Портрет». После Октябрьской революции барский дом в Ивановском был разорён и отдан под общежитие. К концу 1970-х годов от усадебных построек остались только руины.
С 1980-х в главном усадебном доме разместился Федеральный музей профобразования.