Усадьба расположилась на берегу реки Пахры. Архитектурный облик комплекса строений сложился на рубеже XVIII — XIX вв., при Ф. А. Толстом. Главный дом обращён фасадом к реке. Трёхэтажный дворец с шестиколонным портиком особенно хорошо смотрится именно со стороны Пахры, берег которой когда-то украшала каменная терраса.
Двухэтажные боковые флигели, украшенные широкими окнами с полуколоннами, прежде стояли отдельно от центрального корпуса, соединяясь с ним невысокими крытыми переходами.
Два других флигеля стояли отдельно по сторонам главного дома. На речном откосе возвышалось здание крепостного театра. Основательно реконструирована усадьба была при графе Арсении Андреевиче Закревском. К хозяину часто съезжались знакомцы по походам 1812 года, а вдохновительницей всех праздников и балов была ослепительная красавица, хозяйка дома — Аграфена Федоровна Закревская.
Одно время ею был увлечен Пушкин, и даже посвятил ей стихотворение «Портрет». После Октябрьской революции барский дом в Ивановском был разорён и отдан под общежитие. К концу 1970-х годов от усадебных построек остались только руины.
С 1980-х в главном усадебном доме разместился Федеральный музей профобразования.
