Трудами келейника Варлаама была поставлена каменная церковь. Через его посредничество в 1878 году в обители была явлена чудотворная икона Божией Матери «Неупиваемая Чаша».
В 1598 — 1609 годах шла полная перестройка монастыря на средства Бориса Годунова в честь бескровной победы на реке Ока.
В 1806 году монастырь ожидал упразднения. Митрополит Платон, видя необходимость иметь в Серпуховском уезде девичий монастырь, обратился к императору Александру I с просьбой преобразовать монастырь из мужского в девичий.
В 1919 году Владычный монастырь закрылся: на его территории разместили школу «красных военлетов», на базе которой в дальнейшем создали военное летное училище. С тех пор монастырь прозвали «Авиагородок».
Икону «Неупиваемая Чаша» перенесли в собор Николы Белого. В 1978 году военное училище покинуло территорию монастыря, после чего (с 1995 года) во Владычном монастыре возродилась монашеская жизнь.
На территории Владычного монастыря расположен вольер, где вместе с курицами обитают величавые птицы — павлины. Кстати, павлин является символом Серпухова и даже красуется на его гербе.
