Музейный комплекс сохранил типичный облик городской купеческой усадьбы конца XIX века: двухэтажный кирпичный дом, построенный в 1886 году отцом художника, Михаилом Сафроновичем. В нем Александр Герасимов провел свои детские и юношеские годы, здесь жил со своей семьей после революции, с 1918 по 1925 год. Здесь же, кстати, был написан известный пейзаж «После дождя. Мокрая терраса», репродукция которого многие годы публиковалась в учебнике русского языка.
Во дворе усадьбы сохранились хозяйственные постройки: каретный сарай, погреб и амбар, приспособленный в 30-х годах под мастерскую (в ее стенах создано более сотни известных герасимовских работ). От дома к мастерской, расположенной в глубине двора, ведет вымощенная булыжным камнем дорожка. Слева находится выставочный зал, построенный в 1981 году, к 100-летию со дня рождения А. М. Герасимова. В его стенах находится самая большая коллекция произведений художника в стране.
