Рядом с церковью Михаила Архистратига находится семейная часовня Арсеньевых-Лермонтовых, выстроенная в 1842 г. «на средства дворянки Елизаветы Алексеевны Арсеньевой».
В документе канцелярии пензенского губернатора за 1901 г. записано: «Каменная часовня над могилой Михаила Юрьевича Лермонтова… крыта железом, внутри в квадрате – 8 арш., вышина – 12 арш., толщина стен – 1,5 арш. <...> В этой часовне стоят три памятника за железною решеткой:
В стене часовни с северной стороны вделана доска из белого мрамора с… надписью: «Елизавета Алексеевна Арсеньева, урожденная Столыпина, скончалась 16 ноября 1845 г. 85 лет».
В таком же виде памятники находятся в часовне и сейчас. Сохранились росписи в куполе здания и иконы, которые были в часовне при Е. А. Арсеньевой, а по внутреннему периметру можно прочесть строчку пасхального тропаря: «Христос воскресе из мертвых, смертию смерть поправ и сущим во гробех живот даровав».