Здание Дома культуры было построено в 1980 году на средства колхоза «Красная заря». На сегодняшний день Дом культуры - это единственное место досуга для жителей деревни Рыбаковщина, поскольку другие объекты социальной инфраструктуры отсутствуют.
В течение творческого сезона активно работают два клуба по интересам для взрослого населения: клуб общения «Золотой возраст» и клуб любителей цветов «Вечная красота», а также творческое объединение «Зарянка».
Большой популярностью у населения пользуются выставки декоративно-прикладного творчества, вечера отдыха, посиделки, концертные программы, праздники.
