Библиотека № 5 была основана в 1934 году как филиал библиотеки им. Н. К. Крупской. С 1936 по 1941 год – библиотека Щемиловского жилмассива. В годы блокады Ленинграда обслуживала читателей до января 1943 года, затем была законсервирована и открылась в 1945 году. В 1959 году переименована в Невскую библиотеку № 4.
В 1975 году, в результате централизации сети государственных массовых библиотек для взрослых в Невском районе, в состав централизованной библиотечной системы Невского района вошла в качестве филиала № 5. В 1978 году переехала на правый берег Невы. В 1998 году ей присвоено имя поэта Николая Рубцова.
Сегодня это учреждение с мемориальным компонентом. В ней развернут литературный музей «Николай Рубцов: стихи и судьба», посвященный жизни и творчеству поэта и содержащий около 4 000 единиц хранения.
На 1 января 2023 года фонд включает 101 304 экземпляра книг. В ней проходят самые разнообразные мероприятия для взрослых и детей (концерты, лекции, мастер-классы и др.), экспонируются выставки. На постоянной основе функционирует игротека Stay & Play.
