Библиотека возникла на базе 122 национализированных частных библиотек вскоре после революции 1917 года на проспекте Пролетарской победы (ныне Большой проспект).
В 1920 году, в связи с десятилетием со дня смерти Л. Н. Толстого, библиотеке было присвоено имя писателя. Первым директором был Ловягин Александр Михайлович, имевший высшее образование и опыт работы в библиотечном деле с 1897 года.
Великая Отечественная война застала работников библиотеки за ремонтом помещения. Библиотекарей мобилизовали на постройку бомбоубежища, но все-таки к 15 августа 1941 года ремонт был закончен. Директором библиотеки с 1939 года по 1945 год была А. И. Ростикова. Более 5 000 книг собрали сотрудники библиотеки для действующей армии, вели переписку с постоянными читателями, ушедшими на фронт.
В 1991 году в библиотеке открылась галерея «Форум», где проводятся выставки произведений петербургских художников, графиков, фотографов и мастеров декоративно-прикладного искусства. В зеленой гостиной библиотеки проводятся концерты классической музыки и бардовской песни, литературно-музыкальные вечера, работает кинолекторий. В Краеведческом центре библиотеки представлен уникальный фонд литературы о Санкт-Петербурге, о Васильевском острове, проходят заседания клубов.
На сегодняшний день библиотека обслуживает около 7 000 читателей, ее фонд насчитывает более 83 000 экземпляров.
