Литературно-художественный музей, расположенный в усадьбе “Приютино”, был открыт в 1974 году. Усадьба “Приютино” ранее принадлежала Алексею Николаевичу Оленину, который был директором Императорской публичной библиотеки и президентом Академии художеств. Усадьба была приобретена в 1795 году его женой, Елизаветой Марковной, и была расположена недалеко от Санкт-Петербурга. В 1805 году усадьба стала принимать гостей, и со временем первоначальные деревянные постройки были заменены каменными строениями из неоштукатуренного кирпича. На территории усадьбы находились два главных здания, оранжереи и многочисленные хозяйственные постройки, а также пейзажный парк рядом с прудом.
Семья Олениных часто принимала в своей усадьбе известных гостей из столицы, включая писателей, музыкантов, архитекторов и других представителей интеллигенции. Некоторые из наиболее известных гостей включали поэтов Александра Пушкина и Василия Жуковского, композитора Михаила Глинку, историка Николая Карамзина, художника Карла Брюллова, баснописца Ивана Крылова, писателя и дипломата Александр Грибоедов.