А.Н. Оленин - крупный государственный деятель, обладал разносторонними интересами в области культуры, был президентом Императорской Академии художеств и директором Публичной библиотеки, художником, археологом. Он делил свои досуги между Приютиным и Царским. У него любили собираться люди искусства и науки.

Дом был построен в 1828 году архитектором В. М. Горностаевым для придворного истопника Агафонова. С 1831 года дом принадлежит семье Олениных. Дача А.С. Пушкина располагается напротив Дома Олениных. А.С. Дочь Алексея Николаевича была возлюбленной А.С. Пушкина в 1828—1829 годах. Адресат его стихотворений «Её глаза», «Пустое Вы сердечным ты…», «Не пой красавица при мне», многих строф «Онегина».

В 1921 году в нём проживала Анна Ахматова. Именно в этом санатории она узнала о гибели первого мужа, Николая Гумилёва, и брата, Андрея Горенко.

Дом двухэтажный, выходит фасадами на две улицы. Угол дома скруглённый, его венчает купол с башней. На башне в 1999 году был размещён флюгер в виде петуха, символизирующий золотого петушка из сказки Пушкина, к юбилею которого он был подарен городу.