Siedzibą towarzystwa jest klasycystyczny dworek Sierakowskich, najstarszy z zachowanych w całości zabytków Sopotu. Budowniczym dworku był pod koniec XVIII wieku Kajetan Onufry hrabia Sierakowski (1753-1841) właściciel dóbr Waplewa, Osieka i Lubowidza, a w latach 1793-1814 także dworu sołeckiego w Sopocie, starosta bobrownicki, kasztelan słoński, poseł na Sejm Czteroletni, orędownik Konstytucji 3 Maja, senator Królestwa Polskiego.
W 1797 r., na podstawie umowy o wymianie działek z radcą dworskim Janem Fichtem, Kajetan Sierakowski został właścicielem zacisznej parceli o funkcjach wypoczynkowych. Już w czasach gdańskich patrycjuszy stał na tej parceli dom letniskowy widoczny na mapie Sopotu z 1714 r. W miejscu domu murowanego pokazanego na planie sytuacyjnym załączonym do umowy, wzniósł Kajetan Sierakowski malowniczy dworek, a wokół dworku założył kunsztowny park będący przez ponad sto lat jedną z głównych atrakcji kąpieliska. Rodzinie Sierakowskich dworek ten służył za letnisko przez kilkanaście lat.
Pod koniec 1814 r., zajęty odbudową swych dóbr w głębi kraju po wojnach napoleońskich, Kajetan Sierakowski sprzedał sopocką posiadłość gdańskiemu kupcowi Danielowi Gotthilfowi von Frantziusowi. Również i nowej rodzinie, zamieszkałej na stałe w Gdańsku, rezydencja sopocka służyła za letnisko aż do początków XX w. Do zasług tej rodziny dla nadmorskiego uzdrowiska należy dbałość o założony przez Sierakowskich park.
W październiku 1904 r. rezydencję odkupił od Cecylii Frantzius Otto Friedrichs, właściciel majątku Friedrichsrode (dziś Strzebielinko) nad Jeziorem Żarnowieckim, rentier zajmujący się m.in. handlem sopockimi nieruchomościami. Rozparcelował on park wokół dworku i sprzedał jako działki budowlane, dworek zaś odnajmował na cele mieszkalne. Przed pierwszą wojną światową lokatorem dworku był profesor Politechniki Gdańskiej Richard Kohnke, późniejszy budowniczy Grand Hotelu, a po tej wojnie generał-major Hartwig von Eichendorff, wnuk barona Józefa von Eichendorffa (1788-1857), romantycznego poety i pisarza niemieckiego związanego z Sopotem.
W styczniu 1923 r. parcelę z dworkiem zakupiło małżeństwo prawników z Wrzeszcza, Gertruda i Fryderyk von Kries. Byli to pierwsi i jedyni w dziejach dworku właściciele zamieszkujący w nim na stałe. Jednak po śmierci męża w 1935 r. Gertruda wyprowadziła się do Berlina, dworek zaś wynajęła na mieszkanie komandorowi Ottonowi Dröscherowi, komisarzowi Urzędu Morskiego w Gdańsku. Wiosną 1945 r. opuszczony dworek oddano pod zarząd miejskiego kwaterunku i urządzono w nim mieszkania dla trzech rodzin. Poprzez wpis w sądowej księdze wieczystej w 1958 roku dworek przeszedł na własność państwa polskiego, w roku 1962 wpisano go do rejestru zabytków konserwatora wojewódzkiego, a w roku 1974 przeznaczono na siedzibę nowo powstałego Towarzystwa Przyjaciół Sopotu. Po drugiej wojnie światowej mieszkali w dworku m.in.: grafik. malarz i ilustrator Andrzej Dudziński (1945-2003) oraz dyplomata Aleksander Giedrojć.