大正7年、豊島園の開園者として知られる藤田好三郎がこの地を取得し、邸宅を建設した。　その後、大正12年、安田財閥の創始者安田善次郎の娘婿善四郎が購入し、昭和12年に長男楠雄が相続した。　建物は、伝統的な和風建築の書院造や数寄屋造を継承しながらも、内部に洋風の応接間を設けるなど、和洋折衷のスタイルも取り入れた造りである。　平成7年楠雄氏他界の後、遺族から財団法人日本ナショナルトラストに寄贈され、歴史的建造物として修復管理されている。