大老井伊直弼が17～32歳の部屋住時代を過ごした屋敷。直弼公は藩主の子として生まれたが、５歳で母を17歳で父を失い、養子先もなく埋木舎で、わずか300俵の捨扶持の身で、過ごした。「世の中をよそにみつつも埋れ木の埋れておらん心なき身は」と詠み、埋木舎と名づけて学問と人間修養に精進した。