盛岡市中央公民館のある場所は、江戸前期に盛岡城で使用する薬草を栽培していたため「御薬園」と呼ばれていた。そのあと、御薬園は廃止され、御殿・御茶屋・能舞台などが造営され、奇岩・珍木を集めた大規模な庭園が造られた。裏山の愛宕山には京都高雄の楓を植え、山腹には毘沙門・山王・観音堂を祀り、「下小路御屋敷」として代々藩公の別荘、遊歩地となっていた。江戸後期には藩校「明義堂」の講義所を設置し、藩士の子弟に経学・医学などを講義する教育の場にもなった。明治維新の変革によって、これらの建物・庭園は取り壊され、現在の木造の建物と庭園は、南部伯爵家別邸として明治41年（1908）に新築造園されたものである。明治30年（1955）以降、別邸は盛岡市の公民館施設として使用され、昭和55年中央公民館建設の際、建物の一部を残し増改築、現在に至る。