柳生但馬守宗矩が芳徳寺を建立した後，この地に陣屋を建築，3年を要して1742年に完成したと伝えられている。陣屋は1747年に全焼したが，当時の間取り，石垣などを復原し，公開している。