庭園は、津山藩主、森忠政の国家老、森采女可春がこの地に住んでいた元和の頃に作られたといわれています。客殿裏の枯山水の築山と前庭の亀島は小堀遠州作と伝えられ、当時の石組手法をよく残した県下の代表的な庭園です。