卜蔵家は鉄師として絲原家、櫻井家等諸家と共に優遇され、しかも中世以来の豪族であったと言われています。そしてこの庭園は、松江藩とのつながりにより、卜蔵家が関西地方から庭師（小堀遠州の弟子）を招き、元禄四年（１６９１）、五代将軍綱吉の頃、約３００年前に作庭したものと伝えられています。