牟礼町出身の江戸時代後期の儒学者　柴野栗山（しばのりつざん）の記念館。江戸で朱子学を学び、寛政3博士の1人に数えられるまでに学問の道を極めた柴野栗山の木像を安置し顕彰している。また往時を偲ぶ学術的資料など保管されている。受験シーズンには、近郷近在から多くの若者が合格祈願に栗山堂を訪れる。