創建は八世紀頃、その後鎌倉末期に中興された。　元々は伊勢市吹上に建てられていたが、１６７０［寛文１０］年１１月の山田の大火で焼失してしまい、山田奉行の方針で現在地に移され明治維新を迎えた。