天正13年（1585）の豊臣秀吉の根来寺攻略の時、寺のほとんどが焼失しましたが、本尊の如意輪観音が焼け残ったとされています。その後、紀州藩主徳川頼宣により現在地に本堂を建立され、永世厄除祈願寺としたといいます。旧暦の２月の初午や二の午の日は厄除け観音参りで賑わいます。