源頼義の建立と伝えられている。本殿、随神門、城輪神社社殿は、市指定有形文化財に指定されている。