壇の浦の戦で敗れ落ちのびた平行盛が居城を構えたと伝えられ，ここはその平行盛を祀っている。