西暦730年、聖武天皇の命令により建造された。源平合戦の際は、御在所と言われる安徳天皇の住まいになっていた。