社伝によれば白鳳年間の創建といわれ、一国一社の国府八幡宮と呼ばれる古社として知られている。東国に縁深い武門の崇敬が厚く、殖産・海上守護・安産子育てなど広く庶民の信仰を集めている。本殿は、正面３間、側面２間の総丹塗りで屋根は銅板葺（元はこけら葺）の入母屋造りで、室町時代中期の建物と考えられている。拝殿は正面５間、側面３間で本殿同様総丹塗の建物。県内の神社建築で国の重要文化財の指定を受けているのは、香取神宮本殿と飯香岡八幡宮本殿の二社のみ。また、拝殿は県指定文化財に指定されている。