源頼朝東国経営の折、この地で波風の静まるの待つうちに、夢に菅原道真が現れて、二つの吉事があると伝えた。お告げどおりなり、ここに社殿を造営した。また夢からさめると道真の立っていた跡に、牛の形をした石があった。このため「牛天神」とも言われている。