相賀地区には、今から400年位前慶長の頃、大洪水が起こり村の大部分が流出してしまいましたが、3本のカヤだけが残ったという伝説があります。杉沢、上相賀の大カヤはこのうちの2本であるとされています。昭和32（1957）年12月25日に静岡県の天然記念物に指定されました。