岩につくコケが赤く見えることから紅岩と呼ばれる。昔旅人がこの岩を目印としたと言われる。南朝時代の落武者の伝説もある。