球磨川南岸に臨む高台にある。人吉城は１１９８（建久９）年以来、明治維新に至るまで相良家の居城として栄えた。修築の際、三日月紋の入った石が見つかったことから、別名「繊月城」とも呼ばれた。球磨地方統一の象徴であったこの城は、現在「武者返し」と呼ばれる石垣だけが残る。桜の名所でもあり、二の丸跡からは球磨川の流れと人吉市内が一望できる。夜間にはライトアップされ、川面に佇む情緒ある姿が浮かび上がる。