市の中心部に今のような城下町がつくられたのは、松平英親が入部してからといわれ、その繁栄を背景とした美しい町並や武家屋敷群が今日に残り、城下町は、南台・北台と呼ばれる高台に侍屋敷を、その間の谷川に沿って町屋を配し、これらの高台を結んで、志保屋の坂、酢屋の坂、勘定場の坂などがある。又、南台の西方、南側斜面には寺院街が続き、今なお優雅な堂々たる建造物群として独特の景観をみせる。北台には藩校「学習館」の正門がそのままの姿で現在の杵築小学校の門として残るほか、松平七代親賢の別館であった楽寿亭、藩の重臣であった大原氏の邸宅跡などが残っている。