その昔、ここからの眺望絶景をたたえて聚遠の門とよんでからこの名がつけられたと言われている。ここの茶室は心字池上にある浮堂で書院造りを模した数奇屋風の建築で、安政年間城主脇坂安宅が京都所司代の職にあって御所が炎上した時、その復興に功績があったため、孝明天皇から拝借したと伝えられています。