延宝3年(1675年)9月、初代島原藩主・松平忠房が「人々に時刻を知らせ、守らせることは政治の中でも大切なことである。」と、鐘楼を建立しました。
巨鐘は豊後国中島の藤原正次に鋳造させたもので、純金を鋳こんだ高さ1.3メートル、代銀401匁の青銅製の鐘が吊り下げられ、これを毎時間ごとに撞き鳴らして時刻を知らせていました。 ひときわ美しく澄んだ音色は遥か遠くまで響き渡り、西風の日は熊本県沿岸まで28キロの海をわたって聞こえたと伝えられています。堂の下は空洞で、音を共鳴させる特殊な構造になっていたそうです。
明治維新後も、島原の人たちに「お上の鐘」として親しまれ続け、飯塚家がここに住み着き3代にわたって鐘つきをしました。しかし、生活に溶け込んでいた時鐘も太平洋戦争の金属供出命令によって昭和19年(1944年)に運び去られ、270年間もの長い歴史の余韻を残したままその行方はさだかではありません。
鐘楼だけは昭和48年まで残っていましたが破損もひどかったので、昔をしのぶ人たちの寄付によって復元されました。現在の鐘は、直径69センチメートル、高さ132センチメートル、重さ375キログラムほどあります。銘文や模様は北村西望氏の労作によるものです。
坂をお山の方へ少し上ると七門のうちの一つ、『西虎口門』の跡地です。