かつては島原の港に浮かぶ松島と呼ばれ、宗像社と弁財天を祀る島でした。
寛政4年（1792年）の島原大事変で眉山が崩壊したことで周りが埋まり、そのまま小山として残ったのが、ここ弁天山です。
明治33年（1900年）この弁天山に岡山県出身の廣田言証師が理性院（大師堂）を開きました。言証師は40代で不治の病にかかり病弱でしたが、四国88ヶ所の巡礼や、日本全国の霊場を巡り歩いて弘法大師の教えを広めました。
苦行の中、雲仙普賢岳で霊感を得て、明治28年（1895年）9月、弁天山に太山寺教会所として大師堂を開山しました。
その後、言証師は東南アジアに渡ってインドの仏跡を巡拝して回り、その際に60cmあまりの大理石の釈迦如来像を奉持して帰国しました。
これを安置するために、明治42年（1990年）台山天如塔を建てました。
台山天如塔は『からゆきさん』と呼ばれる、島原の悲しい歴史の記録でもあります。
明治から昭和初期にかけて、島原半島や熊本県天草地方の貧しい家庭の娘たちは、外貨獲得の為東南アジアへ売られていきます。
からゆきさんと呼ばれた彼女たちは、ほとんどが外国での過酷な環境の中死亡し、故郷に戻ることはできませんでした。
廣田言証師は南方の巡礼先で彼女たちの供養を行います。
その行いが生き延びたからゆきさんたちの帰依を呼び、天如塔建設への寄進となりました。
周囲にある人名・地名・金額が彫られた無数の古い玉垣はその記録です。
台風などの影響で破損が著しい状態でしたが、市民有志らの募金活動により、2014年に修復されました。
その他、境内には「十二支本尊」「松島弁天財堂」などがあります。