かつてはこの地を舟倉といい、藩軍船や御用船の停泊地で、船手組の藩士たちが居住していましたが、寛政4年に起きた島原大変の大津波で全滅し、多くの船手組の藩士達も亡くなり行方不明になりました。
藩主・松平忠憑はこれを悼み、翌年寛政5年（1793年）にこの回向堂を建立して、多福軒（本光寺副住職の寺）に永代供養を命じました。
堂内には本尊の如意輪観世音菩薩像が祭られており、その左には「溺死者諸精霊」の位牌があります。背面には275人の法名を書いた掛け軸が掲げられています。
遺体は大穴を掘って埋葬し、卒塔婆や自然石を墓標としていたそうで、今でも回向堂の下には人骨があるそうです。
平成18年に骨組みを残して建て直されました。 この舟倉回向堂は、島原半島三十三観音の五番札所でもあります。 毎年5月に奉納式が行われます。