明治後期から大正初期ごろに伊東元三氏（当時開業医師）が別邸（宅地187．8坪、木造瓦葺約40坪）として建築され、四方の眺望に優れていることから「四明荘」と名付けられました。
庭園は昭和初期に禅僧を招いて造られたと言われ、色とりどりの鯉が泳ぐ庭園の池へは一日に約3000トンもの清水が流れているそうです。
そのため豊かな湧水を利用した庭として市民に親しまれてきました。
座敷は正面と左側面の二方が池へ張り出して縁を廻しており、一段高い屋敷から庭園を見下ろすと座敷と庭園が一体となり、ここでしか見られない独特の美しい景観が広がります。
また、居室棟裏手に位置する四角形の池には、四つの中島があり、表の庭園とはまた違った趣があります。澄んだ水の周りは低い石積で護岸され、池底はいずれも砂敷き、池の中には沢飛石が配置されています。
平成20年7月28日に国の登録記念物、平成26年4月25日に国の登録有形文化財となり、「鯉の泳ぐまち」の一角にある人気の観光スポットとなっています。