堀氏は、近世初期から近代にかけて、笹ヶ谷銅山などの採掘に従事した銅山師の家系である。特に、第９代堀藤十郎伴義（１７３９〜１８０６）は笹ヶ谷銅山の経営における堀氏の主導的な地位を築き、津和野の白石川沿いに主屋をはじめ堀氏住宅の主要建築群を建造した。また、第１５代堀藤十郎礼造（１８５３〜１９２４）は近辺の鉱山を次々と購入して経営を拡大し、「楽山」と号して主屋の隣地に数寄屋建築や庭園を構えたほか、その近辺に鉱山開発に関わった労働者や住民のための病院などを整備した。
旧堀氏庭園は天明５年（１７８５）建造の主屋に南面する枯山水庭園のほか、明治３３年（１９００）建造の数寄屋建築「楽山荘」とその庭園の「楽山園」、大正４年（１９１５）に白石川対岸の傾斜地に石組みを施して築造した「和楽園」と養魚池、明治末期から大正時代に堀氏が建設した畑迫病院の外構造園を含む計４箇所の園地から成る。
主屋の庭園は書院に南面する前庭部を土塀で囲み、庭門から書院沓脱を経て矩折に飛石を打ち、その周囲に石組みや置燈籠、灌木の植込みなどを配置した簡素で小規模な枯山水庭園である。江戸時代に定着した書院前庭の定型を示し、主座敷の付書院付近に位置する視点からの正面性を活かした意匠・構成となっている。
これに対し、近代に造営された楽山荘と楽山園、及び対岸の和楽園では、それぞれ高低差のある地形を巧みに利用して、変化に富んだ多彩な景観構成を生み出している。特に楽山園では、背後の山域に堀氏が拓いた銅山の坑口から水を引き、離れ落ちの形式をもつ２段の勇壮な滝石組を築くほか、池辺の飛石に沿って雪見灯籠や十三重の層塔型石灯籠を見所となるように石造物を配置するなど、意匠・構成の両面において秀逸である。楽山荘の主座敷に座すと、左手から滝の水音とともに迫る幽邃な山腹が池の水面へと連なり、右手にかけて白石川沿いの水田から対岸の和楽園へ、さらには中腹に設けられた六角形の四阿へと連続する一幅の絵のような風景が展開する。
白石川対岸の和楽園では、傾斜面の足下に中島を擁する石組みの池を穿ち、そこから上方の六角形の四阿に至るまで、露頭のわずかな凹みに石を組んで小径が拓かれている。さらにその上方の展望地点からは、堀氏が銅山経営の拠点とした白石川沿いの谷筋の全体を望むことができるなど、複数の視点を定めることにより地域空間と一体となった独特の景観構成が見られる。また、和楽園の石組みの池の東には鯉・鮒・鰻を養殖するための３つの方形池が連続し、意匠性の高い石組みの池のみならず、実用的な養魚池をも組み合わせて観賞の対象としていたことがうかがえる。
主屋から約１ｋｍ下流に当たる白石川の左岸には、明治２５年（１８９２）に堀藤十郎礼造が建設した畑迫病院の敷地と建物の跡が存在する。当初の建築は失われたが、大正５年（１９１６）に増築された木造の病院建築が敷地の西半部に現存する。病室や手術室に面する前庭部には、銅の精製物から製造された鍰煉瓦を用いて花壇が造られ、主屋背後の温室で育てられたチューリップやオジギソウなどの草花が移し植えられたほか、ドクダミなどの薬草も栽培されていた。また、東側の外来患者の玄関口に通ずる門前には一対のカイヅカイブキの老木が当時のまま遺っており、玄関前の広場の中心には円形の築山の痕跡も明瞭に遺存する。畑迫病院跡は堀氏関連の重要な福祉医療施設の遺跡であり、その敷地は近代病院造園の遺構として貴重である。
以上のように、旧堀氏庭園は主屋の前庭、楽山園、和楽園、畑迫病院の外構造園の遺構など、優秀な意匠・構造をもつ多彩な造園的要素から成り、それらが堀氏の銅山開発を主軸として相互に緊密な関係をもちつつ、白石川の谷地形及び川沿いの土地利用とも一体となって独特の景観構成を見せる。