大岡寺は、標高６６４メートルの大岡山の山頂近く（標高５２０メートル付近）い位置する。大岡山は但馬地方の豪雨地帯にあり、昭和４２年、積雪の不便さから部落が麓の平地に集団移転したのを受けて寺の建物を順次下山移転し、現地にはいま、堂舎の基壇・礎石と庭園が残るのみとなっている。
　大岡寺の由緒については明確なことはわからないが、大岡山については『３代実録』貞観１０年（８６８）に「但馬国正６位大岡神」に従５位下を授ける記事があり、また、永暦２年（１１６１）の「注進大岡寺敷地山林事」には惣寺内・４至を示した後、本仏薬師堂・地主大岡社・客人白山社等があったことが記され但馬地方の古刹であることが知られる。
　中世大岡寺は１２坊の別院を有し大伽藍を形成していたが、明応４年（１４９５）北の坊より出火し一山が烏有に帰した。明応９年（１５００）本堂を再建し、本尊薬師如来を安置して一応の復興をみた。その後天和３年（１６８３）に現本堂が再建されたことが棟札により明らかとなり、庫裡もこの頃併せて建設されたと伝えられる。
　庭園は庫裡書院の東庭として作られており、池は東西に細長く北岸中央部に湾入して滝を配する山裾の地形を利用した池泉庭園である。滝石組・護岸には巨石を用いて豪快な石組である。また、池には２つの岩島をおき、東の島には細長い石橋を架け渡していた。滝石組上部には平坦面が形成され、白山権現社拝殿が建っていた。
　庫裡跡から庭園を眺めると主要部の滝石組が見えず、天和の改修以前、明応の再建に伴って作庭されたものと考えられる。旧大岡寺庭園は、巨石を多く用いて豪快であり、配石の均衡も優れている。また地割り・配石は一乗谷朝倉氏諏訪館跡庭園によく似ていて、中世末期の庭園を研究するうえで貴重であり、但馬地方を代表する庭園である。よって名勝に指定して保存を図るものである。
　池は東西１２メートル強・南北８メートル強の大きさである。手前の護岸石組は直線状をなし、池尻部で大きく南へ折れる。やや西より部分に高さ１・６メートル、幅１・５メートルの巨石を用い、滝石組への遠近感を強調している。対岸は中央やや西寄りの滝石組を中心とし、西方へは山裾部の土留め兼用の一群の石組がある。また、東へは滝の手前４メートル弱の所に高さ２・１メートル、幅１・６メートルの巨石を立て滝への奥行きを表わす石組がある。それに続いて小滝風石組・池尻部石組と連続的にダイナミックな石組がある。池には２つの岩島をおく。西方のものは１石の山状岩島で、東のものは４石を組み合わせた平低な島である。この島には長さ１・５メートル（現在測れる寸法）以上の細ながい石橋で小滝風石組の全面へ架け渡していたが、近年両界石であるとする人によって立石されてしまっている。
　滝は高さ約３メートルで下から３段に組んでいる。３段目の水落石は高さ約１・３メートル、幅約１・５メートル、右下方に傾斜した形状の巨石で、この巨石右側に寄り添い支えるように高さ約２・２メートル、幅約６０センチメートルの立石を据える。滝の左側は巨樹の切株等で不詳である。水落石左には小石を、右側には平天の大石を配し、後方には高さ約１・３メートルの遠山石を据えて滝石組の景観をまとめている。また、滝石側下方の石組は高さ１メートル以上の立石をリズミカルに立て下し、現地の陰影と併せて深山幽谷を彷彿させる石組である。
　植物はモミジ・シイ・タラヨウなどが大きく育ち、池・滝の石組を大きく覆っている。
　以上のような地割り・配石は一乗谷朝倉氏諏訪館跡庭園に非常によく似ていて、戦国末期武家好みの作風を今に伝える代表的なものといって過言でない。また、巨石を多く用いて豪快であり、かつ配石の均衡は優れたものがあり、鑑賞上も見事である。よって名勝に指定して保存を図ろうとするものである。