主屋は、明治42年（1909）に着工し、大正元年（1912）に竣工した。車寄を備えた平屋建の書院棟、三階建の応接棟、平屋建の旧台所棟などから構成される。屋根は銅板葺で、外壁にも銅板を張るなど、外観に大きな特徴をもつ。建築材料には、吟味された国産の良材がふんだんに用いられている。棚や天井、建具、欄間などの造作や意匠、また狂いのない塗壁からは、当時の高度な木造建築技術の一端をうかがうことができる。施主は、「山林王」と称された実業家・磯野敬（1868〜1925）。棟梁は、当時二十代の若さであった北見米造（1883〜1964）が務めた。その後、「石油王」とよばれた中野貫一（1846〜1928）の所有を経て、大谷哲平（1907〜1998）の所有となった。平成17年（2005）に国の重要文化財に指定され、現在は公益財団法人大谷美術館が管理している。