沼津市の狩野川（かのがわ）河口東方の島郷（とうごう）海岸に位置する。島郷海岸は，波静かで遠浅の海浜を成して白砂青松（はくしゃせいしょう）の風致景観を呈し，夏季は涼しい海風により避暑地，冬季は西方の牛臥山(うしぶせやま)と防風林が季節風を遮って避寒地として保養の適地である。苑地は旧本邸・東附属邸・西附属邸の３つの区域から成る。旧本邸の区域は明治２６年（１８９３）に竣工し，順次整備を重ねた。明治時代後半には皇室子弟の教育施設としての整備が進められ，明治３６年（１９０３）には東附属邸を，明治３８年（１９０５）には本邸西側に位置していた養育係，川村純義(かわむらすみよし)の別荘を西附属邸として整備し，大正１１年（１９２２）には全容が整った。旧本邸建物は昭和２０年（１９４５）の空襲によって焼失したが，クロマツ林と芝生地，そして，海浜に臨み，富士山・牛臥山等を望む苑地は今も風致景観をよく保持しており，昭和４４年（１９６９）の御用邸廃止後は，沼津御用邸記念公園として沼津市が管理している。近代における近郊海浜保養地の優れた風致景観を伝える事例として重要である。