玉泉寺は、もと草庵に過ぎなかったが元祿年間に改築され次いで嘉永元年現在の地に移築された。安政元年下田追加条約が締結されるやこの寺をアメリカ人の休息所となし、寺域内に同国人の墓地を設けることが、定められたが同三年八月アメリカ総領事タウンゼント、ハリス下田に上陸して、此寺に館し同月九日初めて同寺に領事館旗を掲げ以后同六年六月迄領事館として存續した。本堂間口七間奥行六間寄棟造よりなり、内部にはハリス居室・次の間・通辯官ヒュースケン居室・次の間及び事務室の室割をなしよく当時の規模を伝えてをり、幕末外交史上重要な史跡である。