旧伊東伝左衛門庭園は，日南市内を流れる酒谷川左岸の飫肥城下町の中でも，上級藩士の居住区である十文字地区に位置する。伊東氏は飫肥藩主の係累で，代々家老職を務めた。
高台上に位置する敷地の周囲には飫肥石を用いた石垣が巡り，その上は生垣となっている。石垣の上を生垣とするのは飫肥藩の武家屋敷に一般的に見られ，それらの多くが現在まで伝えられている。
主屋及び庭園は敷地の南東部分に造られており，表座敷からの観賞を主とする。敷地の南東隅部を利用して土塁状の築山が鉤型(かぎがた)に造られ，枯滝石組み，枯流れ，石の反橋，平場から築山上部へと続く飛び石の園路，石燈籠などが配されている。また，植栽の中心となっているソテツの根元，築山の裾全体に石が組まれている。築山を越えて庭園の外には東から南へ展開する山並みを望むことができる。
旧伊東伝左衛門庭園は，飫肥城下に造られた上級藩士の庭園の様子をよく伝え，近世の南九州地方における造園文化の発展に寄与した意義深い事例である。