室内外で遊興にふける人々を描く。紅葉の目立つ秋の情景を取り上げ、画面右には舟を配し、左側には上下に二つの広間を描く。本作と同図様の左隻をもつ「春秋遊楽図屏風」（六曲一双、個人蔵）が知られており、本作も元は六曲一双の左隻であった可能性がある。
上部の広間から左へ視線を移すと草庵風の茶室があり、亭主が客の前で茶をすくって茶碗に入れ、茶を点(た)てようとしている。このように亭主と客が同じ空間に座し、客の前で茶を点てる方式は、16世紀中頃に生まれたと考えられている。それ以前は、客をもてなす部屋とは別の場所で茶を点てる運び出しの形式であった。