鎌倉時代の関東武士のなかで、とりわけて重鎮の位置を占めた河越氏の館跡である。遺跡は、現在の川越市の北西、入間川西岸に接する平坦地にあり、その東南部を占める常楽寺境内をはさんで、東西約１５０メートル、南北約２００メートルの方形の区画を思わせる高さ１～３メートルの土塁及びその外側の堀が一部遺存している。
　川越市教育委員会が、昭和４６年～５０年に実施した発掘調査により、平安時代末期から戦国時代にかけての堀や井戸、住居などの遺構が検出され、『新編武蔵風土記稿』が上戸村常楽寺の挿絵として描く河越館跡の姿が、現地においてほぼ確認されるに至った。
　河越氏は、秩父氏の一族で、平安時代に河越荘の開発領主として勢力があり、その私領を後白河院に寄進している。重頼のとき源頼朝に重用され、その娘が義経の妻となったが、義経没落の際、縁坐して重頼は誅された。しかしその後も河越氏は依然として御家人の上位に位置し、室町時代に至るまで、有力武将として活躍した。この間、河越館が河越氏の居館として継続したものと思われ、本史跡は、鎌倉時代から室町時代にかけての関東武士の館跡を考察しうる遺跡として重要なものである。