清色城跡は、入来町北西部の樋脇町との町境の山塊に立地する中世の山城跡であり、清色川左岸、標高約１００ｍを最高地点とする西から東に延びるシラス台地の北東に突き出た部分に築かれている。城の東側に展開する麓集落は、中世から近世に至る入来院氏と家臣団の屋敷地域であり、当時の景観をよく残しており、入来麓地区は重要伝統的建造物群保存地区に選定されている。
城跡は、『三国名勝図会』には１２世紀末に入来院頼宗が築城したとあり、また『雲遊雑記伝』には宝治元年（１２４７）に地頭となった渋谷定心が築城したとあるが定かでない。相模国渋谷庄司であった渋谷光重が宝治合戦で恩賞として薩摩郡の入来院、高城、東郷、祁答院、鶴田を得て、定心等５人の子供に地頭職を分割相続し、５人はそれぞれの土地に定着し、その地名を取って名字とした。入来院氏は、南北朝期になると北朝の島津方になったり、南朝方になったり離反を繰り返している。清色城は、このころに築城されたのではないかとされている。南北朝期以降は、薩摩国内で島津氏や同族内との抗争が続き、 渋谷一族のうち高城・鶴田両氏はまもなく没落し、入来院氏は当城を本拠に永利・隈之城へ勢力を拡大した。入来院氏は、戦国期においても薩摩の国衆として際立つ存在であったが、島津氏が戦国大名となる中で永禄１２年（１５６９）入来院重嗣は全所領を差し出して島津氏の家臣となった。家臣となっても当城を安堵され、入来院地域を所領として勢力を維持したのである。慶長１８年（１６１３）以降、入来院氏は鹿児島に居住し、入来では領地支配のための仮屋を置き、当城は廃城となった。
入来院氏については、中世からの相伝の文書が残されており、エール大学の朝河貫一が大正８年（１９１９）調査し、昭和４年（１９２９）に発表して以来、我が国中世の武家社会の政治経済史等多方面の研究に供されていることでも著名である。
城跡の周囲は、麓集落を囲み南、東、北側を清色川が流れ、西側を清色川に注ぐ小川が流れ城域としている。なお、南西部は台地が続いていたので空堀を作り防備した。山城跡の部分は、南北約６００ｍ、東西約７５０ｍの規模を測る。
遺構としては、南西方向から北東方向に延びる尾根筋の先端の頂上に曲輪を設けている。主要な尾根は南西を限る空堀から東北東に向いており、この尾根から北方向に４本の枝尾根が出ている。この尾根の地形を生かして１６の曲輪群を形成している。一番広い曲輪は、約５，０００m2を測る。曲輪の名称としては、『三国名勝図会』に本丸、松尾城、西之城、中之城、求聞持城、物見之段が見え、最大の曲輪が本丸と考えられ、その他の曲輪も現地で比定されている。また、土塁を伴う曲輪も見られ、櫓台をもつものもある。虎口も半数近くの曲輪で確認される。当城の遺構の特徴は、シラス台地の特徴をよく生かし、本丸と呼ばれる曲輪を中核に据え、その周囲に三重に曲輪を配置し、その間を切り立った空堀で区切ったり繋いだりしている縄張りをもつものである。
このように中世に薩摩地方で在地豪族として活躍した入来院氏の居城が、良好に残っていることは、我が国の中世の歴史を考える上で重要であり、史跡として保護しようとするものである。