古くから街道が通過する交通の要衝である水口平野の東端部に位置する古城山(こじょうざん)に所在する。天正１３年（１５８５）頃に豊臣秀吉の命を受けた中村一氏(なかむらかずうじ)により甲賀の直接支配の拠点，東国への抑えとして築城されたと考えられる。その後，豊臣政権下で奉行を務めた増田長盛(ましたながもり)，長束正家(なつかまさいえ)といった政権の重要人物が城主とされるなど，その政治的，軍事的な意味合いは大きい。関ヶ原の戦い後には，正家が西軍に与したために，接収され，その後しばらくして廃城となるが，それ以後も幕府や水口藩により管理され，明治時代以降は公有財産として引き継がれたため，保存状況は極めて良好である。
また，文献史料には，築城にあたって矢川寺(やがわでら)の堂塔を壊して水口岡山城へ運んでいることや，長束正家が城主となった後に大溝城(おおみぞじょう)の天守を解体し，その部材を利用したことなどが知られているが，発掘調査では矢川寺遺跡出土のものと同笵(どうはん)の軒瓦，大溝城跡から運ばれたと考えられる軒瓦が出土したことにより，文献史料の記載が考古学的にも裏付けられた。
豊臣政権により甲賀の支配と東国の抑えのために築城された，保存状態が良好な織豊系城郭であり，出土遺物から築城や整備に伴う資材調達の様子が具体的に分かり，当時の築城の在り方を知る上でも重要である。