戦国時代に肥前を領した龍造寺家の中興とされる康家は、男子5人のうち二男家和に惣領の立場と佐賀城(いわゆる村中城)を譲り、自らは隠居して定翁と号し、新たに築いた水ヶ江館に移った。ここから龍造寺家は、本家の村中龍造寺と末家の水ヶ江龍造寺家という両家に分かれることとなった。
やがて康家(定翁)からその隠居領を譲り受けた四男家兼(剛忠)は、水ヶ江龍造寺家を嫡子家純に相続させようとするも家純がこれを固辞したため、弟の家門が継いだ。このとき本館には当主家門、東の館には家兼が移り、中の館には家純、西の館には頼純・純家(ともに家純の子)が配置されたことが江戸時代に編纂された史書の類に記されている。
天文14年(1545)、水ヶ江龍造寺家は馬場頼周の策謀により、佐賀北郊の川上・祗園原で家門・家純兄弟はじめ、家門の子家泰、および家純の子周家・頼純・純家ら一門が戦死する。翌年には家兼が93歳で没し、水ヶ江龍造寺家は「性、倜戃(てきとう)にして、大器有り」(「泰巌公御年譜」)と目された宝琳院(ほうりんいん)の僧圓月が還俗して相続することとなった。これがこのとき18歳だった龍造寺隆信である。
さらに翌17年、村中龍造寺家を継いでいた胤栄が男子のないまま病没すると、水ヶ江龍造寺家を相続したばかりの隆信を惣領とし、村中・水ヶ江の両家を合わせることとなった。
本図は、往時の水ヶ江城および周辺の屋敷割りや道路・水路等を江戸時代に描いた絵図の写本である(「剛忠様水ヶ江御城図」)。端書には「多久家ニ持伝之」とあることから、隆信の弟長信に始まる多久家伝来の原図をもとに明治20年(1887)に書写したものとわかる。
屋敷地の内側が黄色で着色され「剛忠公小城」と記された区画が本館にあたる。周辺の屋敷地と比べると、より広い堀と土手で四周を囲まれている。その左(西)隣の区画が「剛忠公御隠居所」、つまり東の館にあたる。ここには「周家公(剛忠の孫)・慶誾公(周家室／隆信母)・天理公(長信)相継いで御住居、隆信公御出生この所なり」と注記され、その一角の○印の箇所には「隆信公御イヤ納」と記されている。「イヤ」とは臍の緒のことで、これを納めた塚を胞衣塚と呼んでいる。現在の「龍造寺隆信生誕地」(佐賀市史跡)に相当する。その左に「家純公御住所、中ノ館と云う」「頼純御住所、周家公御舎弟也」「純家御住所、周家公御舎弟也」、さらには「隆信公この所にて御還俗、始めて鰹を食上ら」れた場所として「石井尾張」屋敷が並ぶ。