飯高寺は天正八年（一五八〇）に開創された日蓮宗の檀林で、慶安年間に現在の伽藍が整えられた。　講堂は檀林の中心建物であり、規模が大きく、禅宗の客殿型本堂と似たような平面構成になる。　鐘楼は方一間、鼓楼は袴腰付で講堂の前方左右に建つ。　総門はかなり離れて建つ簡素な高麗門である。　近世において僧侶の学校であった檀林のうち、日蓮宗では最も古くまた格式が高く、規模も大きく、旧態をよく残した遺構として貴重であり、文化史上の価値も高い。