朱熹祖籍为徽州婺源（今属江西），朱子不忘故土，紫阳楼的构筑格式为徽式建筑，庄重典雅，白墙红楹，青砖素瓦。
紫阳楼一楹两进。前进为天井，两旁为朱熹书斋及寝室，朱熹为不忘父志，将寝室命名“韦斋”，是以父号取名，将书房命名“晦堂”。中堂悬匾曰“紫阳书室”，将其祖籍的紫阳山为居室之称。这匾还是朱熹老师刘子翚的亲笔所书。朱熹亲自撰写了《名堂室记》，以示“不敢忘先君之志”。 三幅朱熹祖先画像挂在中堂之后。
现今在书院内可欣赏到仿朱熹笔体而写的“不远复” 堂匾、“静我神”“正气” 等字画和各式楹联。