Năm 1821, Minh Mạng cho cất một ngôi nhà ở phía tây vườn Thiệu Phương mang tên là Trí Nhân Ðường. Ðến đời Thiệu Trị sửa lại và đặt tên là Thanh Hạ Thư Lâu (nhà làm văn). Năm 1887, Ðồng Khánh cho triệt hạ và dựng lầu mới gọi là Thái Bình Ngự Lãm Thư Lâu. Lầu này dùng sành, sứ khảm trạm rất công phu.
Phía tây lầu trông xuống một hồ vuông trong xếp đá thành non bộ giả cảnh thiên nhiên thật là hấp dẫn. Ở bên trái toà dựng lầu Tứ Phương Vô Ngu, bên phải dựng hành lang Hoá Nhật Thư Trường, rồi ở bên trái đình Bát Phong dựng gác nhỏ gọi là Lục Trì Thần Thông, bên phải dựng phòng Thận Tu, ở phía bắc phòng ấy dựng lầu Lục Giác, bên trái lầu ấy dựng Trạch Trung, phía trước gọi là nhà Ðức Viên. Cầu, hành lang liền nhau, ao hồ nước thông chảy suốt, xem rất nên thơ.