Dinh II được xây dựng từ năm 1933 là một tòa lâu đài tráng lệ gồm 25 phòng được bài trí cực kỳ sang trọng. Đứng ở nơi đây, du khách có thể nhìn thấy hồ Xuân Hương cách xa chừng 1km thấp thoáng qua những tán lá thông.
Từ ngày chuyển Phủ Toàn quyền về đây làm việc, Decoux đã cho xây dựng những đường hầm bí mật rất kiên cố nhằm bảo đảm an toàn tuyệt đối cho ông và gia đình. Đường hầm này được nối vào hầm chứa rượu với bề ngang chừng 1,5m và bề cao hơn 1m cùng nhiều ngóc ngách được đổ bê tông chắc chắn.
Dưới thời Ngô Đình Diệm, Dinh II trở thành nơi nghỉ mát của gia đình Ngô Đình Nhu. Năm 1964, khi tướng Nguyễn Khánh lên nắm quyền trong bối cảnh chính trị đầy bất trắc, ông đã chọn Dinh II làm Tổng hành dinh trong mùa nghỉ mát và cho tu bổ, xây dựng thêm các đường hầm bí mật lên tận sườn đồi theo hướng đông nam và tây bắc phòng khi có đảo chính.