Chùa Tây An (Tây An cổ tự) do một vị quan triều Nguyễn đời Minh Mạng (1820) là Tổng đốc Nguyễn Nhật An xây dựng theo lời nguyện của ông khi được triều đình phái đi Cao Miên. Theo lời nguyện này, nếu ông đi thành công, khi về sẽ dựng một ngôi chùa thờ Phật tại chân núi Sam. Cất chùa xong bằng tre, ông thỉnh vị Hoà thượng đầu tiên là Nguyễn Văn Giác, pháp hiệu là Hải Tịnh đến trụ trì. Năm Thiệu Trị thứ 7 (1847), chùa lại thỉnh thêm một vị Hoà thượng nữa tên là Ðoàn Minh Huyền, pháp hiệu là Pháp Tang đến trụ trì. Vị Hoà thượng sau này ngoài việc tu hành còn có tài làm thuốc trị bệnh cho nhân dân rất hiệu quả nên sau khi ông mất, đồng bào suy tôn hoà thượng với danh hiệu là Phật thầy Tây An và danh hiệu này vẫn được nhân dân gọi đến ngày nay.
Chùa được sửa chữa nhiều lần theo thời gian trụ trì của các vị hoà thượng. Chùa kiến trúc theo kiểu Ấn Ðộ với các vật liệu bền chắc như gạch ngói, xi măng. Chính điện là ngôi chùa chính giữa cao 18m, thờ tượng Phật Thích Ca, còn hai bên là lầu chiêng và lầu trống. Trước chùa có 3 vọng cửa: cửa giữa tam quan thờ tượng Phật Quan Âm, hai cửa hai bên có hai bảng đề "Tây An cổ tự", bên trong tam quan là sân chùa có một cột cờ cao 16m. Dưới bậc thang chùa có đúc bạch tượng và hắc tượng, vai có đắp nổi hai vị thần tiên ngồi bên trên mặt trăng lưỡi liềm, hai bên là hai hành lang, phân biệt cho tín đồ nam nữ. Chùa theo phái Ðại thừa, có tới 11.270 tượng lớn nhỏ bằng gỗ. Ngày rằm tháng riêng, rằm tháng 7 và tháng 10 âm lịch là ngày nhân dân đến cúng lễ đông nhất.