Thật lạ là giữa lưng chừng núi lại có một khoảng đất khá rộng và rất bằng phẳng, đủ để xây một ngôi chùa lớn. Theo sách cũ, năm 1702, thiền sư Tịnh Giác đến núi này tu hành. Vị cao tăng dựng một mái chùa bằng cỏ tranh, sống một mình trên núi, thỉnh thoảng mới xuống thôn xóm chữa bệnh cho dân làng. Thấy ông dùng vỏ cây làm áo quần, dân trong vùng gọi ông là Mộc Y Sơn Ông.

Năm 1733, chúa Nguyễn Phước Trú lệnh cho quan địa phương dựng chùa lại bằng ngói, đổi tên là Linh Phong thiền tự. Ông tổ tuồng Đào Tấn khi đang là Thượng thư bộ Công cũng đã bỏ tiền tu bổ lại chùa và làm thơ ca ngợi cảnh đẹp nơi này. Ở Huế, Đào Tấn cũng lập hòn non bộ trong phủ đệ của mình, trên đó khắc hai chữ Linh Phong (hòn non bộ này hiện còn ở trong khuôn viên chùa Thiên Mụ). Chùa Ông Núi cũng được sách Đại Nam Nhất thống chí khen ngợi: “Chùa lưng dựa vào núi cao, mặt trông ra đầm biển cạn, xung quanh có nước suối lượn quanh, phong cảnh rất đẹp”.

Hiện nay, một ngôi chùa mới được xây lại rất khang trang bởi năm 1965, chùa cổ bị cháy bởi bom đạn. Chỉ còn hang Tổ, nơi thờ cúng người khai phá núi xây chùa và dòng suối nhỏ trong trẻo gợi nhớ hình ảnh ngôi chùa cổ kính ngày xưa. Khuôn viên chùa luôn mát rượi nhờ những tán cây cổ thụ như phượng, mít, bàng. Rất nhiều liễu và hoa được trồng chung quanh hồ nước rộng ngay trước chính điện.

Đứng từ cổng chùa, nhìn ra xa thấy đầm Thị Nại trong xanh điểm những con sóng bạc. Gần chân núi là những thôn xóm mái ngói nâu nổi bật giữa đồng lúa xanh non. Dòng sông Chùa uốn lượn lung linh trong nắng, dọc bờ biển, sóng tung bọt trắng xóa. Bước chân ra khỏi chùa, nhiều du khách sẽ thấy lòng thanh thản và bỗng thấy cõi nhân gian thật hữu tình.

Phía sau chùa còn có nhiều tháp cổ xen giữa đá núi và những tán cây rừng cổ thụ. Đây là nơi an nghỉ của các vị sư. Đi sâu vào trong núi có nhiều hòn đá chồng lên nhau tạo thành những hình thù kỳ dị và cả những hang đá thâm u. Một số hang có thờ Phật nên ấm áp mùi nhang khói. Có những hang rất rộng, chứa được cả đoàn quân thời chiến. Nhiều hang đá giờ đây bị những bụi cây gai um tùm lấp mất cửa không ai dám vào. Hang động núi Bà vẫn còn đó nhiều bí mật với khách hành hương.