Chùa nằm cách Hà Nội không xa, cứ thẳng đường 6 đi, qua khỏi Hà Đông chừng 7km, bên trái là thị trấn Chúc Sơn, chếch bên phải là có thể nhìn thấy núi Ninh Sơn - tục gọi là núi con phượng. Có 2 đường để bạn có thể tìm đến chùa một cách dễ dàng. Một là đi xuyên làng Ninh Sơn, hai là có thể lượn xe vòng phía sau núi. Đỉnh Vô Vi là một núi đá nhỏ, tách khỏi dãy Tử Trầm - còn gọi là núi con rồng mà Vô Vi được ví như viên ngọc, nằm chênh vênh giữa trời đất.

Men theo chân núi nhấp nhô đá, từ chùa Trầm sang núi Vô Vi chỉ vài trăm bước. Tương truyền, vào thế kỷ thứ X, một trong những thủ lĩnh của 12 sứ quân đến đây mai danh ẩn tích rồi dựng lên ngôi chùa. Thời Tiền Lê, chùa xây dựng ở chân núi có tên gọi là Phúc Trù tự. Thời Trần chùa được xây dựng ở lưng núi gọi là Trai Tinh tự. Thời Hậu Lê, niên hiệu Hồng Thuận 6 (1514) chùa dời lên gần đỉnh núi như ngày nay, đổi lại tên như thời Đinh là Vô Vi tự.

Vì nằm trên đỉnh núi nên chùa không rộng, chỉ chừng hơn 10m2, tượng Phật cũng không có nhiều nhưng kiến trúc chùa còn gần như nguyên vẹn. Trên vách núi còn treo một quả chuông đúc năm 1814. Bước qua hơn 100 bậc thang đá quanh co là lầu Nghênh Phong (đón gió) trên đỉnh núi. Đứng trên lầu Nghênh Phong, phóng tầm mắt là có thể ngắm dòng sông uốn khúc, ruộng đồng phì nhiêu, khung cảnh thanh bình, bao nhiêu mệt mỏi, bụi bặm bon chen nơi  phố xá náo nhiệt, bỗng chốc tan biến…Theo đạo Phật, từ vô vi nghĩa là không phụ thuộc. Không bị ảnh hưởng, không vì nhân duyên mà sinh ra. Trong Phật giáo nguyên thủy, thì chỉ có Niết bàn được xếp vào hạng vô vi. Tất cả các pháp còn lại là hữu vi.

Sự tĩnh lặng của ngôi chùa cùng khung cảnh yên tĩnh sẽ khiến những muộn phiền hàng ngày trong bạn biến mất. Trước mắt bạn là ánh nắng mặt trời lấp lánh phản chiếu trên dòng sông, những cây hoa đại nở từng bông trắng rụng trước sân chùa... Cảm giác ấy khiến ai đã đến một lần còn mãi nhớ…