Thời Lê Trung hưng, chúa Trịnh Doanh cho xây lầu bên bờ đông của hồ Lục Thủy (hồ Gươm) để làm nơi duyệt quân, vì trên mái có 5 con rồng cuốn nên được gọi là lầu Ngũ long. Khi xây lầu, nhà chúa cho đắp con đường để cưỡi voi từ Phủ chúa sang (phủ nằm trong khoảng khu vực phố Tràng Thi - đầu phố Bà Triệu và Quang Trung hiện nay) nên hồ bị ngăn làm hai. Phía bắc gọi là Tả vọng, phía dưới gọi là Hữu vọng, hay còn được gọi là hồ Thủy quân vì hồ làm nơi luyện tập cho binh sĩ.

Đền vàng cửa ngọc

Năm 1786, khi Tây Sơn ra Bắc lần thứ nhất, Lê Chiêu Thống còn cho họp tướng lĩnh ở lầu này. Sau khi Phủ chúa bị Lê Chiêu Thống phóng hỏa đốt năm 1787 thì lầu Ngũ long cũng bị phá. Dân đến đây làm nhà, lập thôn Cựu Lâu. Khoảng năm 1842, Tổng đốc Hà Ninh là Nguyễn Đăng Giai đã quyên tiền dân xây dựng chùa ở khu vực này. Chùa có tên là Báo Ân. Vì hồ trong chùa rất nhiều sen nên dân còn gọi là chùa Liên Trì và cũng còn có tên khác là Quan Thượng, tên của viên quan lập chùa. Chùa có 180 gian, kiến trúc phức tạp và cầu kỳ.

Mùng 8 Tết 1876, Trương Vĩnh Ký với tư cách là nhà báo có ghé thăm chùa đã ghi lại trong nhật ký Một chuyến đi Bắc Kỳ. Trương Vĩnh Ký mô tả, bước qua cửa chùa có tháp cao hai bên, trong chùa có hồ được xây bằng gạch và đá, đường lát gạch chạy vòng quanh hồ. Trương Vĩnh Ký cũng mô tả trong chùa có nhiều cầu và xung quanh là hành lang có mái che. Những tấm ảnh chụp của sĩ quan quân y Pháp là Hocquard năm 1884 cho thấy chùa bề thế và có nhiều nhà ngang, dãy dọc.

Trong một bức họa đăng trên Hà Nội báo (Ha Noi Journal) năm 1890 của Voignier vẽ cảnh phía đông hồ cho thấy còn cổng tam quan và tháp Hòa Phong nằm gần mép hồ. Tháp hiện vẫn còn. Tháp cao 3 tầng, tầng 1 có 4 cửa nên còn gọi là tứ môn tháp, một kiến trúc thường thấy trong các công trình của Phật giáo. Tầng một có 4 cửa vòm, tầng 2 có hình bát quái, dưới bát quái trên 4 vòm là tên từng cửa: Báo Ân môn, Báo Nghĩa môn, Báo Đức môn và Báo Phúc môn. Tầng 3, trên mặt đông-tây có ghi tên tháp là Hòa Phong nhưng 2 mặt bắc-nam lại ghi Báo Thiên tháp. Báo Thiên tháp do triều Lý xây năm 1057 (nay là khu vực Nhà thờ lớn). Tháp cao 12 tầng (khoảng 80 mét), bị sét đánh năm 1322, năm 1426, tướng giặc Minh là Vương Thông sai phá tháp lấy đồng đúc đạn. Có thể các nhà chủ trương xây chùa Báo Ân ghi chữ Báo Thiên tháp là nhớ về một công trình vĩ đại của đời trước đã bị phá?

Tháp Hòa Phong là nơi hội tụ tinh thần của 3 tôn giáo: Phật giáo, Đạo giáo và Nho giáo (tam giáo đồng nguyên) vốn tồn tại ở các triều đại phong kiến trước đó. Chùa được dân ca tụng:

Gần xa nô nức tưng bừng

Vào chùa Quan Thượng xem bằng động tiên

Lầu chuông gác, trống hai bên

Trông ra chợ mới Tràng Tiền kinh đô

Khen ai khéo họa dư đồ

Sau lưng Đồn Thủy, trước hồ Hoàn Gươm

Phong quang cảnh trí trăm đường

Trong xây chín giếng ngoài tường lục lăng

Rõ mười cử động tưng bừng

Đền vàng cửa ngọc chất từng như nêm.

Bài thơ này ra đời khi thực dân Pháp đã được triều Nguyễn cho đóng quân ở Đồn Thủy (khu vực Bệnh viện 108 hiện nay) và cũng cho thấy chùa còn nguyên vẹn.

Đốt nhà dân, cướp phá chùa

Năm 1883, Pháp chiếm được Hà Nội và lấy chùa làm cơ quan hậu cần. Thấy trong chùa có nhiều hình tượng của điện diêm cung dưới địa ngục nên lính Pháp gọi là "pagode des supplices" (chùa khổ hình). Hồi ký của một viên quan viết rằng cha ông ta là Thống sứ Bắc Kỳ có lấy một pho tượng Kim Cương lớn ở chùa Báo Ân đem về bày ở phòng khách gia đình ở Paris. Trong thời gian đóng ở chùa, đám binh lính đã cậy phá gạch đá, đập vỡ các tượng lớn và lấy cắp các tượng nhỏ làm kỷ niệm.

Tháng 11.1885, công việc đổ đất, cạp hồ Gươm và lấp các chỗ trũng bắt đầu. Trong một bức thư gửi cho một người bạn, Toàn quyền De Lanessan viết để kịp khánh thành con đường vòng quanh hồ đúng vào dịp Tết năm 1892, ông ta ngầm ra lệnh đốt các nhà lá quanh hồ. Đêm 22.1.1891, 300 nóc nhà ở Cầu Gỗ, Hàng Bè, Hàng Mắm, Hàng Thùng, Hàng Vôi đã cháy trụi. Đêm ngày 28.1.1891, vụ cháy thứ hai tiêu hủy cả thôn Cự Lâu. Chùa Báo Ân chỉ là mảnh đất hoang tàn. Nguyễn Khuyến trở lại Hà Nội, trước cảnh hoang tàn quanh hồ và các tòa nhà do thực dân Pháp xây dựng ở phía đông, ông đã viết bài Cảm đề:

Ba chục năm trở lại hồ

Bây giờ cảnh sắc khác ngày xưa

Nhà tranh đâu cả toàn lầu gác

Súng lạ đì đòm tịt trúc tơ

Chim chóc đi về lầm lối cũ

Cốc cò chiều tối ngủ sương mưa

Đáng thương văn vật trăm năm ấy

Còn lại bên hồ một đá trơ.