Theo những người cao tuổi ở xã Đông Ngũ, trước đây, ở những đảo đất trong lòng hồ có rất nhiều cây gỗ táu nên người dân gọi là hồ Khe Táu. Táu là loài gỗ xếp trong hàng tứ quý “Đinh, lim, sến, táu”, có vân đẹp hình cánh sẻ, không sợ mối mọt, vì thế gỗ thường được dùng để xây dựng các đình chùa. Hồ Khe Táu trong xanh bốn mùa, cây cối hoang sơ. Những ngày trời nhiều sương, hồ Khe Táu giống như chốn bồng lai, sương bay nhè nhẹ, mặt hồ trông mờ mờ ảo ảo. Những ngày trời nắng, vẻ đẹp hồ Khe Táu như được nhân đôi với mây trôi đáy nước, bóng cây in xuống lòng hồ, giống như có thêm một bầu trời bên dưới chân mình.
Từ năm 1966, tỉnh Quảng Ninh đã cho xây dựng con đập dài 150m tại hồ Khe Táu để chặn dòng, đưa nước từ thượng nguồn các nhánh sông của các xã Đông Ngũ, Đại Dực về hồ, tạo thành hồ nước mênh mông. Công trình thủy lợi hồ Khe Táu được khởi công từ tháng 8/1966 với nhiều hạng mục: Xây dựng cống, đắp đập, đào kênh dẫn…, 4 năm sau mới hoàn thành. Do hồ tận dụng núi đồi làm thành lũy nên lòng hồ rộng hẹp không đều, chỗ rộng nhất chừng 500m, chỗ hẹp nhất chỉ khoảng 50m. Một dãy núi đồi chạy chếch ra theo hướng Tây Bắc - Đông Nam chia lòng hồ thành 2 nơi, mỗi nơi có một cảnh quan thú vị khác nhau, nơi mênh mông trời nước, nơi hoang sơ thăm thẳm./.