Đứng trên cầu Xóm Bóng nhìn sang bên phải sẽ thấy di tích Hòn Đá Chữ. Đó là hai cụm đá nằm gần nhau chu vi chừng 100m2 và cao từ mặt nước trở lên chừng vài ba mét. Trên khối đá lớn nổi trên mặt nước có khắc chữ khoa - dẩu ngày nay nét đã lu mờ - lối chữ này có hình như những con nòng nọc nối đuôi nhau giống như lối trùng văn khắc ở các bia nơi cửa tháp Thiên Y.

 Tương truyền Hòn Đá Chữ rất linh thiêng, ai leo lên quậy phá sẽ bị đau ốm, vì thế dân đã xây một cái am nhỏ dưới gốc cây đa nhỏ để thờ cúng. Có người cho rằng hòn đá này là từ trên tháp Thiên-Y-A-Na lăn xuống. Cũng có người tin rằng những tảng đá này đã đánh đắm thuyền của Thái tử Bắc Hải năm xưa. Cảnh trí của Hòn Đá Chữ trông thật xinh xắn như một hòn non bộ giữa sông nước bao la. Nhiều cuộc vịnh thơ được tổ chức tại đây:

                   "Ai về Xóm Bóng, Hà Ra

              Đi ngang Hòn Chữ cho ta nhắn lời"