然而，好日子享尽，莎莉文家的幸运之神开始远离，不再眷顾了。
厄运先从安妮下手。3岁未到，安妮的眼睛开始发痒，眼皮上长满了细沙状的小颗粒。这些小颗粒由软变硬，由小变大，扎得安妮眼睛又痒又痛。
安妮揉了又揉，擦了又擦，结果情形变得更糟糕了。小颗粒并没有因揉擦而消失，反而刺伤了眼球。安妮的眼疾一天比一天严重。
莎莉文家并不富有，根本没有钱去看私人医生，只得等候福利机构的巡回医生来带安妮去治疗。
他们尝试了许多治疗方法和偏方。听邻居说用天竺葵泡水洗眼睛可以治好，爱丽丝便去摘生长在窗前开着红花的大竺叶子，用大锅煮沸。她用这些苦汁洗涤女儿的眼睛，结果安妮痛得拼命地哭叫，眼疾依然没有治好。
最后，他们只好带安妮去看私人医生。医生翻了安妮的眼皮，拿出一把小刮刀，刮着眼皮上的小颗粒。安妮痛得尖叫乱抓，医生态度粗暴地喝住：“抓紧她，不许动。”
医生的情绪非常恶劣，为什么这些付不出医药费的穷人偏爱来找他？他大吼：“坐下，坐下。”畏畏缩缩的莎莉文夫妇只敢小心翼翼紧靠在椅子边。
托马斯必恭必敬，走上前去说：“大夫，请您帮帮忙，请您治好我女儿的眼睛。”
“给你一些眼药膏，一天涂两次，挺有效的。”医生的话显得颇具权威。
莎莉文夫妇对医生有莫大的信心，于是就安心离去。
望着他们走向街中的背景，医生摇了头，叹了气。他知道小女孩的眼睛已经没有痊愈的希望了。
“颗粒性结膜炎（砂眼）”，他不忍告诉莎莉文这个病名。“砂眼”是那些有钱人才生得起的富贵病。需要阳光、新鲜空气及整洁的环境，需要肉类、鱼类、蔬菜和水果等滋养品来调养，需要花很多钱才能医好的疾病。
医生情不自禁地摇着头，不要想这些无法解决的问题吧！假如那女孩的父母有钱，她根本不可能染上这种不干不净的毛病。“砂眼”偏爱贫民窟，喜欢在肮脏的地区散布。
世事无常，祸不单行。安妮感染砂眼后，爱丽丝也生病了。
一天早晨，爱丽丝摸着自己喉部，觉得酸痛难忍。几天后痛苦不但没减退，反而有些微微发烧，她一天比一天消瘦，身体变得倦怠无力。她开始拼命地咳嗽，不用医生说，爱丽丝也知道自己得了什么病。“肺结核”是专门找穷人纠缠不放的绝症。
时运不济，一波未平，一波又起。过了几天，爱丽丝告诉丈夫：“托马斯，我们又有孩子了。”
爱丽丝宣布这个消息时，他们正在吃晚饭，托马斯默然放下刀叉，咽下食物，问道：“什么时候生？”
“今年冬天吧，我想可能在圣诞节前后。”
托马斯不屑地啐道：“好一个累赘的圣诞礼物。”他狠狠地摔下餐巾，掉头走了出去。爱丽丝长叹一声，怎么能怪她呢？一切都这么不顺心，她的肺病，安妮的眼疾，现在又加上一个花钱的婴儿。一个钱不能当两个用啊！
1869年1月，吉米出生了。他一生下来就体弱多病，遗传了母亲的体质，臀部长了一个大大的结核瘤。
往后的日子爱丽丝总是脸色苍白，眉头深锁。日后人们告诉安妮，她的母亲年轻时多么开朗、爱笑，而安妮记忆中的母亲却是苍白、困倦、瘦弱，寂静得像一尊雕像。
安妮与她父亲仍有快乐时光。他继续为女儿唱歌、跳舞，说一些令人开心的故事只是次数在逐渐减少。有些回忆令她永生难忘，其中一幕是父亲蹲在她身旁，问她：“今天痛吗？”
安妮点点头，她知道父亲说的是她的眼睛。
“我的小宝贝，来吧！天气这么好，我带你出去走走。”托马斯牵着她的手。
父女俩走了5里路，到了邻镇西乡。托马斯听说此地来了一位眼科医生，所以特地带安妮来。但是检查过安妮的眼睛后，医生只是摇摇头。
离开医生诊所，回家的路上，托马斯在安妮身边蹲下，搂着她说：“宝贝，不要担心，这个医生虽然不能看好你的毛病，但爸爸总会找到一个好医生来医好你的眼睛的。”他拍着胸脯保证。
他把安妮扛在肩上。“等你长大一点，我就带你回到我们的家乡爱尔兰。
用爱尔兰香浓河的河水洗净你的眼睛，就不会再痛了。“他满怀深情地加上一句：”那是世界上最好的药水。“听得安妮眼睛发亮。瘦小的她岂知从美国马萨诸塞州到爱尔兰的香浓河，路途是多么地遥远。
托马斯带着女儿走到镇中心的繁华区。一家商店橱窗里展示了一顶美丽的白色草帽。
“嗨！”她的鼻尖贴到橱窗玻璃上赞叹地叫起来。
白色的帽子上有一条淡蓝色蕾丝带垂在后面。托马斯看看女儿，拍了拍她的肩膀走进店里。
安妮看到售货员从橱窗里取下帽子。几分钟后，托马斯走出来，把帽子戴在安妮头上。这是她一生中的第一顶帽子！美得像童话故事中小仙女头上的帽子！戴着世界上最美丽的帽子，她一路欢笑回到家。