📖 重大升级:Cappy 从'陪聊天'变成了'陪读绘本 + 练口语'
之前的 Cappy 主要是"陪聊" —— 跟小菠萝对话练口语。这次是个不小的升级:它现在能**陪读绘本**了,而且不是放段音频,是真的"一起读一本书"。一本绘本拆成四步:① Cappy 带语气范读整本(像老师在读)② 小菠萝自己读,Cappy 听着、记下哪个词卡了 ③ 一页页一起精读、Cappy 问几个超好答的小问题,读完用中文聊聊这本书讲了啥 ④ 发一颗月亮、把高光和学会的词句存下来。让"读"成立的幕后是豆包视觉备课(看懂版面、不瞎读、按真实顺序带语气);口语这条线也顺手升级了 —— 把 Cappy 从"老师"彻底拧成了"朋友"。
前面几篇(到 Cappy 的两个用户)讲的 Cappy,本质是个会聊天的口语伙伴 —— 跟小菠萝你一句我一句,把他从”不敢开口”哄到”愿意说”。
这次是一个我自己都挺兴奋的升级:Cappy 现在能陪小菠萝读绘本了。
而且我要的不是”放一段绘本音频让他听”。我要的是真·一起读一本书 —— 像一个会陪读的大人坐在他旁边,先读给他听,再听他读,读不顺的地方陪他再来一遍,读完还跟他聊聊这本书讲了啥。
一本绘本,四步走
我把”读一本绘本”拆成了四步,每一步 Cappy 干的事不一样:
① Cappy 读 —— 先范读给他听。 Cappy 把整本带着语气读一遍:“Uh-oh.” 是惊讶的、“You must take a bath!” 是有点凶的、平铺直叙的旁白是温柔的。不是机器人念字,是像老师在读绘本。每句英文下面配着中文,看不懂也不慌。
② 自己读 —— 轮到他了。 小菠萝自己读这一页,Cappy 在旁边听着,悄悄记下哪个词卡了一下。不催、不打断,读完才反应。
③ 一起精读 —— 一页页聊。 这是我最喜欢的一步。Cappy 带着他一页页往下,每页问一两个超好回答的小问题(“Is Flubby clean or dirty?” 这种二选一),他答对了就一起乐,卡过的词悄悄再带他练一遍。整本读完,再用中文跟他聊聊”这本书到底在讲啥、想说个什么道理” —— 抽象的东西,中文聊才聊得动。
④ 总结 —— 发颗月亮。 读完发一颗小月亮🌙,把他这次蹦出来的好句子、学会的词、读过的这本书,都记进他的成长档案里。下次见面,Cappy 还会提起”还记得那只不肯洗澡的猫吗?“。
让”读”成立的幕后:先得让 Cappy 看懂这本书
这一步最难的,其实不是”读”,是让 Cappy 真的看懂一页绘本。
一开始我用 OCR 把整页文字抠出来再读 —— 结果它会把瓶子上的标签、拟声词(ZOOM!)、甚至页码都当正文念出来,顺序还经常是乱的。因为 OCR 只看到一堆字,看不到版面。
后来我接了豆包视觉模型:让它看一眼整页图,直接按真实的阅读顺序,挑出”该念的句子”,顺带标好每句的语气和中文 —— 哪些是正文、哪些是画里物品上的字、哪些是音效,它一眼分得清。这是 Cappy 能”陪读”而不是”瞎读”的前提。
口语这条线也升级了:把 Cappy 从”老师”拧成”朋友”
借这次大改,我把另一条线 —— 口语对话 —— 也重做了一遍,核心是一件事:把 Cappy 彻底从”老师”拧成”朋友”。
我写了一份共享的”伙伴人设”,让数学、绘本、聊天里都是同一个 Cappy:它会记得小菠萝喜欢马里奥、记得他上次读的书、记得他说过的厉害的话,开场就来一句”还记得那只乌龟吗?不是恐龙——哈!“;反应每次都不一样,绝不每句都”Great job, can you say…”。
孩子愿不愿意多说一句,靠的从来不是更难的内容,是一个让他不害怕的伙伴。
顺带:家长这边也有了入口
这次也给家长加了两件事(都能用语音):用中文问 Cappy 孩子最近怎么样(它像最懂这孩子的朋友,用真实数据回你,而且我死磕”只讲事实、一个字都不许编”);用着别扭直接跟 Cappy 反馈问题,它帮我分类整理好。家长那条焦虑链,我还在一条条接。
(实现上我也顺手把 Cappy 从 iOS 搬成了网页版 —— 一个链接 iPad 打开就能用,更好发给别的家庭试。但这次升级的重点不是换了壳,是它会的事变多了。)
几个小总结
“读”和”说”放在一起,才是完整的语言。 以前 Cappy 只会”说”。但语言不只是对话 —— 读一个好故事、跟着读、聊聊它讲了啥,是另一半。把绘本共读和口语放进同一个伙伴里,小菠萝才像在”用英语过日子”,而不是在”上英语课”。
让 AI 陪读,第一关是让它先看懂版面。 我卡了很久才想明白:Cappy 读得对不对,根上不是”会不会读”,是”看不看得懂这一页”。OCR 看到的是文字,视觉模型看到的是版面 —— 哪是正文、哪是瓶子上的字、哪是音效。换成”看图”的那一刻,瞎读的问题就化了。
朋友比老师更能让孩子开口。 完美的老师像机器人,会犯傻、记得你的朋友才像活人。我把”老师味”全删了,换成”伙伴味”,小菠萝明显更愿意接话。
下一篇我想单独细讲一块 —— 豆包视觉到底是怎么让 Cappy 从”瞎读”变成”看懂版面”的,那块踩的坑值一篇。