一款名为Inkive的iOS应用近日在App Store上架。该应用由一位Obsidian爱好者独立开发,用户只需拍下纸质书页,应用就能识别出书上的划线、高亮和圈画,并将对应文字导出为Markdown文件,方便导入Obsidian等笔记工具。据少数派报道,开发者在寻找连接纸质书与数字笔记的方案时,试用过多款应用和大模型,均未能解决核心痛点,于是决定自己开发。

Inkive的处理流程分为三步:先找到书页上的划线,再读取划线附近的文字,最后判断读者真正想留下哪句话。为在手机上本地识别划线,开发者训练了图像分割模型,在测试集上准确率达到0.94、召回率0.88。文字识别环节,应用最初使用苹果Vision框架,后来改用PPOCR v6,后者对中文纸书照片的识别更稳定,且仍可在本地运行,用户无需上传照片。

在判断划线对应哪句话时,开发者引入了“可接纳率”指标,允许边界存在轻微偏差,只要结果符合人的阅读判断即可。最终测试中,95%的结果无需修改或只需轻微校对。应用支持逐条校对书摘,也可预览整本书的识别结果,确认后导出为Markdown文件。

文章提到,海外有团队推出过智能书签硬件Mark II,需要用专用设备在书上划线,再通过云端大模型识别并同步到Notion和Readwise。相比之下,Inkive选择手机应用加本地模型的路线,不要求读者改变在纸质书上划线的习惯。

目前Inkive仅支持iOS,Android、Web和小程序版本仍在计划中。