← 返回文章

把一本 619 页扫描书做成 EPUB:本地 OCR 的识别、校对与成书实录

记录我如何用 Jetson AGX Orin 上的 PaddleOCR 常驻服务,把《凄迷日月(上、下册)》从扫描 PDF 处理成可校对、可恢复、可生成 HTML、Markdown 和 EPUB 的电子书。

#OCR#PaddleOCR#EPUB#Jetson#AI

把一本 619 页扫描书做成 EPUB:本地 OCR 的识别、校对与成书实录

我原本以为,把一本扫描书变成电子书就是三步:上传 PDF、跑 OCR、导出 EPUB。真正处理完这本《凄迷日月(上、下册)》以后,我才发现,识别文字只是整个流程的中间环节。

这本书有 619 个 PDF 页面,正文最后整理出 95 回。页面中既有可以直接提取文字的 PDF,也有整页扫描图;书页边缘还有页码、版心杂印和偶尔混进正文的孤立数字。OCR 能把大部分字读出来,但不能替我判断哪些是正文,AI 也不能凭空恢复已经模糊到看不清的字。

这篇文章记录的是一次完整的工程调试:从第一版“能跑”的服务开始,经过并行识别、常驻模型、分段校对、断点续作、人工修复和异常检测,最后生成带真实章节目录的 HTML、Markdown 和 EPUB。

《凄迷日月》封面(本次项目使用的封面)

先说结论:OCR 不是一次性转换,而是一条可恢复的数据流水线

现在的处理链路大致是这样:

PDF
 │
 ├─ 页面有可靠文字层 ─────────────┐
 │                                │
 └─ 扫描页:渲染为图片 → PP-OCRv6 │
                                  ▼
                         每页原始 OCR JSON
                                  │
                       页码、杂印、字节码疑点检测
                                  │
                      按章节和字数上限切成校对段
                                  │
          本地 Ollama / Mac 上的 Hermes / 云端 API
                                  │
                 AI 校对结果 + 压缩上下文 + 人工修订
                                  │
                   自然段落 → HTML / MD / EPUB

最重要的设计变化有三个:

  1. OCR、AI 校对和导出不再绑在一个不可恢复的长任务里。
  2. 原始页、AI 结果和人工修订分开保存,换模型时只重做没有结果的部分。
  3. 每一个异常都要能回到 PDF 原页,而不是只在一大段纯文本里猜它来自哪里。

这样做以后,一次网络超时不会让前面已经处理的几百页失效,换一个模型也不用从第一页重新开始。

第一关:先让 PaddleOCR 稳定地识别完整本书

直接循环调用脚本,速度和稳定性都不够好

最初的思路很直接:每处理一页,就通过 shell 调一次 OCR 程序。单页测试没有问题,但完整书一跑就暴露出两个问题:

  • 每次调用都要重新初始化检测模型和识别模型;
  • 多个页面并行时,PDF 渲染对象、临时文件和 OCR 进程之间容易互相影响。

对于一本 619 页的书,这种做法把大量时间花在了“启动模型”上,而不是花在真正的识别上。

后来在 Orin 上把已经编译好的 PP-OCRv6 C++ 推理程序包成常驻 worker。现在使用的是:

cd /home/wooley/apps/paddleV6
./ppocr_worker.sh

worker 启动时加载模型,之后通过标准输入输出接收页面任务。书籍服务负责调度页面、记录状态和保存结果,模型进程则保持热状态。这样,“开始处理一本书”不再等于“启动几百次 OCR”。

为了提高吞吐量,服务可以启动多个 worker,让不同页面同时识别。不过并行数不能无限增加:检测模型、识别模型、内存带宽和 PDF 渲染都会争抢同一台机器的资源。多个常驻进程的价值,是减少启动开销并把设备利用率拉起来,不是把 GPU 当成可以无限复制的 CPU。

另外,PDF 渲染对象不能在多个线程之间随便共享。我把页面渲染放回各自的工作线程,OCR 请求只传递已经准备好的页面数据,避免出现偶发的页码错乱和对象线程不安全问题。

不是所有页面都需要 OCR

书籍服务保留了三种处理倾向:

  • auto:先尝试提取 PDF 的原生文字,质量不足时再渲染并 OCR;
  • always:所有页面都按图像重新识别;
  • native:只使用 PDF 自带文字层。

这一步很有用。部分 PDF 页面已经有文字层,如果强行截图识别,反而可能丢掉原来的标点和排版信息。扫描页则没有这个选择,只能交给 PaddleOCR。

每页都保存原始结果

每一页都有独立的结果文件,类似这样:

job/
├── source.pdf
├── pages/
│   ├── page-00001/page.json
│   ├── page-00002/page.json
│   └── ...
├── corrections/
│   └── plan.json
├── corrected.json
└── exports/

原始 OCR 不会被 AI 或人工编辑覆盖。重复上传同一个文件时,服务用文件内容的 SHA-256、OCR 模式和 DPI 匹配历史任务,而不是只看文件名;相同的识别结果可以直接复用。

这解决了一个很实际的问题:同一本书重新点“开始转换”时,不应该又建立一份空目录,让之前的 619 页成果变成孤儿数据。现在历史任务会优先恢复已经完成页数最多的那份目录,旧目录也不会被自动删除。

第二关:把“识别完”与“AI 校对”分开

最初的 AI 方案是识别一页、校对一页。它看起来反馈快,实际上不适合书籍:

  • 每页都要重新建立上下文;
  • 一句话被分页切断时,模型看不到前后文;
  • 页码、页眉和页脚会反复干扰模型;
  • 619 页会变成大量零碎请求,失败重试和记录复用都很麻烦。

现在的顺序是:先把整本书的 OCR 做完,再根据章节边界和字数上限进行 AI 校对。页面仍然是底层定位单位,但不是 AI 的唯一工作单位。

以章节为主,以字数为硬上限

正文先按照回目、目录线索和页面顺序组织起来,再切成有限大小的校对段。当前本地模型的默认设置大致是:

  • 一段正文最多约 3000 个字符;
  • 从前文带入的压缩上下文最多约 600 个字符;
  • 发现响应变慢或显存压力大时,可以降到 1000–2000 个字符。

这里的“字符”是应用层的保护阈值,不等于模型 token 上限。它的目的也不是让模型一次读完整章,而是让每个请求都能在有限时间内完成、失败后能单独重试。

前文不会原样复制到后文。系统会生成一个受长度限制的滚动摘要,只保留人物、地点、称谓和正在发生的关系变化。后文必须以当前 OCR 正文为准,摘要只是辅助理解,不能用来猜测缺失的原文。

三种模型,统一成同一个校对接口

现在界面可以选择不同的校对提供方:

  • Orin 本机的 Ollama,例如当前配置的 qwen3.8:latest 标签;
  • Mac 上已经登录的 Hermes,通过现有的私有队列桥接请求;
  • Kimi、DeepSeek 等兼容接口。

Hermes 装在 Mac 上这一点很重要。Orin 上安装了 Agent,并不等于 Orin 上已经配置了 Hermes 的推理服务。Hermes 模式下,书稿任务留在 Orin,真正的模型调用交给 Mac 上的 Hermes;Mac 必须开机并且能被 Orin 访问。

不同模型的参数也不能硬套。曾经遇到过 Kimi 返回“只允许 temperature 为 1”,也遇到过 API 密钥认证失败和读取超时。这些错误应该被记录为一次请求失败,而不是把已经识别好的页面重新标成未处理。

第三关:断点续作和换模型,不能破坏已完成内容

这本书最有代表性的失败状态是:页面进度已经显示 619/619,但 AI 校对阶段仍然停在约 90%。当时 282 个校对段里已经完成 123 段,失败位置在 PDF 276–277 页附近。

这并不矛盾。619/619 只说明 OCR 页面阶段完成了;后面的 AI 阶段还有自己的 282 段任务。进度条如果只显示页面数量,很容易让人误以为整本书已经完成。

失败原因是校对请求要求模型按原样返回页面标记,但模型出现了重复、缺失或顺序错乱的标记。若直接接受这份响应,后面的文字就可能被映射到错误页面,所以系统宁可停止,也不静默写入可疑结果。

处理方式分成几层:

  1. 对结构化响应做页面标记校验,发现问题先重试一次。
  2. 重试仍失败时,把当前段拆成更小的片段。
  3. 每个片段由程序保留自己的页码映射,不把定位责任继续交给模型。
  4. 正文先提交,滚动摘要生成失败不能撤销已经保存的正文。

AI 结果也不是简单按“模型名”缓存,而是按原始片段内容的哈希保存,并记录提供方和模型。例如同一段文字先由本地 Qwen 完成,后来切换到 Hermes,之前已经接受的结果仍然可以复用;只对没有结果的片段继续请求新模型。

这让“停止校对”真正有意义:可以随时暂停,检查已完成内容,然后换模型继续。模型切换不再意味着整本书重新校对。

第四关:先处理可定位的异常,再谈文字润色

AI 并不适合替代所有人工检查。书籍 OCR 中有一类错误,最有效的办法是先把它们找出来,并且把位置标清楚。

字节码样式的怪字符

例如曾经出现过:

一朝芥蒂<0xE5><0xAB><0xA0>妇泄机谋

这组字节按 UTF-8 解码后是“嫠”,结果应为:

一朝芥蒂嫠妇泄机谋

这里不能简单下结论说“扫描字库没有这个字”。它首先是一个字节占位符问题,解码后还要回看原扫描页确认字形。现在可以先预览全书中完全相同的错误串,看到出现次数和页码,再一次性替换,避免每一页重复点击。保存前会重新验证预览快照,防止批量替换覆盖后来已经人工修改的页面。

句子中间混进页边杂印

有一页识别成了:

回头瞧见了芝卿,不由得一怔,半晌才说道:“我们这是在梦
1
中么?”芝卿一面扶他下榻,微笑着说道:“哪里有这样的好

回看原页后,那个“1”并不是正文,而是靠近右边页边的短杂印。系统记录了它的 PDF 页码、书内页码、坐标、置信度和原始片段;在这一页里,它的置信度约为 0.2788,位置也明显靠近正文右侧边缘。

检测规则会优先提示这些组合特征:

  • 正文中间独立成行的短数字;
  • 靠近页面边缘的短行;
  • 字体高度、宽度与正文差异明显;
  • OCR 置信度明显偏低。

这只是“疑点检测”,不是自动删除。正文里的年份、数量和章节数字不能因为像页码就全部删掉。人工确认后,删除的是整条短行,连同换行一起移除,导出时不会在“梦”和“中么”之间留下空白段落。

页码和杂印要分开

页码经常长成 -454-、·454·、【454】、第 454 页 或全角符号组合。它们和杂印不是同一类问题:页码可以规范化,杂印则需要结合坐标和正文位置判断。

批量页码修复保留的是扫描书上印刷的页码,不是 PDF 页索引。例如 PDF 第 15 页上印的是 3,就应当保存为“第3页”,不能机械地写成“第15页”。已经修复的记录不会继续出现在待处理列表;仍然保留的异常和批量预览记录都可以点击,直接定位到对应 PDF 页面和当前文本。

第五关:章节标题不是普通文本,排版也不能只靠换行

扫描书的目录和正文经常同时包含回目标题。一次校对中,页面被识别成:

半夜绸缪艳姬荐枕席
第 四 回
一朝芥蒂嫠妇泄机谋

但正常的结构应当是:

第四回
半夜绸缪艳姬荐枕席
一朝芥蒂嫠妇泄机谋

因此章节识别不能只找“第……回”这几个字,还要看它是否是独立短行、是否出现在页面开头、是否能和目录中的回目对应,以及前后两行是否像上下联标题。

现在会统一掉“第 四 回”和“第四回”之间不稳定的空格,预览后再批量保存。章节顺序调整有独立记录,避免为了修一个标题而重新扫描整本书。

这一步也解释了为什么原始 PDF 的目录不能直接当 EPUB 目录:扫描页里的目录只是图片或普通文字,它没有指向正文章节的链接。导出时需要重新建立“回目标题 → 正文章节锚点”的关系。

第六关:自然段落和原始版式要提供选择

OCR 最容易让人误以为“每个换行都是一个段落”。扫描页为了排版而换行,识别结果也会保留这些行尾;如果原样导出,电子书会变成一行一行的残片。

现在导出提供两种倾向:

  • 自然阅读:根据空行、段首缩进、标点、章节标题和跨页连续性合并段落,并移除普通正文中的 PDF 页码;
  • 保留版式:尽量保持原始换行,适合诗歌、表格、特殊文献或确实要求按原页复刻的内容。

普通小说默认使用自然阅读模式。它不是无条件删除所有换行,而是把“版心换行”和“段落边界”区分开。章节标题、目录项和连续对话仍然会保留为独立结构。

最后一步:把 EPUB 做成真正的书,而不是一个大文本文件

第一版导出只是把所有内容放进一个 XHTML 文件,并给每个章节加上强制分页。这样虽然能在阅读器里打开,但扫描目录会和正文重复,目录项也不能真正定位到章节。

后来把 EPUB 生成器拆成独立的工作台:

EPUB
├── mimetype
├── META-INF/container.xml
└── OEBPS/
    ├── nav.xhtml
    ├── toc.ncx
    ├── cover.xhtml
    ├── images/cover.jpg
    └── text/
        ├── chapter-0001.xhtml
        ├── chapter-0002.xhtml
        └── ...

每一回都是独立 XHTML,目录使用 EPUB 的 nav.xhtml,同时保留 NCX 兼容旧阅读器。导航指向正文里的章节锚点,目录本身不再被当成 95 个额外章节。最终结构校验会逐一检查导航链接是否真的存在,不能只看文件有没有生成。

封面也是独立选项,可以在生成 EPUB 时提交 PNG、JPG 或 WEBP,再设置书名和作者。封面会被转换成阅读器更容易处理的图片格式,并放到 EPUB 的封面资源和元数据中。更换封面或输出格式时,只需要重新生成输出文件,不需要重复 OCR 或 AI 校对。

这本书的第一次 EPUB 生成已经验证了真实章节目录和 96 个导航链接(包括前置内容时为 96 项,关闭前置内容则为 95 项)。这里的 96 不是多出一回,而是把前置部分和 95 回正文分别处理。之后即使重新选择封面、自然段落模式或输出格式,也应该复用已经保存的识别和修订结果。

这次调试最后留下的几条经验

1. “OCR 完成”不等于“书完成”

页面识别、异常检查、AI 校对、人工修订和电子书生成是不同阶段。界面必须分别显示页面数、校对段数、当前章节、当前页范围和已经保存的输出,否则 619/619 很容易造成误判。

2. AI 最适合做候选修复和上下文校验

它可以发现“第 四 回”这种排版问题,也能结合上下文判断一个低置信度字更可能是什么,但它不应该覆盖扫描原文,更不能在没有图像证据时自信地补字。原始 OCR、AI 建议和人工最终文本必须可追溯。

3. 缓存比换一个更大的模型更重要

长书任务迟早会遇到网络错误、模型超时、输出格式错误或机器重启。如果结果只能存在于一次 HTTP 请求里,再大的模型也会让人害怕重试。按页、按片段、按原文哈希保存,才是能长期使用的基础。

4. 自动检测要给出“为什么可疑”

“发现一个错误”还不够。页码要显示原始样式和规范化结果,杂印要显示坐标和置信度,字节码要显示解码前后文本,章节顺序要显示调整前后。人工修复的速度,取决于能不能直接定位和比较。

5. 电子书的质量取决于最后一公里

OCR 识别得再好,如果每行都强行换行、目录不能跳转、页码和杂印混在一起,最终仍然不像一本书。自然段落、真实章节目录、可选封面和可重复生成输出,才让“文字被识别出来”变成“这本书可以阅读”。

结语

我现在不会再把扫描书转换理解为一个按钮。更准确的说法是:把图像页面变成一组可验证的数据,再把这些数据逐步整理成一份书稿。

PaddleOCR 负责把字从图片里拿出来,常驻 worker 负责让长任务跑得稳定,分段 AI 负责提供校对建议,异常检测负责把人工注意力放到最值得检查的地方,最后的 EPUB 生成器则负责把这些结果重新组织成真正可导航、可阅读的电子书。

这套流程并不能保证每个字都百分之百正确,但它至少让错误变得可见、可定位、可批量修复,也让一次失败不再意味着从第一页重新开始。对扫描书来说,这比一次性追求“全自动、零人工”更可靠。

Conversation

留言

加载中

正在读取留言…

Leave a note

留下你的想法

留言提交后会先进入审核,审核通过才会公开显示。