Add lightweight standalone PDF to EPUB import and source-page QA
This commit is contained in:
Kai Tan
@@ -0,0 +1,60 @@
|
||||
# 轻量 PDF 导入首版与样本验收
|
||||
|
||||
按本轮收窄的范围开发：不引入 Docling 或大型模型，不实现困难版式。新增独立 `src/pdf_import/`、`scripts/pdf_to_epub.py` 和可选 `scripts/pdf_qa.py`。中文直接重排为 EPUB；英文先生成英文 EPUB，再进入已有翻译程序。转换阶段不调用翻译 API。
|
||||
|
||||
## 已实现与依赖
|
||||
|
||||
新增 PDF 依赖为 PDFium Python 包与 Pillow。独立环境只装 `requirements-pdf.txt`，包含 EPUB 导出／审计的轻量基础库；实际验证未加载 OpenAI SDK、Torch、Transformers、Docling 或 Paddle。macOS 使用系统 Vision；Swift 辅助进程常驻批量识别，未额外下载 OCR 模型权重。Tesseract 适配器可选，本机未安装程序，未做真实 Tesseract 验收。
|
||||
|
||||
原生文本提取与扫描页识别分流，扫描页即使已有隐藏 OCR 层也重新识别。页面缓存按源 SHA、页号、实际引擎／实现与系统版本、语言、DPI 和 PDFium 版本匹配。失败只保留已完成页面；未完成全书时不写出冒充全书的结果。部分选页输出有明确样例标签。
|
||||
|
||||
根据来源坐标重建普通段落，修复首轮发现的页眉混入正文与连续缩进段落被逐行拆开的情况；明显的跨页连续正文合并，原页锚点保留。书签层级生成 NAV／NCX。保留指定整页图，数字 PDF 的独立图片按页面区域渲染嵌入。构建临时 EPUB，结构审计通过后才替换最终输出。
|
||||
|
||||
## 样本
|
||||
|
||||
用户指定下载目录中的《中国的世界高原 上》，沈卫平。476页，无密码；抽查为横排单栏扫描，已有 ABBYY 文本层，但可见漏字，不能当作可靠原文。
|
||||
|
||||
源 SHA256：`aebc9f263ab0599f6d11c7db6c5e89e1316f2a950f2faa9ddbc72a94fe3da335`。
|
||||
|
||||
```bash
|
||||
.venv/bin/python scripts/pdf_to_epub.py \
|
||||
'/Users/kaitan/Downloads/中国的世界高原 上 (沈卫平) (z-library.sk, 1lib.sk, z-lib.sk).pdf' \
|
||||
--output 'output/pdf/中国的世界高原_上_重排初稿.epub' \
|
||||
--work .work/pdf-highland --language zh-CN \
|
||||
--title '中国的世界高原（上）' --author 沈卫平 \
|
||||
--cover-page 1 --image-pages 2,13,476 \
|
||||
--corrections .work/pdf-highland/corrections.json
|
||||
```
|
||||
|
||||
476/476页处理，476个来源页锚点均存在。459页为重排文字，17页为封面、扉页、空白／短文字页等原页图片；报告逐项列明。第2、13、476页为显式指定保留原貌的扉页、纸本目录和带签名二维码的封底；其余少量空白／短文字页自动保留原页图，不称为可搜索的重排文字。
|
||||
|
||||
原87个书签对应87个有效目录目标，层级为10个一级、77个二级。浏览器实际点击87个 NAV 链接，目标均到达。509行页眉／页码候选从派生正文移除，原识别行和删除记录仍保存。
|
||||
|
||||
## 对照 QA 与修复
|
||||
|
||||
以原页序1、4、16、101、248、476生成原扫描／900px／390px对照，检查封面、普通段落、跨页衔接、引文和封底保留。自动结构审计零问题，抽样自动布局检查零问题。实际查看的图片及 SHA 写入 `.work/pdf-highland/review-record.json`。
|
||||
|
||||
原页对照确认第101页两行中的三个字形识别错误，使用带源 SHA、稳定行 ID、expected 原文和 replacement 的校正文件修正；原始逐页 OCR JSON 不变。校正不匹配或重复时拒绝应用，不做全书无证据替换。
|
||||
|
||||
OCR 准确率仍待全文校对，未计算人工真值字错率。Vision 的低置信提示不是准确率百分比。输出 metadata 明确标为“PDF重排初稿”；没有宣称所有文字或每个阅读器分页已验收。
|
||||
|
||||
## 独立与英文路径验证
|
||||
|
||||
在新环境 `.work/pdf-light-env` 仅安装 `requirements-pdf.txt`，实际将两页英文原生文本 PDF 夹具转换为 EPUB，并打印后续翻译命令，没有加载翻译 SDK 或发起翻译。另用现有 EpubCleaner 和 FineGrainedExtractor 验证生成英文 EPUB 可进入现有提取链路。后续翻译在原项目 `.venv` 中执行，沿用其模型与凭据选择。
|
||||
|
||||
测试：98 passed，2 skipped。新增覆盖页范围、页眉误识别、英文提取衔接、扫描页覆盖旧文本层、缓存复用／失效、失败恢复与禁止部分全书输出、连续缩进段落及源绑定校正。
|
||||
|
||||
## 范围限制
|
||||
|
||||
- 首版针对横排单栏普通书；没有实现双栏、竖排正文、公式、复杂表格或脚注双向链接重建。
|
||||
- 扫描页混合插图不自动精细切分；可指定整页保留。并非所有字体、粗体及页面坐标都被重建。
|
||||
- 来源锚点使用PDF文件页序，不冒充纸本页码。纸本目录页保留原图，交互目录由实际 PDF 书签生成。
|
||||
- headless 为连续 XHTML，不代表 Calibre、Apple Books 等所有阅读器的分页。全书文字校对没有完成。
|
||||
|
||||
## 本地证据
|
||||
|
||||
`.work/pdf-highland/`：`source.json`、原始 `pages/`、`renders/`、`book.json`、`corrections.json`、`report.json`、`qa-final/review.html`、`qa-final/report.json` 和 SHA 绑定的 `review-record.json`。原PDF不修改，书籍和识别文字不提交仓库。
|
||||
|
||||
输出：`output/pdf/中国的世界高原_上_重排初稿.epub`。
|
||||
|
||||
输出 SHA256：`9e2bece683420803d59292aa49fb44ee6e1cd002331364af7380ba0a5971b71d`。
|
||||
Reference in New Issue
Block a user