v0.7.2: 前置件排版重构 + emoji 禁令 + 引文核查
用户反馈 7 个 bug 修复： 1. 禁止 LLM 使用 emoji（全链路） - scripts/prompts/translate_system.txt 增加规则 12 - scripts/prompts/polish_system.txt 增加规则 7 - .opencode/agents/dr-analyst.md Hard Rules 增加第 10 条（同时把 prompt 自身的 ✅❌ 改为 MUST / MUST NOT） - .opencode/agents/dr-editor-in-chief.md 禁止事项加入 emoji 条款 - .opencode/skills/output-hygiene/SKILL.md 新增 §J emoji 强制禁用 2. 术语表位置错误（应在目录之后） 重构 build_body 为两阶段： (a) 扫描所有前置件（第一个正文 H1 前的所有 H1/H2），按 title_kind 分组收集 (b) 按固定顺序渲染：免责声明 → 执行摘要 → 目录 → 术语表 → 正文 → 参考文献 无论 Markdown 原文顺序如何，排版都一致。 3. 执行摘要/术语表提升为一级标题 + 分页空页 bug 统一所有独立章节（disclaimer/executive_summary/toc/glossary/references）用 h1 样式， 章节前 PageBreak；但第一个独立章节不 PageBreak（封面后已换页，避免空白）。 去掉 build_toc 内部末尾 PageBreak（原双 PageBreak 夹出空白页）。 4. 参考文献分页 已作为独立章节自动分页。 5. 附录章节自动删除 _title_kind 识别 "appendix" / "version_history" / "abstract" 全部跳过。 正文中若写了这些章节，模板直接丢弃。 6. 信源完整性核查 新增 scripts/check_citations.py： - 孤立引用（正文有 sources 无）检测 - 孤岛信源（sources 有正文无）检测 - emoji 扫描 - 实测发现项目中 61 条孤立引用（dr-analyst 编造的占位符）+ 5 条孤岛信源 7. git commit message 中文转义 bug 之前 commit 用 shell 双引号 + 反斜杠导致 \uXXXX 字面保留。 本 commit 用 heredoc 保证中文以 UTF-8 直接写入。 已 push 的历史不改，之后都用本 commit 的写法。 PDF 验证结果：55 页，0 空白页。 章节起始页：封面(1) - 免责声明(2) - 执行摘要(3) - 目录(5) - 术语表(7) - 第一章(12) - 第十章(48) - 参考文献(52)。
This commit is contained in:
kai
@@ -0,0 +1,146 @@
|
||||
#!/usr/bin/env python3
|
||||
"""引文完整性核查。
|
||||
|
||||
检查 final_zh_polished.md（或其它正文）中的 [src_xxx] 引用与 sources.jsonl 是否一致：
|
||||
- 孤立引用（正文有但 sources.jsonl 无）：需要 dr-analyst 补信源或删这处引用
|
||||
- 孤岛信源（sources.jsonl 有但正文无）：被 polish 或润色误删了上下文，或 dr-analyst 收集了
|
||||
但没用上
|
||||
- emoji 扫描：正文里不该有 emoji
|
||||
- 编号格式：检查 src_xxx 是否符合规范
|
||||
|
||||
用法：
|
||||
uv run python scripts/check_citations.py <project_slug>
|
||||
uv run python scripts/check_citations.py <project_slug> --md phase4/final_zh.md
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import argparse
|
||||
import json
|
||||
import re
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
|
||||
EMOJI_RE = re.compile(
|
||||
r"[\U0001F000-\U0001FFFF]" # Supplementary Plane emoji
|
||||
r"|[\u2700-\u27BF]" # Dingbats (✅ ❌)
|
||||
r"|[\u2600-\u26FF]" # Misc symbols (⭐ ⚠ ☀)
|
||||
r"|[\u2B00-\u2BFF]" # Misc symbols and arrows
|
||||
)
|
||||
|
||||
# 允许的符号（字体支持）
|
||||
ALLOWED_SYMBOLS = {
|
||||
"✓", "×", "◆", "◇", "●", "○", "★", "※",
|
||||
"→", "←", "↑", "↓",
|
||||
}
|
||||
|
||||
SRC_ID_RE = re.compile(r"\[(src_[A-Za-z0-9_\-]+(?:\s*,\s*src_[A-Za-z0-9_\-]+)*)\]")
|
||||
|
||||
|
||||
def resolve_project(arg: str) -> Path:
|
||||
p = Path(arg)
|
||||
if p.is_dir():
|
||||
return p
|
||||
cand = Path.cwd() / "projects" / arg
|
||||
if cand.is_dir():
|
||||
return cand
|
||||
raise SystemExit(f"project not found: {arg}")
|
||||
|
||||
|
||||
def main() -> int:
|
||||
parser = argparse.ArgumentParser(description="引文完整性核查")
|
||||
parser.add_argument("project", help="项目 slug 或路径")
|
||||
parser.add_argument("--md", default="phase4/final_zh_polished.md")
|
||||
parser.add_argument("--sources", default="phase2/sources.jsonl")
|
||||
args = parser.parse_args()
|
||||
|
||||
project = resolve_project(args.project)
|
||||
md_path = project / args.md
|
||||
src_path = project / args.sources
|
||||
|
||||
if not md_path.exists():
|
||||
raise SystemExit(f"找不到正文：{md_path}")
|
||||
|
||||
text = md_path.read_text(encoding="utf-8")
|
||||
|
||||
# 1. 收集正文引用（保序去重）
|
||||
cited: list[str] = []
|
||||
cited_set: set[str] = set()
|
||||
for m in SRC_ID_RE.finditer(text):
|
||||
for sid in m.group(1).split(","):
|
||||
sid = sid.strip()
|
||||
if sid and sid not in cited_set:
|
||||
cited_set.add(sid)
|
||||
cited.append(sid)
|
||||
|
||||
# 2. 收集 sources.jsonl 中的 ID
|
||||
sources: dict[str, dict] = {}
|
||||
if src_path.exists():
|
||||
for line in src_path.read_text(encoding="utf-8").splitlines():
|
||||
line = line.strip()
|
||||
if not line:
|
||||
continue
|
||||
try:
|
||||
r = json.loads(line)
|
||||
if sid := r.get("id"):
|
||||
sources[sid] = r
|
||||
except Exception:
|
||||
continue
|
||||
|
||||
orphan_cites = [s for s in cited if s not in sources]
|
||||
island_sources = [s for s in sources if s not in cited_set]
|
||||
matched = [s for s in cited if s in sources]
|
||||
|
||||
print(f"=== 引文统计 ===")
|
||||
print(f" 正文引用（独立 ID）：{len(cited_set)}")
|
||||
print(f" sources.jsonl 收录：{len(sources)}")
|
||||
print(f" 匹配：{len(matched)}")
|
||||
print(f" 孤立引用（正文有 sources 无）：{len(orphan_cites)}")
|
||||
print(f" 孤岛信源（sources 有正文无）：{len(island_sources)}")
|
||||
|
||||
if orphan_cites:
|
||||
print(f"\n=== 孤立引用（前 20 条）===")
|
||||
for s in orphan_cites[:20]:
|
||||
print(f" {s}")
|
||||
if len(orphan_cites) > 20:
|
||||
print(f" ...还有 {len(orphan_cites) - 20}")
|
||||
print(f"\n 处理建议：")
|
||||
print(f" (a) 如果是 dr-analyst 编造的占位符 → 在正文中删除该引用")
|
||||
print(f" (b) 如果是信源未收录 → 补到 sources.jsonl")
|
||||
|
||||
if island_sources:
|
||||
print(f"\n=== 孤岛信源（前 20 条）===")
|
||||
for s in island_sources[:20]:
|
||||
print(f" {s} — {sources[s].get('title', '')[:80]}")
|
||||
if len(island_sources) > 20:
|
||||
print(f" ...还有 {len(island_sources) - 20}")
|
||||
print(f"\n 处理建议：")
|
||||
print(f" (a) 如果是 polish 阶段误删了使用该信源的段落 → 检查 polish diff")
|
||||
print(f" (b) 如果是收集多余信源 → 可以保留（build_references 会自动忽略）")
|
||||
|
||||
# 3. Emoji 扫描
|
||||
emoji_hits = []
|
||||
for m in EMOJI_RE.finditer(text):
|
||||
c = m.group()
|
||||
if c not in ALLOWED_SYMBOLS:
|
||||
line = text[:m.start()].count("\n") + 1
|
||||
emoji_hits.append((line, c))
|
||||
|
||||
if emoji_hits:
|
||||
print(f"\n=== ⚠ 发现 {len(emoji_hits)} 个 emoji（不允许出现在正文）===")
|
||||
seen = {}
|
||||
for line, c in emoji_hits:
|
||||
seen.setdefault(c, []).append(line)
|
||||
for c, lines in seen.items():
|
||||
print(f" U+{ord(c):04X} {c!r} 第 {lines[:5]} 行 等 {len(lines)} 处")
|
||||
print(f" 建议用 python3 替换：sed -i '' 's/{list(seen.keys())[0]}//g' {md_path}")
|
||||
|
||||
# 返回码：有问题返回非零便于 CI 使用
|
||||
if orphan_cites or emoji_hits:
|
||||
return 1
|
||||
return 0
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
sys.exit(main())
|
||||
Reference in New Issue
Block a user