专栏第 3 篇。前两篇讲标准、讲技术这篇讲人。做一个 30 万页的学籍档案数字化项目真正决定成败的不是 OCR 精度而是现场那点破事。项目已脱敏学校名称、人员信息全部隐去但坑是真的一个没少。一、项目背景这个高校档案馆委托我们做全校学籍档案数字化。听上去是个标准活打开库房才知道分量体量约 30 万页覆盖 20 世纪 50 年代至今形态毕业生登记表、成绩单、录取名册、学籍异动材料、学位材料难点年代跨度 60 年纸张状况天差地别——有保存完好的打印件也有脆得不敢翻的 50 年代油印件格式高度不统一老表是手写表格新表是机打甲方目标很明确查档提速。过去学生补办证明、出国公证查档案档案员要进库房翻半天数字化之后检索 打印出证在系统里几分钟完成。项目周期 4 个月驻场 6 人团队2 名扫描、2 名图像处理与质检、1 名著录、1 名项目负责人兼系统维护两台 A3 高速扫描仪 一台零边距扫描仪备用。二、踩坑前先讲对的东西流程框架先交代我们跑通的流程后面的坑都是在这个框架里踩出来的档案交接 → 前处理拆订/修裱/排序 → 扫描 → 图像处理 → 质检 → OCR 与著录 → 档号挂接 → 抽检验收 → 移交入库这套框架我们第 1 篇讲过对应 DA/T 31 的九环节这篇不重复直接讲坑。坑 150 年代脆纸 透光扫描参数不是一套参数能打天下的现象50 年代的油印件纸张极薄且脆双面印刷时背面字迹透过来正面扫描出来一片花老纸本身还带着黄斑、霉点自动去污一开把正文浅色油墨也当成污点抹掉了。处理这类档案我们单独开了文物级加工流程透光问题扫描台垫黑纸让透过的背光变黑OCR 反而更干净扫描仪色彩模式用灰度避免彩色模式下黄底干扰识别去污策略老件默认只纠偏、不自动去污黄斑保留它是档案历史的一部分质检阶段人工判定翻页安全脆纸统一垫塑料保护膜逐页翻扫描速度放慢三分之一。教训扫描参数必须是按档案状态分组的模板体系而不是一套默认参数跑全场。我们后来把参数模板按纸张年代/厚度/字迹类型建档这套模板体系后来直接做进了我们自己的系统里。坑 2铅笔字迹二值化的经典谋杀案现象60~80 年代的登记表大量使用铅笔填写铅笔不易褪色、易修改当年反而流行。我们的处理流水线默认对灰度图做二值化压缩——结果铅笔字迹和二值化后的纸面灰度太接近一批铅笔字迹的字段直接人间蒸发质检抽查时才发现。处理存档策略改为灰度存档 二值化副本仅用于 OCR不再用二值化图作为最终交付件这条我们第 1 篇提过这里算是血泪实证对铅笔字迹页OCR 参数切到低对比度模式识别置信度整体下调阈值宁可多出候选让著录员挑也不能漏字。教训压缩存储和信息保全打架时永远选保全。档案数字化的第一原则是数字副本不比原件少信息为省几个 GB 丢了字段验收时哭都来不及。坑 3页序错乱档号挂接对不上现象老卷宗当年装订不规范同一案卷里页序本身就乱扫描时按物理顺序进机器结果数字副本和目录条目对不上——目录第 3 页的内容图像文件里排在第 15 个。处理这个坑我们分成两道防线解决档号条码化项目中途停扫一天把所有卷宗封面补贴档号条码一维码即可扫描时随图像一起采集条码即档号锚点页序错乱在采集环节就暴露页序校验每个案卷扫描完成后自动比对目录页数 vs 实扫页数不等漏扫/重扫立刻报警回退不让错页流入挂接环节。教训档号是挂接的唯一锚点锚点必须在扫描环节就固化而不是事后人工对。项目启动第一天就该把甲方档号编制规则问清楚——我们是在项目中途才对齐的返工损失了两周。坑 4验收口径没对齐返工返到怀疑人生现象项目过半甲方档案馆提出抽检要求图像质量抽检比例 10%、著录准确率要求 100%、漏页率零容忍。而我们的内部质检标准是图像 5%、著录 99.5% 起步、漏页率 0.5% 以内。标准不一致 做出来的东西过不了检。处理重新对齐验收口径把甲方要求拆进我们每天的质检流程里抽检比例提到 10%著录加了一道人工复核位同时把差异写进补充协议。多花了成本但项目按期交付了。教训验收口径是合同级的对齐不是口头约定。启动会的第一项议程就应该是验收标准逐条确认包括抽检比例、合格判定、返工机制、交付格式。这一条写进我们所有项目的 SOP从此没再翻过车。坑 5学生信息是敏感数据权限问题差点出事现象学籍档案包含身份证号、家庭住址、联系方式——属于个人信息敏感数据。项目团队 6 个人都能看到全库信息现场电脑还连着甲方办公网一旦泄露性质就不是项目事故而是法律事故。处理现场网络隔离加工区独立局域网与甲方办公网物理断开数据导出走人工刻盘 登记权限最小化著录员只能看到自己任务批次的记录全文检索功能在加工期对现场账号关闭留痕所有查看、导出行为记录日志项目经理每日检查。教训档案数字化项目的合规红线从进场第一天就要当安全事故来防。尤其教育、医疗、司法这类场景数据合规要求的权重高于一切技术指标。三、结果4 个月含返工调整30 万页全部完成指标结果交付量约 30 万页数字副本TIFF 双层 PDF 双格式著录条目覆盖全部卷宗挂接率 100%检索全文检索上线后单份档案定位从小时级翻库降到秒级查档量项目上线后半年系统查档 3000 次档案员加班明显减少数字不夸张——查档提速是学籍档案数字化最实在的 ROI甲方馆长原话“过去学生来办证明我们得让他明天再来现在当场出证。”四、给同行的五条建议把这五个坑倒过来就是五条建议按档案状态分组建扫描参数模板别用一套参数打天下存档永远比压缩优先灰度/彩色存档二值化只用于识别档号锚点进扫描环节条码化 自动比对别靠事后人工验收口径合同化启动会第一项议程就是逐条确认验收标准数据合规当安全事故防网络隔离、权限最小化、留痕一样不能少。五、写在最后这个项目让我们想明白一件事档案数字化卖的不是扫描仪 软件而是**“甲方敢把一辈子档案交给你的那份信任”**。信任怎么来的标准你比他熟坑你比他知道得多敏感数据你比他还上心——做到这三点报价贵一点甲方反而更放心。下一篇回归技术讲 Elasticsearch 在档案全文检索里的分词与索引策略落地。 档案信息化系统研发手记（三）：30 万页高校学籍档案数字化项目复盘——我们踩过的五个坑
专栏第 3 篇。前两篇讲标准、讲技术这篇讲人。做一个 30 万页的学籍档案数字化项目真正决定成败的不是 OCR 精度而是现场那点破事。项目已脱敏学校名称、人员信息全部隐去但坑是真的一个没少。一、项目背景这个高校档案馆委托我们做全校学籍档案数字化。听上去是个标准活打开库房才知道分量体量约 30 万页覆盖 20 世纪 50 年代至今形态毕业生登记表、成绩单、录取名册、学籍异动材料、学位材料难点年代跨度 60 年纸张状况天差地别——有保存完好的打印件也有脆得不敢翻的 50 年代油印件格式高度不统一老表是手写表格新表是机打甲方目标很明确查档提速。过去学生补办证明、出国公证查档案档案员要进库房翻半天数字化之后检索 打印出证在系统里几分钟完成。项目周期 4 个月驻场 6 人团队2 名扫描、2 名图像处理与质检、1 名著录、1 名项目负责人兼系统维护两台 A3 高速扫描仪 一台零边距扫描仪备用。二、踩坑前先讲对的东西流程框架先交代我们跑通的流程后面的坑都是在这个框架里踩出来的档案交接 → 前处理拆订/修裱/排序 → 扫描 → 图像处理 → 质检 → OCR 与著录 → 档号挂接 → 抽检验收 → 移交入库这套框架我们第 1 篇讲过对应 DA/T 31 的九环节这篇不重复直接讲坑。坑 150 年代脆纸 透光扫描参数不是一套参数能打天下的现象50 年代的油印件纸张极薄且脆双面印刷时背面字迹透过来正面扫描出来一片花老纸本身还带着黄斑、霉点自动去污一开把正文浅色油墨也当成污点抹掉了。处理这类档案我们单独开了文物级加工流程透光问题扫描台垫黑纸让透过的背光变黑OCR 反而更干净扫描仪色彩模式用灰度避免彩色模式下黄底干扰识别去污策略老件默认只纠偏、不自动去污黄斑保留它是档案历史的一部分质检阶段人工判定翻页安全脆纸统一垫塑料保护膜逐页翻扫描速度放慢三分之一。教训扫描参数必须是按档案状态分组的模板体系而不是一套默认参数跑全场。我们后来把参数模板按纸张年代/厚度/字迹类型建档这套模板体系后来直接做进了我们自己的系统里。坑 2铅笔字迹二值化的经典谋杀案现象60~80 年代的登记表大量使用铅笔填写铅笔不易褪色、易修改当年反而流行。我们的处理流水线默认对灰度图做二值化压缩——结果铅笔字迹和二值化后的纸面灰度太接近一批铅笔字迹的字段直接人间蒸发质检抽查时才发现。处理存档策略改为灰度存档 二值化副本仅用于 OCR不再用二值化图作为最终交付件这条我们第 1 篇提过这里算是血泪实证对铅笔字迹页OCR 参数切到低对比度模式识别置信度整体下调阈值宁可多出候选让著录员挑也不能漏字。教训压缩存储和信息保全打架时永远选保全。档案数字化的第一原则是数字副本不比原件少信息为省几个 GB 丢了字段验收时哭都来不及。坑 3页序错乱档号挂接对不上现象老卷宗当年装订不规范同一案卷里页序本身就乱扫描时按物理顺序进机器结果数字副本和目录条目对不上——目录第 3 页的内容图像文件里排在第 15 个。处理这个坑我们分成两道防线解决档号条码化项目中途停扫一天把所有卷宗封面补贴档号条码一维码即可扫描时随图像一起采集条码即档号锚点页序错乱在采集环节就暴露页序校验每个案卷扫描完成后自动比对目录页数 vs 实扫页数不等漏扫/重扫立刻报警回退不让错页流入挂接环节。教训档号是挂接的唯一锚点锚点必须在扫描环节就固化而不是事后人工对。项目启动第一天就该把甲方档号编制规则问清楚——我们是在项目中途才对齐的返工损失了两周。坑 4验收口径没对齐返工返到怀疑人生现象项目过半甲方档案馆提出抽检要求图像质量抽检比例 10%、著录准确率要求 100%、漏页率零容忍。而我们的内部质检标准是图像 5%、著录 99.5% 起步、漏页率 0.5% 以内。标准不一致 做出来的东西过不了检。处理重新对齐验收口径把甲方要求拆进我们每天的质检流程里抽检比例提到 10%著录加了一道人工复核位同时把差异写进补充协议。多花了成本但项目按期交付了。教训验收口径是合同级的对齐不是口头约定。启动会的第一项议程就应该是验收标准逐条确认包括抽检比例、合格判定、返工机制、交付格式。这一条写进我们所有项目的 SOP从此没再翻过车。坑 5学生信息是敏感数据权限问题差点出事现象学籍档案包含身份证号、家庭住址、联系方式——属于个人信息敏感数据。项目团队 6 个人都能看到全库信息现场电脑还连着甲方办公网一旦泄露性质就不是项目事故而是法律事故。处理现场网络隔离加工区独立局域网与甲方办公网物理断开数据导出走人工刻盘 登记权限最小化著录员只能看到自己任务批次的记录全文检索功能在加工期对现场账号关闭留痕所有查看、导出行为记录日志项目经理每日检查。教训档案数字化项目的合规红线从进场第一天就要当安全事故来防。尤其教育、医疗、司法这类场景数据合规要求的权重高于一切技术指标。三、结果4 个月含返工调整30 万页全部完成指标结果交付量约 30 万页数字副本TIFF 双层 PDF 双格式著录条目覆盖全部卷宗挂接率 100%检索全文检索上线后单份档案定位从小时级翻库降到秒级查档量项目上线后半年系统查档 3000 次档案员加班明显减少数字不夸张——查档提速是学籍档案数字化最实在的 ROI甲方馆长原话“过去学生来办证明我们得让他明天再来现在当场出证。”四、给同行的五条建议把这五个坑倒过来就是五条建议按档案状态分组建扫描参数模板别用一套参数打天下存档永远比压缩优先灰度/彩色存档二值化只用于识别档号锚点进扫描环节条码化 自动比对别靠事后人工验收口径合同化启动会第一项议程就是逐条确认验收标准数据合规当安全事故防网络隔离、权限最小化、留痕一样不能少。五、写在最后这个项目让我们想明白一件事档案数字化卖的不是扫描仪 软件而是**“甲方敢把一辈子档案交给你的那份信任”**。信任怎么来的标准你比他熟坑你比他知道得多敏感数据你比他还上心——做到这三点报价贵一点甲方反而更放心。下一篇回归技术讲 Elasticsearch 在档案全文检索里的分词与索引策略落地。