德国联邦档案馆目前正在管理一个庞大的档案库,包含大约4亿到6亿个纸张碎片,代表了4000万到5500万页的历史数据。这些碎片在1989/90年和平革命期间,很大程度上是由国家安全部(Stasi)为了抹除非法行动痕迹而手工撕碎的。由于材料极其庞大,档案馆一直难以从手动重建转向可扩展的计算机辅助流程。

破坏的规模

在1989年和1990年的权力交接期间,Stasi工作人员执行销毁监控和颠覆记录的命令。虽然有些文件被制成纸浆或焚烧,但许多文件被手工撕碎并塞入袋中。档案馆目前持有足够的碎片,足以装满16,000个袋子,这些袋子是在公民占领Stasi办公室时留下的。

Stasi记录档案馆中存储的大量细小手工撕碎的纸张碎片集合。
Stasi文件的手工撕碎碎片,联邦档案馆正试图对其进行重建。www.bundesarchiv.de

这张图片展示了档案库中提到的破坏的巨大规模和碎片的物理状态。

档案馆已经检查了其中的7,700个袋子,并按登记号和文件号对其进行分类。虽然一些页面已成功修复,揭示了对反对派领导人的迫害以及非官方合作者(IMs)的活动细节,但剩余材料的巨大数量仍是一个重大的物流障碍。

“试点项目未能产生合适的工程技术流程,以能够在可接受的时间内和经济可行的成本下,将现有的约15,500袋‘碎片’组装起来。”

— The Reconstruction of Torn Documents

自动化的技术障碍

2013年,弗劳恩霍夫生产系统与设计技术研究所(IPK)展示了其“e-Puzzler”软件在原理上可以重建文件。然而,该项目未能达到至少80%的自动化重建率,这是使该过程在经济和时间上可行以进行大规模生产的门槛。

主要的挑战在于缺乏标准化的模板。虽然其他项目(如重建受损钞票)受益于相同的纸张图案和清晰的方向,但Stasi文件存在许多不同的纸张形式。这种缺乏统一性的意味着目前没有现有的技术模型,需要从头开始开发定制解决方案。

当前策略与权衡

在2021年Stasi记录局解散后,联邦档案馆接管了文件重建的法律授权。由于自动化的试点项目被证明不适合大规模生产,档案馆目前正在准备一份新的需求目录,以寻找能够构建全球首创独特技术的供应商。

在此期间,档案馆继续依靠手动重建来履行其法律义务。这造成了一个重大的权衡:档案馆必须在人类档案管理员缓慢且耗费人力的节奏(他们像拼图一样铺开碎片并将其粘合在一起)与构建功能性自动化系统所需的巨额研发成本之间寻找平衡。

档案管理员正在手动重建撕碎的纸张碎片。
档案管理员手动拼接文件碎片以履行法律重建义务。www.bundesarchiv.de

这张视觉效果展示了被描述为当前重建过渡期策略的耗费人力的手动过程。

Hacker News 读者的反应

  • 技术补充: 一位评论者建议,这种困难可能不是机器学习的技术限制,他认为执行此类重建的技术可能至少在十年前就已经存在。 评论 ↗
  • 质疑: 几位评论者对项目的成功表示怀疑,其中一人认为自动化过程失败可能是由于政治或财务动机,而非技术障碍。 评论 ↗
  • 技术补充: 一位评论者指出,虽然撕碎的文件很难处理,但碎纸机撕碎的纸张在技术上挑战更高,并提到了过去DARPA关于此主题的挑战。 评论 ↗
  • 技术补充: 另一位用户指出,扫描16,000袋缠绕在一起的碎片在物流上本身就是一项巨大的且非琐碎的工程。 评论 ↗

以上为 Hacker News 讨论中观点的摘要,并非经过核实的事实。 阅读完整讨论 ↗