互联网容易受到“比特腐烂”(bitrot)的影响——即数字内容的逐渐衰变或消失。当域名过期、托管服务关闭,或者网站被重新用于无关内容(如在线赌博)时,这种情况就会发生。虽然许多用户认为网络存档是 Internet Archive 等大型机构的专属任务,但现在个人用户也可以使用相关工具,主动掌控他们重视的内容。通过创建个人存档,用户可以确保特定的网页、社交媒体个人资料或整个域名即使在下线后仍可访问。
根据内容的规模,有几种不同的个人存档方法。对于单个页面或小型收藏,基于浏览器的工具提供了低门槛的切入点。Chrome 扩展程序 ArchiveWeb.page 允许用户只需点击按钮即可捕获页面,确保在保存之前加载交互元素。对于手动浏览不切实际的大型项目,可以使用 Browsertrix 等网络爬虫。爬虫通过遵循域内的链接来自动化处理过程,从而尽可能多地捕获内容。虽然 Browsertrix 是按次计费的付费工具,但它提供了一种处理大规模站点抓取的全方位方案,这些操作如果手动执行将非常繁琐。
这些工具通常以 WARC(Web ARChive)或 WACZ 等标准格式保存数据,这些格式将存档与必要的元数据打包在一起。这些文件可以在本地“重放”,允许用户像浏览在线内容一样浏览保存的内容。此外,这些存档可以通过将文件发送给他人进行私下共享,也可以通过使用简单的 JavaScript 将重放界面嵌入到博客或网站中进行公开共享。然而,这些方法面临实际限制:自动化爬虫可能会被旨在阻止抓取的反机器人防御措施拦截,且高容量存储不断上涨的成本可能会让个人用户更难“囤积”大量数据。最终,个人存档将保存责任从中心化模式转向分布式模式,让社区能够保存对他们最重要的特定网络片段。

这张图片展示了文中提到的 Browsertrix 爬虫界面,特别是用户如何定义抓取范围。