2.5 Admins 228: Century-Scale Storage
29:32 Share

这篇播客讨论了可靠地存储数据一百年所需条件，包括机构资金和组织、十年级的冗余、多个热备份和冷备份、对多种介质的风险对冲等等。此外还讨论了在没有普通快照的情况下备份 ZFS 的方法。   赞助 在 Patreon 上支持我们，获得无广告 RSS 订阅，有时还能提前收听剧集   讨论 百年级存储     免费咨询 我们被问到如何在没有普通快照的情况下备份 ZFS。           ServerMania 使用代码 25ADMINS，在 servermania.com/25a 获取专用服务器终身 15% 的折扣        

查看我们的联系页面以了解联系方式。  

</context> <raw_text>0 二点五位管理员，第 228 集。我是乔。我是吉姆。我是艾伦。我们又见面了。哈佛法学院图书馆创新实验室的麦克斯韦·尼利·科恩写了一篇有趣的文章，名为《百年级存储》。非常有趣。

很长，但非常有趣，是的，这是一篇 12000 字的文章，基本上是说，如果你想存储一些信息，并肯定能够在 100 年后访问它，你会使用什么机制？它介绍了当今的一些不同方法，以及尝试使用它们来实现这一目标的优缺点，以及其他一些需要考虑的问题：我们如何确保能够将这些数据保存 100 年？

他们从 RAMAC 驱动器的故事开始，这是 IBM 70 多年前发明的第一批硬盘之一。就在不久前，计算机历史博物馆设法找到四个仍然存在的驱动器中的一个，并使其工作。当他们从中读取数据时，他们发现了来自保险公司和汽车制造商等的随机数据，并且仍然能够读取它。

而且，你知道，我们看看今天的硬盘，你真的不指望 70 年后你还能读取这个硬盘。但他们继续指出他们这样做时面临的一些问题。零件不再生产了。制造这些零件的机器也不存在了。因此，基本上需要许多不同机构和公司的合作来拼凑必要的材料。

机器来制造硬件，才能恢复这些数据。而这仅仅是为了读取一个碰巧幸存下来的单个单元的数据。在所有制造的单元中，我认为只有三个样本是已知的。据我所知，这是唯一一个能工作的。拼凑是好的。我喜欢拼凑。文章开头指出的另一件事是，如果你问这个问题，我该如何存储数字数据才能使其保存 100 年？

这始终是一个猜测，因为我们还没有将数字数据保存整整一个世纪。因此，目前还没有经过验证的答案。这最终会更趋向于文章的高潮部分。但真正引起我共鸣的是，当他开始谈论这样一个事实时：如果你真的想保证百年级存储，之所以百年级特别有趣，是因为虽然它

当然在单个人的一生中是可以实现的，但它完全超出了单个人的职业生涯的范围，这意味着如果你想将数据保存一个世纪，你实际上需要几代人的基础设施。你需要的人不仅仅是你自己，也不仅仅是你和你同龄的朋友。你需要一个能够招聘新人才的组织，然后在老员工退休后接替他们的工作。

这就是混乱真正开始的地方，因为事实证明，大规模地长期管理人类非常非常困难。你不能只用代码来解决它。是的，像许多科技事物一样，

它既是社会挑战，也是技术挑战。是的，我继续谈论到，即使你成立了一家公司来做这件事，大多数公司也只持续大约 15 年，50 年真的有点勉强了。甚至在 60 年是平均值之前，但平均值一直在下降。因此，即使你围绕着尝试保持这组数据而建立了一整家公司，

它很可能无法生存。因此，你真的必须考虑很多，就像吉姆说的那样，不仅仅是如何现在保存数据，而且是如何让其他人对保存这些数据感兴趣，并让他们学习这些工具的工作原理并继续保持下去。它将不得不经历几代人。这一点不能丢失。这样做的愿望不能丢失。这可能是一些非常有趣的挑战。

你还必须考虑四个维度的故障模式。把它想象成构建 RAID 阵列，对吧？因此，如果你使用 RAID 5 拓扑结构、对角线条带奇偶校验、单奇偶校验构建阵列，你可以承受一次故障并恢复，对吧？

所以考虑一下几十年而不是驱动器。例如，如果你有一个十年糟糕的管理，它完全忘记了他们应该做什么，并且没有执行策略并确保新员工的招聘，你的组织能否承受这种一次性故障？那么，它能否连续承受两次？

你现在正在查看跨几十年和几个世纪的正常运行时间，而不仅仅是谈论单个业务中每天的正常运行时间。但是原理是相同的，你必须考虑故障模式的方式几乎是相同的。

当你开始考虑你甚至没有见过，并且在你自己的有生之年可能不存在的人作为应该到位替换组件时，你就会开始看到这有多么具有挑战性。是的。就像我们之前在节目中谈到的那样，当代年轻人

年轻的学生并不真正理解目录和子目录以及文件系统这样的概念，而是像我在云中的程序中保存一个文件，就是这样，它就在那里。因此，如果你正在谈论这些数据，我们用来谈论数据甚至这些概念在几代人之后可能就不存在了，更不用说有人了解今天的工作原理以便继续保持下去了。

他们指出的另一件事是，REMAC 等最困难的事情是，如果你试图让某个特定部件继续工作，你需要保留该部件的硬件，这可能需要保留制造该硬件的机器。然后还有软件。现在，硬件和软件都是针对短期设计的，对吧？它们是可丢弃和可替换的。但是如果你不注意它，那么你最终会得到无法正常工作的硬件。例如，

在 VAX 上设计的核电站，然后他们停止制造硬盘来更换故障的硬盘。然后最终，他们设法在普通的 x86 机器上使用一些虚拟化来使其工作，但他们仍然假装让这个旧的东西继续工作，而不是真正对其进行现代化改造。因此，有不同的方法来做到这一点。因此，他们研究了一些博物馆和专业从事此工作的档案管理员如何处理

非数字内容。专业档案管理员建议制作和存储多种格式的多个副本，对吧？你典型的 3-2-1 规则。你需要三个副本，两种不同的格式，并且至少一个在不同的位置。因为，你知道，如果发生地震、飓风或火灾导致建筑物被毁怎么办？如果那是你所有三个副本所在的地方，那么你现在就没有副本了，等等。然后在存储数字数据时，他们建议……

尝试使用广泛使用的文件格式，而不是深奥的格式。希望它们不依赖于单个商业实体。因此，如果你使用依赖于一家公司的文件格式，如果该公司倒闭了，可能没有人会维护该文件格式。因此，尝试使用更广泛使用且可能是开源的东西，这样它才能拥有更长的寿命。是的，开放标准是这里的关键。不一定是开源的，而是开放标准。是的。

如果你从档案管理员的角度来看待事物，你不仅想要寻找最开放的协议、最开放的标准和最广泛使用的协议，而且理想情况下，你想要与你的收藏一起存储的第一件事是一种类似罗塞塔石碑的代码。你想要从最容易阅读和解释的事情开始，并且

即使技术发生变化，即使人类语言发生变化，这也会引导你完成所有步骤，获得足够的知识来解码实际数据。是的，因此，即使你依赖于开源的东西，也许如果你正在存档它，你可能想要存档可以读取此文件的开源内容的源代码副本。

在 30 年后仍然可能难以在不再存在的架构上编译它等等。但是存档更多能够使用它的部件和工具将……

在那里更有意义。是的，也要存档编译器。基本上，你需要一个完整的自托管操作系统，但即使这需要一些东西来引导它，当你试图像这样的时候，它会很快变得非常复杂：如果我们没有工作的编译器和源代码，我们该如何从头开始重新实现操作系统、编译器和源代码？

虽然我相信 50 年后我们仍然会有操作系统，但它可能使用与我们现在不同的语言和架构。我相信我们仍然会有 x86 模拟器，因为我们有多少 Commodore 64 和 6502 等的模拟器。但是，你知道，你不想依赖于此。艾伦，我们将看到，该引导过程的第一阶段是让他们从 1983 年《字节》杂志的封底输入一些代码。是的。

但他们推荐的另一件事基本上是使用非专有格式，这些格式与平台无关，不依赖于一个特定的操作系统或 CPU 架构，并且未加密。

无损且未压缩。因为不要假设将来你会有相同的解压缩器。你绝对需要无损的，因为未来的技术会更好。我们不想无缘无故丢失一些数据。因此，你希望所有这些因素都包含在文件格式中。然后你需要能够读取它的硬件、能够理解它的软件以及它的许多副本，以便它有希望生存下来。

然后他们谈到了使用硬盘驱动器会遇到什么问题？他们说，硬盘的寿命不长，但是如果你使用 RAID 阵列，尤其是像 ZFS 这样的东西，你将能够进行擦洗并确保处理位腐烂，

那么你可以保留一段时间，但是你必须弄清楚我们如何资助资金每四五年更换一次硬件以使其继续运行，让知道如何使用它并愿意更换硬盘的人，重要的是，将数据迁移到更新、更大的硬盘，这些硬盘将在未来五年、未来五年内持续使用。我

理想情况下，也可能考虑将数据转换为当前格式，对吧？也许你不需要每五年做一次，但最终你使用的任何文件格式都可能会被弃用，你将希望将数据转换为更持久的东西。它可能无法持续到 100 年，因此你必须在过程中转换几次。但这意味着要有人知道这些东西的工作原理，如何读取旧的东西，如何构建新的东西，以便它足够好。

如果我们 30 年前开始使用小型硬盘，它将使用 FAT16，然后我们将将其升级到 FAT32，然后我们将将其移动到类似 ZFS 的东西。

然后最终将是 50 年后 ZFS 之后出现的任何东西，等等。因此，为了使其持久，特别是使用任何数字内容，你必须不断将其迁移到更新的硬件并不断将其迁移到更新的软件，并让周围的人来做这件事。就像吉姆说的那样，你必须设计冗余，以便应该做这件事的人中的一两个人不做这件事。

连续两三次仍然不足以丢失所有数据的副本。我们中的一些人确实在 30 多年前就开始这样做了，艾伦，我们中的一些人仍然拥有最初保存在 Apple II ProDOS 上的文件。非常好。如果你需要一些 80 年代他们用来放在理发店等地方的旧 Nagel 线条图图像，如果你需要它以原始位图文件格式，我帮你搞定，伙计。是的。

你可以直接将其十六进制转储到你的终端，然后你就完成了。只要你的终端碰巧具有 Apple II 视频显示 RAM 架构。曾经我不得不购买一张 SCSI 卡来插入我父亲做过大量写作的某些古老的 Mac 的旧硬盘。

事实证明，这些文件是 Clarisworks 文件。我不知道你还记不记得那个文字处理器。10 或 15 年前，这对我来说相对棘手，要将其转换为可用的东西。我不确定我今天是否能够做到。在 2000 年代中期，WordStar 很难从中提取东西。我开始有一些客户在 80 年代末或 90 年代初使用 WordStar 做过事情，并且仍然有软盘，并希望访问数据。

第一个挑战是，我能否从某个古老的柜子里发霉的 20 年历史的软盘驱动器中获取这些数据？然后第二个问题是，我能否从这种古老的、非常专有的文件格式中提取这些数据，并且尽可能完整？这件特定的软件是最讨厌的软件之一。另一个是很难从被遗弃的 Microsoft Word 版本中提取东西。

因为在 Windows 的早期，微软每隔一个星期四左右就会发布一个具有不兼容文件格式的新版本。除了那些实际使用过它的人之外，没有人真正将 Microsoft Works 用于任何“严肃”的事情。好吧，对那些实际使用过它的人来说除外。

因此，你会发现大量的小型企业非常认真地使用 Works，因为它随电脑一起提供，并且上面写着微软。它听起来很像 Word。所以他们认为这是正确的做法。然后你最终被遗弃了。是的。因此，目前要进行基于硬盘的百年级存储，你将需要多台独立的机器。

装满使用良好 RAID 的硬盘，可能是 ZFS，位于多个不同位置，由多个不同的人管理，并定期复制和擦洗数据。然后每隔几年用新的硬盘更换旧的硬盘，并保持更新。这就是升级 ZFS，并最终将其复制到任何替换 ZFS 的东西，甚至是更新的 ZFS 或任何东西，并不断地使这些数据在所有这些副本中保持活跃和更新

所有这些副本以及所有这些人

就像你说的那样，从 RAID 一直设计到顶层。因此，这台服务器将有一些组件会发生故障，但是即使我们丢失了这台服务器和那台服务器，我们仍然有另外三台。如果我们失去了这三个人，我们还有其他人。这实际上取决于你需要存储多少数据。如果数据量非常小，则有一些更有趣的格式。但是一旦你谈论到任何刻录到某些东西都不是真正可行的规模，那么我认为硬盘仍然是最好的方法，因为……

在百年级存储中，冷存储实际上是不可能的。因此它必须是热存储。你想要一些你可以不断检查和验证并同步的东西。这里有趣的一点是，当你位腐烂严重到其中一个副本损坏时，你能否获得一个良好的参考副本以使损坏的副本恢复工作？我们拥有持续时间如此之长的印刷材料的主要原因是我们能够重新印刷它。

如果我们不需要 400 年前的书，我们只需要每 50 年有人重新印刷一本。只要我们有一份副本，并且我们没有误译或更改文本，那么我们仍然有良好的副本。因此，能够同步它们是使用硬盘驱动器比使用磁带更好的最大原因之一。

因为你可以随机访问它并比使用磁带更有效地检查所有内容。磁带驱动器是一项更大的前期投资。对于海量数据，它们有一些有趣的权衡，但这实际上取决于你所关注的规模，这是否有意义。我认为我们没有讨论的是如何为其提供资金。如果你可以建立一个对保持其活力感兴趣的人员机构，那么你也许可以一直获得新的资金

捐款。这最终是你必须做的，因为同样，它应该持续一个世纪。你不会一直关注它。即使你拥有无限的预算来投入它，一旦你死了，你必须做一些事情来让所有还活着的人。而你不会因为决定在你死后将你的所有钱用于其他事情而无法再说什么了。

因此，最终没有办法避免它。在百年级存储中，这完全取决于机构。是的，因此文章中真正提到的是，引用：“使用硬盘系统实现百年级存储与其说是技术问题，不如说是机构建设、资金、房地产、物流、文化以及对数字保存与你的存储系统周围和交互的所有内容的承诺的问题。”

如果你要让操作系统保持工作和更新，那么这也必须工作。就像我们谈到的那样，CPU 架构会发生变化，硬件会发生变化，所有这些都会发生变化。如果你不能继续向前滚动数据以使其保持在现代事物上，那么你也必须让所有非现代事物继续工作。这很快就会变成我们必须拥有自己的芯片工厂才能继续下去。

或者类似的东西才能继续下去。这就是我认为硬盘是保持其继续运行的方式的主要原因。因为如果我们有数据，并且我们可以每五年向前滚动一次，而不是只尝试一代人做一次，那么我们更有可能继续拥有它。

至少有一些有趣的思路可以探索冷存储作为你的 3-2-1 中的一个，对吧？因此，我认为如果你真的想确定你的数据在很长一段时间内保持完整，你必须将其保存在热存储中，这一点是毋庸置疑的。

至少在一个副本中。但是如果你说，好吧，我们总是将其保存在热存储中，因为当它处于热存储状态时，我们可以最快速地检测到故障，因为我们可以不断地擦洗它，并且我们可以看到发生了什么。我们可以立即发现是否有问题，我们可以更换组件，所有这些好东西。但是如果我们的备份形式之一是类似于微软玻璃或磁带之类的形式，你只是……

定期地，你确实会从你的热存档中进行冷备份。这是你的三个备份之一。所以你说，好吧，我们无法监控这个冷备份，我们也无法快速更新它。而且，你知道，它还有所有其他问题，但它仍然是另一个因素。基本上，你知道，这是一个多因素备份，这是你的一个因素，它作为一个独立的备份方法很糟糕，但作为更大策略的一部分，你知道，

那里可能有一些值得的成本节约，而且，你知道，你试图安排事情，以便不同类型的故障不太可能同时发生。以及故障周期，例如冷存储周期的浴缸曲线是什么样的。

与热存储的不同之处在于，它似乎可能作为一种故意交错的策略的一部分是有用的。就像我之前谈到的那样，你能否承受十年？你知道，当机构迷失方向时，如果它稍后重新拾起方向，你能否承受二十年？你知道，我们谈论的那种事情。好吧，也许这就是冷存储的用武之地。好吧，所有事情在连续 20 年内都完全糟糕，你的整个热存档

着火了，一切都消失了，等等。但是也许那些完全白痴的人没有设法摧毁你放在不同位置的微软玻璃宝藏。当机构在下个十年重新拾起其政策和继续下去的意愿时，他们可以将所有这些内容带回热存储，并从他们离开的地方继续进行。

是的，我认为如果你考虑诸如如果发生 EMP 并会摧毁所有计算机的情况。因此，在掩体中拥有它的冷备份可能是你如何再次生成这些热备份的方式。所以是的，我认为这很重要。我认为最重要的事情是，你知道，3-2-1 规则是最小值。是的。因此，我们可能需要比三个副本多得多的副本，比两种格式多得多的格式，以及比两个位置多得多的位置。并且

关于故障类别，就像我们之前谈到的那样，也许我们添加更多内容，例如在使用 RAID 存储的基础上，我们实际上为它生成奇偶校验，就像我们过去在互联网连接非常嘈杂时使用的那些旧的 .par 文件一样，这些文件可能会在传输数据时损坏数据，嘿，如果我们添加这个额外的奇偶校验数据以换取 10% 的更多存储空间，我们将能够承受这么多次位翻转并恢复原始数据。也许这项研究的答案的一部分是他们研究了

硬盘、磁带、可移动介质和光学类型介质等等，那就是，如果你想让它至少持续 100 年，也许你想尝试所有这些。因为希望它们不会同时全部失效，对吧？也许刻录蓝光光盘会持续 100

或者它们可能无法持续我们想要的时间。但是如果我们有蓝光光盘、硬盘和磁带，那么它们的失效时间很可能不会全部一致。我们将能够再生任何替代蓝光光盘作为我们的可移动介质的东西，以及下一代磁带和硬盘的替代品，并能够让所有这些都继续前进，以便当我们到达 100 年时，其中一个仍然可以使用。

但这又让我们回到了真正的重点，那就是机构是最重要的部分。因为当我们列举不同的方法来额外存储数据和不同格式的更多副本时，这样做和维护它的成本会不断上升。每次我们提到另一种技术上改进此过程并使其更易于恢复且不太可能丢失的方法时，成本都会越来越高。而且，我们必须说服某人继续为此付费。

艾伦和我现在可以告诉你，即使是每天都非常活跃的企业，也有人非常担心底线，并且你知道，让任务继续前进。让他们投资任何类型的备份已经很难了，因为这通常不是人类大脑的工作方式。

好的，本集由 ServerMania 赞助。访问 servermania.com/25A 以获得专用服务器终身 15% 的折扣。ServerMania 是一家加拿大公司，拥有超过十年的经验，为全球企业构建高性能基础设施托管平台。ServerMania 在全球八个地点提供高达 20 千兆位每秒的网络速度，以优化全球覆盖范围。

他们拥有针对独特需求量身定制的灵活自定义服务器配置，以及提供免费咨询的个人帐户经理。凭借全天候实时聊天支持和少于 15 分钟的支持工单响应时间，您可以始终保持系统的顺利运行。

艾伦已经成为 ServerMania 的忠实客户超过七年了，因此请支持该节目并加入他，加入一家真正提供服务的托管提供商。在 servermania.com/25A 获取专用服务器终身 15% 的折扣，并使用代码 25ADMINS。这是 servermania.com/25A 和代码 25ADMINS。

然后让我们进行一些免费咨询。但首先，非常感谢所有通过 PayPal 和 Patreon 支持我们的朋友。我们真的非常感谢。如果你想加入这些人，你可以访问 2.5admins.com/support。请记住，对于 Patreon 上的不同金额，你可以获得无广告 RSS 订阅，内容可以是本节目或 Late Night Linux 系列的所有节目。如果你想向吉姆和艾伦发送你的问题或反馈，你可以发送电子邮件至 show@2.5admins.com。Sten 写道……

我正在使用 trunas-scale 作为我的家庭 NAS，并且我正在使用其内置的云同步功能将备份发送到 Wasabi。这不太是我所说的备份。在幕后，它运行 rclone-sync，如果我删除 NAS 上的所有数据，则云同步的下次运行将愉快地删除远程端的所有数据。我希望 trunas 用 RESTIC 替换 rclone 来实现此用途。显然，我可以自己设置它，

但我正在考虑使用 Wasabi 云同步写入到的存储桶后面的对象版本控制。