S2 在发现服务商的 API 速率限制(大约每秒 5 次 UPSERT)阻止公司向客户提供无限数量的“basins”后,决定放弃 AWS Route53。当一名恶意攻击者快速创建数万个 basins 时,这一瓶颈变得至关重要,导致配额耗尽并产生长达数小时的积压,导致所有 DNS 更新停滞。

扩展瓶颈

S2 的“basins”是核心命名空间结构,充当数据流的顶级容器。每个 basin 都表示为一个唯一的子域名,例如 my-basin.b.s2.dev,这需要一个 CNAME 记录将客户端路由到正确的架构单元。

虽然像 Route53 这样的托管服务通常非常稳健,但它们的控制平面 API 并非为高频、高容量的记录创建而设计。S2 发现,即使使用批处理,这些限制也使得无法保证新 basin 能立即解析,而这是实现强一致性的要求。

“当一名恶意的攻击者快速创建数万个 basins 时,情况变得显而易见,这耗尽了我们所有的 Route53 记录配额。”

— It’s always DNS, so why are we running our own?

自定义 DNS 架构

新系统的运作方式是将 DNS 服务器视为 S2 现有账户数据库的直接调用者。服务器不再将记录同步到独立系统,而是对 Google Cloud Spanner 执行实时 SELECT 查询,以解析每个传入请求的映射关系。

新权威 DNS 服务器架构图
旨在直接查询 Google Cloud Spanner 数据库的自定义 Go 语言 DNS 服务器架构。s2.dev

此图展示了取代标准 Route53 同步方法的全新 DNS 服务器核心架构。

该服务器使用 Go 语言和 miekg/dns 库构建,用于处理 A、AAAA、NS、CNAME 和 SOA 记录的权威查询。团队优先选择基于库的方法而非 CoreDNS 模块,以确保在特定用例中保持最大的灵活性。

安全与基础设施权衡

为每个 DNS 请求查询数据库的一个重大风险是“NXDOMAIN”攻击,即针对不存在记录的查询洪流可能会压垮数据库。为了防御此类攻击,S2 部署了 Cloudflare DNS 防火墙,配置源站服务器仅接受来自 Cloudflare 已知 IP 地址的流量。

生产环境运行在不同区域的两个独立 GKE 集群上。最终设置涉及复杂的委派链:主域名由 Cloudflare 管理,Cloudflare 将 basin 子域名委派给 DNS 防火墙服务,该服务随后连接到托管在 GKE 上的 DNS 服务器。

带有 Cloudflare 保护的 DNS 服务器图
显示受 Cloudflare DNS 防火墙保护的 DNS 服务器最终架构。s2.dev

此视觉效果解释了为保护数据库免受 NXDOMAIN 攻击而添加的安全层。

剩余的不确定性

虽然系统目前运行稳定并支持数千个 basins,但内部路线图上仍有若干优化项。这些包括调整 DNS 缓存、优化 DNS 防火墙与应用程序之间的通信路径,以及探索未来的 DNSSEC 扩展。

展示已处理 DNS 查询的图表
自定义 DNS 基础设施所处理的查询量的可视化展示。s2.dev

此图表展示了新系统成功处理的流量规模。

Hacker News 读者的反应

  • 疑问: 一位评论者质疑公司为何选择显式 DNS 记录而非使用子域名的通配符,并指出使用通配符 CNAME 可能会避免在每次查询时访问数据库带来的风险。 评论 ↗
  • 替代方案: 另一位用户建议使用带有 CloudSQL 后端的 PowerDNS 可能是保护 Spanner 数据库免受 DNS 峰值冲击的可行替代方案。 评论 ↗
  • 质疑: 一位评论者对在 DNS 中实现强一致性的难度表示担忧,指出由于 DNS 设计上是最终一致性的,确保新记录能够立即解析可能非常复杂。 评论 ↗

以上为 Hacker News 讨论中观点的摘要,并非经过核实的事实。 阅读完整讨论 ↗