CloudFlare 新一代 G4 服务器

业务的快速增长推动技术的发展,转眼 CloudFlare 已经推出自己的 G4  服务器了。
我之前写过一篇《服务器定制》的博客,主要说的是 backblaze 这家做存储的公司为了满足业务的需要定制的 Storage Pod 3.0 的服务器;CloudFlare 跟他们比起来,虽然价格上没有明显的优势,但是从各个部件的选料上,可以明显的看出花了不少的功夫,做了大量的调研测试。
之前的 G3 是如下的配置:
* HP,2U
* 2xE5645
* 最多 25 块 Intel SSD
* 48G ram
* 6x1Gbps 的网卡,2 块主板,4 块 PCI
* 单电,白金

针对 G3 的不足,设计出了 G4。

1. 首先是存储方面的改进。
CloudFlare 在服务器上大量的使用 SSD,主要原因无外乎下面几个:
* 寿命长可预测健康状况
* 能耗低,跟原来相比,每个机柜可以多放一台服务器
* 速度快
在存储方面,跟 G3 最大的不同就是完全移除了 RAID 卡,这样提高了 50% 的性能。目前 G4 会根据业务需求,配备 6-24 块不等的 Intel 520 SSD 240GB。除了硬件方面的改进之外,他们也做了不少软件优化方面的工作,包括 FS。稳定性倒不是特别的高,数据没了直接去原站取就好了。
在内存方面,由原先的 48G 增加到了 128G,这样差不多能有 100G 的 in-memory 文件缓存,5x 大小的提升。

2. CPU
G3 的时候对 CPU 的需求还不是那么的旺盛,不过遇到 Layer 4 DDoS,CPU 中断就会造成瓶颈了,再加上越来越多的 CPU bound 的任务,需要对 CPU 也进行一定的测试。在测试中 CloudFlare 发现增加时钟频率并没有大的改善,不过增加 core 倒是有不错的提升,最终选择的是 2xXeon 2630L,功耗低,该型号在整个 E5 系列也是比较低档的。

3. 网络方面的工作
这个是重点了。G3 是 1G的网络,最大 6x 1G;G4 一跃为 10G 网络。为此 CloudFlare 也评估了不少厂商的 PCIe 卡,最终用的 Solarflare 的,16mpps 的性能,一般的 10G 网卡也就 9mpps 左右,并且他们的 network butter 相比一般的 512KB 也大得多,达到了 16MB。 同时,为了使用了 OpenOnload kernel bypasswd 技术,避免了产生 CPU 中断,他们跟厂商合作重写了网卡驱动,使用 FiberStore 的 SFP+ 连接到交换机。

4. 其他独特的设计

依然使用白金单电,但是设计的网络能够在发生电源问题时能够自动的切换流量。
服务器并非从 DELL 或者 HP 这样的 OEM 直接采购,而是直接从 Quanta 这家 ODM
下单,他们曾经为 Google、Facebook 设计过服务器。

总的拉说,跟 G3 比,价格有小幅度的下降,但是 CPU 性能有小幅度的提升,更快的存储,3x的内存,3x的网络容量,并且减少了 20% 的能耗。

RackSpace 目前也是自己设计服务器,不过初衷跟 CloudFlare 不大一样,跟多了是为了降低成本,他们在 Facebook 公布的 OCP 基础上进行设计,ODM 除了 Quanta 之外,还有家同样来自 TW 的公司 Wiwynn,有兴趣的可以看看这篇报道