看苹果和Facebook如何打造未来计算机存储器

美女机器人 2021-05-31 13:51www.robotxin.com机器人女友
北京时间3月15日消息,《连线》杂志近日刊载文章称,苹果和Facebook都正在从企业级固态硬盘厂商Fusion-io那里购买新一代的硬件设备,旨在推动自身数据中心的发展。文章指出,内存世界和硬盘世界之间的界限正在变得模糊,而闪存卡在很大程度上被认为是服务器存储的未来。

以下是这篇文章的全文

如果你雇一架飞机,就能飞过苹果在北卡罗来纳州林地中运营着的规模宏大的数据中心,为这座占据50万平方英尺(约合4.6万平方米)的大型设施拍下一些远景照片,它是苹果iCloud网络服务背后的推动力。而如果你是步行的话,那么不妨靠得近一些。或许你甚至可以偷偷看一眼太阳能电站或是生物质能发电厂,它们为这座数据中心提供电力。但苹果不会允许你进入到这座建筑物里面,也不会告诉你在那里可能会找到什么。如果能知道那就太好了。

跟谷歌和亚马逊一样,苹果也向全球范围内的数亿人提供网络服务——最新的统计数字显示,iCloud的用户人数超过了2.5亿——这就需要全新的硬件和软件,其数据中心里的设备需要比大多数其他数据中心都要更有效率。你可以认为这是未来的技术;随着网络服务的继续增长,苹果和谷歌之流所使用的技术将逐渐渗入世界其他地方。事实上,在很多情况下,这种渗透已经开始了。

“这些互联网巨头都是先驱者。”数据中心领域中的长期分析师、目前负责运营在线技术研究社区Wikibon的大卫·佛罗耶(David Floyer)说道。

我们所知道的事情是,苹果正在花费大量资金从一家名为Fusion-io的公司那里购买新一代的硬件设备,后者是一家企业级固态硬盘厂商。按照相关规定,Fusion-io需要披露通常在其营收中占有较大比例的客户信息;据这家总部位于盐湖城的公司发布的最新年报显示,2012年该公司营收的25%(8980万美元)来自于苹果。这只是来自一家公司的一个数据而已,但这个数据可以作为一个“标杆”,向我们展示现代的数据中心正在走向何方。

在苹果于北卡罗来纳州梅登(Maiden)运营的数据中心或是其他类似规模的数据中心里,你会看到成千上万的服务器。Fusion-i生产的一种纤巧的卡片会被插入这些服务器,跟数以百计的大容量闪存挤在一起,这些东西把持着你智能手机上的所有软件和数据。你可以把这种卡片视为通常会被用于服务器的老式硬盘的替代品,它在很大程度上就像是一块硬盘,能存储各种信息。不过,这种卡片没有任何活动件,这意味着它一般会更加可靠。跟传统硬盘相比,它消耗的电量更小,而且能让你更快地读写数据。

但那只是这种卡片的功能之一,它还可作为加强版的服务器主存储子系统运行,这个子系统是中央处理器暂时缓存数据的地方,以便在需要时迅速调用。你知道,今时今日速度超快的处理器不仅是让硬盘根不上它的速度,就连主存储器也是如此——硬盘转速过慢,内存空间过小——而通过自身生产的闪存卡,Fusion-io的目标是克服这两个瓶颈。

“如果愿意的话,你可以把它做成传统硬盘的样子,但也能像现在的样子,让一个系统内部能容纳更多的硬盘。”Fusion-io首席执行官大卫·弗林(David Flynn)说道,这位工程师与连续创业家里克·怀特(Rick White)在2006年联手创建了这家公司。“我们之所以将其称为Fusion-io,是因为它是内存与硬盘的融合体,而且两者是密不可分的。”

其结果就是,像苹果这样的公司能更有效地处理从互联网各处流入其数据中心的所有请求。这个数据中心能更快地交付数据,而且是在所用服务器更少的情况下做到这一点——对于规模如此庞大的业务来说,用较少的服务器来交付数据是一件至关重要的事情。这就是为何苹果要花那么多钱在Fusion-io身上的原因所在,也是为何其他许多公司正朝着同一个方向前进的原因所在。在2012年,Facebook花在从Fusion-io那里购买硬件的钱比苹果更多,为1.0779亿美元。整体来说,在过去几年时间里,这两家互联网巨头已经在Fusion-io身上花了将近5亿美元,而公司Salesforce.等规模较小但却正在增长中的公司也同样正在使用这种闪存卡。

Fusion-io已经在这些庞大的数据中心里取得了如此巨大的成功,这促使其他许多公司也争相跟风。就在上周,科技巨头EMC刚刚发布了一整套新的闪存卡产品,硅谷创业公司Violin Memory也已经推出闪存卡。另一家创业公司Virident Systems正在开发类似的产品,世界上最大的硬盘厂商之一希捷将在不久以后利用Virident闪存卡“突袭”大型互联网公司及其他公司。

Fusion-io闪存卡

希捷已经在向大型互联网公司——包括苹果、Facebook、谷歌、微软和亚马逊在内——直接出售硬盘驱动器,未来也将继续这样做。但这家公司现在所关注的是,数据中心未来将走向何方。“内存世界和硬盘世界之间的界限正在变得模糊。”希捷新闪存硬件业务部门的负责人加里·根特里(Gary Gentry)说道。“人们已经受到了Fusion-io的启发。”

但这种趋势并非是由一家公司所推动的。谷歌也正在自己的服务器内部使用闪存卡——去年夏天我们从谷歌全球数据中心网络负责人乌尔斯·霍尔泽(Urs Holzle)那里听说了这个消息——而据硅谷传言称,这家搜索巨头正在生产自己的闪存卡。微软告诉我们说,这家公司也在自己的数据中心中使用类似的闪存卡,而且在很大程度上认为这将是服务器存储的未来。

微软服务器工程总经理Kushagra Vaid指出,闪存能进一步改进服务器存储子系统,原因是其具有“非易失性”,意味着当你关闭或是重启服务器时,数据不会丢失。在研究人员正寻找其他办法来改进服务器存储的,Vai认为“正在非易失性存储领域中发生的创新”是所有可能性中最有趣的。

Fusion-io联合创始人大卫·弗林(中)和里克·怀特(右)

灵感源自糟糕的想法

如果你对Fusion-io稍有了解,那么就会知道这家公司的首席科学家是史蒂夫·沃兹尼亚克(Steve Wozniak),也就是与其高中时代的好友史蒂夫·乔布斯(Steve Jobs)联手创立苹果的那个人,人们经常都会亲切地把他叫作沃兹。对于Fusion-io的新一代存储产品而言,沃兹就像是会走路的公关宣传品,但这个想法并不是他的,而是发源于里克·怀特和大卫·弗林。

在联手创立Fusion-io以前,怀特和弗林曾在一家名为Realm Systems的公司中共事,这家公司出售一种能放在人们口袋里的电脑,这种电脑的设计目的是让人们能把自己的在线身份带到任何地方去——你可以把它插入另一台电脑,通过指纹扫描或是其他方式来认证身份,然后就能在一瞬间登陆所有软件应用——这种产品从来都没有真正“起飞”,其部分原因是这家公司的资金陷入了干涸状态。

当两人开动脑筋构思创建一家新公司的想法时,华特建议称,他们应该把Realm微型电脑内部的处理器改变下用途。他对弗林说,如果他们能把数百个这样的处理器连到一起,那么就能创造出一种低能耗的超级电脑,可在数据中心内部运行海量应用。弗林是一名工程师,他曾在劳伦斯·利弗莫尔国家实验室(Larence Livermore National Labs)等机构中制造过超级电脑。他对怀特说道,那是一个糟糕透顶的想法——“他提醒我说,那些微型电脑中的处理器不能做到浮点处理。”怀特回忆道。,这种想法触发了一个想法。

除了处理器以外,Realm微型电脑中还有闪存。他们用闪存来代替硬盘驱动器,作为对构成其存储子系统的DRAM(动态随机存取存储器)的补充。弗林认识到,把所有这些微型处理器连到一起是没有意义的,但可以对服务器进行重新构建,使其看起来更像是Realm电脑。

现在有很多公司都已经在提供固态硬盘,这是一种旨在模仿硬盘驱动器的闪存设备,看起来与硬盘驱动器相似,能插入相同的接口。但弗林的目标则是另一种不同的东西,他想要生产一种还能模仿服务器存储子系统的闪存设备。“我从事过有关超级电脑的工作。”弗林说道。“我知道这些大型系统最大的问题就是缺少存储空间。”

从设计方面来看,今天的服务器处理器只能使用特定数量的DRAM。从理论上来说,存储空间上限是4TB,也就是4000GB;但在实际上,大多数服务器所装配的DRAM都要少得多。弗林的想法是,开发一种相当于二级存储子系统的产品,从而容纳多得多的数据,而这种想法的结果就是Fusion-io闪存卡得以诞生。这种闪存卡并非插入硬盘驱动器的控制器,而是直接插入PCIe接口;换而言之,这种闪存卡与处理器之间的距离变得更近,绕过了运行硬盘驱动器所需要的全部额外硬件和协议。

在今天看来,这像是一件显而易见应该去做的事情;但在当时,这种想法是相当偏离常规的。这不仅是公司习惯了在服务器内部仅使用硬盘驱动器和DRAM的缘故,而且还是因为它们将大部分数据都在服务器以外进行存储——也就是存储在所谓的“存储区域网”(SAN,storage area ork)中。而通过自己生产的闪存卡,Fusion-io寻求取代这些笨重的仪器,它把这种闪存卡称为“手心里的SAN”。

最早的大客户是Facebook

Fusion-io在2007年秋天推出了闪存卡,当时这家公司所获得的第一个大客户就是Facebook。弗林与保罗·萨博(Paul Saab)是好友,后者是一名Facebook软件开发者,也是FreeBSD开源操作系统的知名捐助人之一。随后,这两家公司之间的关系就开始不断地进展。时至今日,Fusion-io甚至将跟Facebook工程师一起合作设计新的闪存卡。

苹果则来的比较晚一些。一种很自然的想法会是,Fusion-io与苹果之间的合作关系是由沃兹尼亚克——他是在2008年加盟Fusion-io,出任该公司首席科学家的——推动的,但据弗林说,事实并非如此。跟通常做法一样,苹果并未对有关讨论该公司使用闪存卡一事的请求作出回应,但Facebook则是另一种态度。跟苹果不同,这家社交网络巨头乐于公开自己数据中心内部使用的硬件和软件,而该公司新时代的系统应该会让你很好地了解这些闪存卡能如何重塑服务器。

最初,Facebok将这种闪存卡用在运行其数据库软件的服务器中,这也是其他公司对闪存固态硬盘通常的用法。基本上来说,这些闪存卡取代了硬盘驱动器。通过在闪存卡而非硬盘驱动器中运行数据库软件的方式,Facebook能大幅提高状态更新、用户评论以及其他社交网络交流活动的交付速度。

“当一项请求进入数据库层面时,我们想要能以非常快的速度对其作出应答。”Facebook硬件设计主管弗兰克·弗兰科夫斯基(Frank Frankovsky)曾这样对我们说道。“对用户来说,这是在整体往返时间方面所作出的一种重大改进。”与此,这些闪存设备还能减少因设备故障而带来的麻烦。正如弗兰科夫斯基所说,数据中心内部硬盘驱动器比其他任何设备都更容易出故障。今天,Faceobok甚至会通过这些闪存卡来启动数据库服务器。

除了运行数据库软件的服务器以外,Facebook目前还正在把这种闪存卡用于其他服务器;而且,闪存卡不仅只是取代硬盘驱动器,也正在取代内存。从传统上来说,Facebook还运营着另一个层面的服务器,用来运行所谓的“Memcached”缓存系统,这是为了对用户最关注的东西提供更加迅速的回应;通过这种数据,甚至不必访问数据库层面就能迅速回应。这套系统运转得非常好,但Facebook目前正在对这些服务器也作出改造,创造一个新的软件平台,这个平台能在闪存卡而非在主存储器中缓存数据。

通过这个名为“McDipper”的新平台,Facebook能缓存的数据量远超以往。“闪存能让每台服务器的容量提高最多二十倍,仍可支持每秒钟数万次的操作。”这家公司在最近发表的一篇博客文章中说道。“很明显这正是对这个问题的解答。”

微软的Kushagra Vaid指出,虽然这种设备的速度仍旧远远低于主存储器,但已经足够快,而且能耗较低。当数据中心的规模达到微软、Facebook或苹果的水平时,保持较低的能耗就跟其他任何事情一样重要了。他进一步指出,使用闪存设备的关键点在于,这种设备能带来更多的选择,而且从长期来看,这些选择只会日益扩张。“这个新的平台架构只花了两年时间就已被创造出来。”他解释道。“到今天,在如何平衡性能和能耗的问题上,应用已经变得更加精明,原因是其可以在系统内存和非易失性存储器之间选择合适的平衡点。”

软件公司

Facebook是从头开始构建McDipper平台的,这也可以证明闪存卡到底正在多大程度上改变数据中心。现有软件并非为了在闪存卡上运行而设计的,必须设计新的软件。这就是为何Fusion-io会有工程师在苹果和Facebook等最大客户的数据中心里工作的原因所在,也是为何这家公司要聘用多名因善于Linux内核相关工作而著称的软件开发者的原因所在。在大型互联网数据中心里,大多数机器搭载的开源操作系统的核心都是这种软件。克里斯·梅森(Chris Mason)是这些开发者中的一员,他曾负责一个名为Btrfs的Linux文件系统;还有詹斯·艾克索伯(Jens Axbo),他曾开发过多种Linux数据输入和输出相关工具。

“与人们在过去数十年时间里一直都在使用的存储设备相比,现在的存储设备已经大不相同,它们打破了一整套规则,以迥异于以往的方式运行,能做到以前不可能做到的许多事情。”梅森说道。“但你必须要对核心软件作出改变,才能做到这一点。”

梅森和弗林解释道,之所以要对Linux及其他软件作出改变,目的是要对其进行调整,从而在最大程度上利用闪存卡。,这还是为了让公司能更加容易地开发自己的软件。现在,Fusion-io正在提供一个软件开发工具包,方便开发者设计基于闪存卡的工具。弗林说道,今时今日的Fusion-io已经在很大程度上变成了一家软件公司,而不是硬件公司。

这一点在这家公司最近为“开源计算项目”(Open Compute Project)所作出的贡献中可见一斑,这是由Facebook牵头进行的一个项目,旨在为数据中心创造出新的硬件设计,并且将这些设计与全世界共享。在这个冬天,Fusion-io将其闪存卡设计开源化,公布了除控制器以外的其他所有信息,目的是推动人们开发出更多能运行其新软件的闪存设备。

弗林说道,他们的希望看到的是,广达(Quanta)和纬创(Wistron)这样的电脑厂商将在服务器主板中直接整合闪存,从而使其更加靠近处理器。毕竟,那才是数据中心未来将走向的方向。

Copyright © 2016-2025 www.robotxin.com 人工智能机器人网 版权所有 Power by