站长资讯 > > 正文

Facebook“三棱镜计划”有助于解决大数据问题

2020-07-05

  腾讯科技讯(玉临)北京时间8月25日消息,据国外媒体报道,当前,无数网站正面临着如何高效管理海量在线数据的问题,而这一问题在5年前也同样困扰着Facebook。但是,根据Facebook技术专家杰-帕里克(Jay Parikh)的说法,人们没有必要过分担忧这些问题。

  

Facebook“三棱镜计划”助于解决大数据问题

  Facebook的“三棱镜”计划(腾讯科技配图)

  这是因为在过去几年,许多互联网的巨型公司(包括Facebook)搭建了大量的软件平台,并通过数以万计的分布式服务器来解决在线信息爆炸的问题。此外,这些巨头们还同任何有需求的公司分享其“大数据”处理软件。

  通过与雅虎合作,Facebook成为了最早涉足Hadoop技术的公司。Hadoop是一种无所不包的软件平台,可以用来处理和分析互联网海量数据。雅虎把这一开源项目当作是一种有助于建立索引的工具,从而加强其自身搜索引擎的功能。但是,之后参与进来的公司开始把Hadoop加入到自己的互联网项目中,并将其作为代码优化的必备工具。

  其结果是,Hadoop演化成了一种可以处理100PB数据的平台(1PB=1024TB=1048576GB)。一直以来,帕里克专注于Facebook快速增长的软硬件基础设施建设。据他表示,“5年前,我们开始研发这些技术。当时,我们可以做的事情以及开发的速度都受到了一定的限制。此后,开源社区发生了巨大的变化,最重要的就是很多这些限制、障碍都被去除了。人们目前在互联网上可以做的事情超出了我们当时的想象。”

  但是现在,Facebook正开始着手处理更为棘手的数据雪崩问题(avalanche of data),因为现在又出现了新的限制需要突破。本周,在Facebook位于门洛帕克总部举行的一次记者招待会上,帕里克披露了Facebook已经开发出两种全新软件平台的消息,并表示Hadoop可以支撑的数据规模将进一步扩大。另外,Facebook还决定将这两款软件进行开源。

  第一种平台叫做“Corona(日冕)”,它可以让你在数目庞大的Hadoop服务器之间运行大量的任务,并且不用担心软件错误会导致整个服务器簇出现崩溃。不过,第二种平台更加有意义。它的名字叫做“Prism(三棱镜)”,可以让Hadoop服务器簇运行在全球范围内的多个数据中心上,其规模将更加庞大。

  帕里克表示,“‘Prism’可以让我们任意转移数据,不论我们是在俄勒冈州的普赖恩维尔、北卡罗来纳州的克利夫兰,还是远在欧洲的瑞典。”

  Hadoop的基本思想是基于10年前发表的两篇研究论文。论文探讨的是谷歌(微博)为了让搜索引擎更好的运行而搭建的两种大规模软件平台:GFS和MapReduce。GFS是谷歌文件系统的简称,它是一种在数以千记的服务器之间存储数据的工具,而MapReduce则可以让你将这些服务器的处理能力集中起来,从而将数据转换成更为有用的东西。Hadoop的工作方式与此几乎一样——Hadoop文件系统(简称HDFS)负责数据存储,而Hadoop MapReduce则负责数据处理。

  这两种Hadoop平台已经帮助像雅虎和Facebook这样的公司成功运行了许多年,但是它们并不完美。比如说,随着Facebook用户数超过9亿人,Hadoop的缺陷也被相应放大。最为明显的是,两种平台都因存在“单点故障”的问题而被广为诟病。一旦主服务器出现问题,整个服务器簇都将随之瘫痪,尽管这一时间可能不长。

  最近几月,Facebook通过AvatarNode项目排除了HDFS平台上的单点故障问题。这一开源Hadoop项目的前身是一个名叫HA NameNode的解决方案,它可以大大提高系统的可用性。但是,MapReduce上的单点故障依然存在。而现在,凭借Corona平台,Facebook彻底的解决了这一问题。

  从传统意义上来讲,MapReduce使用的是单一“任务跟踪器(job tracker)”来管理服务器簇上的任务。但是,Corona却能生成多个任务跟踪器。帕里克表示,“它让我们可以在MapReduce基础架构上跟踪更多的任务。我们可以将系统的吞吐量进一步提高,从而让Facebook内部更多的开发团队和产品顺利运转。”

  “在过去,一旦任务跟踪器出了问题,一切工作都需要停下来,之后你必须要重头开始才行,这使得整个业务都会受到影响。而现在,有很多迷你的任务跟踪器在进行工作,所负责的工作也是相互独立的。”

  在硅谷,有一家名叫MapR的Hadoop创业型公司,托莫-希兰(Tomer Shiran)是该公司最早的一批员工。他表示,MapR公司提供了一种具有类似优化措施的Hadoop版本,但是他表示Hadoop开源版本依然不支持多个任务跟踪器。希兰曾经使用过一个版本的Corona,据他表示这一平台还可以让用户进一步加快MapReduce的工作速度。

  在发布会上,Facebook的杰-帕里克就Corona给出了一些细节,但很明显在Facebook内部已经开始使用了,而且成为了不可缺少的环节。帕里克表示,Facebook运行着世界上最大的Hadoop服务器簇,存储的数据超过了100PB,每30分钟可以处理的数据超过了105TB。

  然而,Facebook上增长的数据不久就会超过这些服务器簇的承载能力。9亿用户无时无刻不在发布新的状态更新、照片、视频和评论等信息。这也就是帕里克的团队创建Prism的原因,该软件可以让他们在多个数据中心之间运行一个庞大的Hadoop服务器簇。

  帕里克表示,从传统意义上讲,你无法在不同的地理位置上运行Hadoop,因为网络数据包无法以足够快的速度在不同服务器上进行传输。他说,“Hadoop有一个很大的限制,即所有的服务器必须要彼此互联。这一系统属于非常紧密的耦合,如果这些服务器之间的传输延迟了几十毫秒,整个系统都会面临崩溃。”

  但是,Prism会改变这一切。简单来讲,Prism会自动复制数据,并在不同地点的服务器之间传输数据。帕里克表示,“它使得我们可以在物理上将这种大规模的数据仓库分割开来,但是依然可以以一种整体的眼光来管理这一系统。我们可以将数据仓库任意移动,这取决于成本、性能或技术。我们将不再受到处理能力的限制,而在单一数据中心里经常出现这种问题。”

  Prism让人想起了谷歌过去一个叫做“Spanner”的平台。Spanner的知名度并不高,谷歌一般将很多基础工作放在系统的底层进行处理。但在2009年,谷歌在一次对外的声明中却把这一平台描述成“一种存储和计算系统,可以扩展谷歌所有的数据中心,并可以按照网络限制和使用行为,自动传输和复制数据并进行计算。”这些网络限制包括带宽、丢包率、处理能力和“失效模式”。如果一个数据中心崩溃了,Spanner即可自动将数据转移到另一个地点。

  谷歌曾表示,这一平台“会将谷歌所有机器上的资源自动进行分配”。在全球范围内,谷歌总共拥有36个数据中心。

  帕里克承认,Prism的基本思路同谷歌的Spanner差不多,但是他也很小心的表示,他并不是很了解Spanner以及它的用途。帕里克说,和Spanner类似,在数据中心Facebook崩溃时,Prism可以立即转移数据。

  MapR的托莫-希兰表示,除了谷歌或Facebook,其他公司目前还不能使用具有这种功能的软件。但是,希兰也指出,虽然目前有许多公司运行着多个服务器簇,但是他表示其实并没有这个必要。他说,“并不是所有公司都像谷歌那样,需要处理如此庞大的数据。”

  Facebook目前尚未真正部署Prism,帕里克拒绝表示什么时候会开始进行。但是,他却说,在某种意义上,Facebook希望可以将这一平台进行开源,针对Corona也可能会这么做。的确,现在没有多少公司像谷歌或Facebook那样需要解决在线数据雪崩的问题,但在未来却存在这种可能性。帕里克说,“在未来,科技公司将面临严峻的数据爆炸问题。”

-

-

相关阅读

dengdelio资讯网