闪迪亚太区企业业务副总裁张子西：大数据悖论

大数据将对科学研究、制造业以及影响我们日常生活的各种活动产生深远的影响，但前提是我们要能够赶上它的发展。

我将这称为“大数据悖论”。一方面，Hadoop 等新的软件技术以及预测分析为我们铺平了道路，帮助我们应对以往被认为太复杂或是难以解决的难题。以吉林省为例，数据分析被用来缓解交通拥堵。如果成功的话，这将帮助缓解亚洲及非洲各国的拥堵与污染。

另一方面，我们需要借助新的硬件、软件、网络和数据中心设计来处理和充分分析所产生的庞大数据量。简而言之，我们目前产生的数据量远超过传统方法所能处理的范围。超大规模数据中心、软件定义网络以及全新存储技术代表了今后十年惊人创新周期的前期阶段。

以旨在通过绘制人类基因图谱来提升卫生保健的探索为例。全球最大的基因组学研究机构深圳华大基因研究院 (BGI) 能够在两小时内绘制出一个人的基因图谱。但是，单个人的基因图谱需要大约 200GB 存储空间。对一百万个人类基因图谱进行测序——这一目标由众多研究机构提出且该数量能够让科学家深入开展对比分析——则需要近 200 PB 的数据空间，相当于 Facebook 一年上传的数据总量。

而这仅仅是原始数据。经深入分析后产生的数据集将需要更加精细的计算和存储系统，以便研究人员能够在数天或数月内着手对特定的假说的验证，而不必等到若干年之后。

《GigaScience》执行编辑 Scott Edmunds 表示：“对于很多项目而言，他们(研究人员)生成的数据远远超出他们能够操纵的范围。”《GigaScience》是 BGI 与出版商 BioMedCentral 近期合作发行的一本开放式数据期刊。

或者以摄像机为例。在中国，很多城市正在考察在公共空间使用超高清或 4K 技术的方法，以便更好地了解人们对建筑和空间的使用，与此同时提高安全性。4K 的分辨率远远高于闭路电视目前捕捉的模糊画面。

但是，4K 也需要庞大的存储空间。一分钟的 4K 视频需要占用大约 5.3 GB 空间。7,000 台闭路电视摄像机会生成 52 PB 的数据。52 PB 有多大？52 PB 的 MP3 音乐需要十万年才能播放完。

为了处理如此规模与速率的数据流，我们必须彻底地重新思考服务器、数据中心和存储系统。现在，在许多数据中心，用于生产的电脑计算资源使用率不到 50%，因为数据传输至处理器的速度跟不上。基于硬盘驱动器的传统存储解决方案能够储存大量的数据，但在速度方面表现不佳，导致浪费与低效。等待时间，即硬盘驱动系统最终将数据传输至处理器所花的时间，可能会导致公司因为处理缓慢而造成数百万甚至数十亿美元的业务损失。

硬盘驱动器还会占用相当一部分的电力。每个硬盘驱动器都带有一个内部电机。这些电机不仅会消耗电能，还会产生热量，而这会导致对散热装置需求的提高，最终促使耗电量上升。但是我们不能仅仅因为没有足够的电能就放弃创新。固态技术(或称“闪存”)可使计算密度提升 5 倍,电力消耗降低 80%,可靠性提升 4 倍,性能提升最多达 50 倍。通过提高速度和性能，与此同时降低能耗，固态技术为今后的进一步发展开辟了路径。

大数据的确是我们这个时代的一大神奇概念。它让我们能够对周围的世界产生更深刻的洞悉与理解，从而推动我们建设更加美好的社会。很多人预测中国到 2025 年将有 221 座城市的人口超过 100 万：做出这一预测需要进行细致的规划、洞察，与此同时还要具备分享信息并详尽地考察这些信息的能力。

但是，要打造出能够帮助我们以简洁、经济、可靠及环保的方式运用这些大数据的解决方案，研究人员还需要在背后付出巨大的努力。

声明： 此文观点不代表本站立场；转载须要保留原文链接；版权疑问请联系我们。