贵州新闻网

首页 > 正文

华为云CTO张宇昕首次解密:从毫秒进入微秒时代的华为云存储为何越用越快

www.zqzskl.com2019-09-01

《人类简史》据说人类的不同之处在于他们可以在心中建立一个世界,然后在现实世界中创造它们。今天,华为正在为人类进入智能时代建立一个新的云基础。

当每个人都在提高智能时,华为云正在考虑当前的数据架构是否能够支持万物互联的智能世界。例如,支持整个数据流的基础,云计算是否需要发展?例如,今天的云存储可以满足智能时代海量数据的交互吗?

华为云的答案是,限制云计算以更好地服务于智能时代的瓶颈是“最后一英里”。在云中,“最后一英里”是指数据通过服务器软件,网络,存储服务器并最终到达媒体的过程。

“最后一英里”挑战还意味着随着人工智能(AI),VR/AR,5G和自动驾驶等技术和应用的发展,云存储面临着诸如海量数据存储,实时数据和智能等挑战应用。

围绕“最后一英里”挑战,华为云计算最近在成都发布了云存储全闪存策略,将云存储从毫秒级推升至微秒级。它还推出了该战略的第一个登陆产品。极速IO云硬盘。

img_pic_1562572767_0.jpg

那么围绕云计算的“最后一英里”瓶颈,华为云存储如何实现微秒实时处理?如何通过AI使用数据变得越来越快。 Zhiding.com采访了华为云CTO张玉玺。

张玉玺表示,随着人工智能(AI),VR/AR,5G,自动驾驶等技术的发展,该应用对云存储的实时处理能力提出了更高的标准。对于支持智能世界的数据平台,它需要输入100微秒的量级才能满足实时要求。

在微秒时代,华为云有哪些黑色技术?

在数据中心,影响数据延迟的原因主要来自两个层次,一个是通过整个网络的传输延迟,另一个是存储介质本身的延迟。目前,这两个级别的延迟都是毫秒。在这种情况下,5G应用程序,自动驾驶仪,AI和其他应用程序很难实时处理。如果你想进入微秒时代,你必须把这两个延迟的瓶颈。闯入。

img_pic_1562572767_1.png

张玉玺分享了华为云的黑色技术,解决了实时数据处理问题。

张玉玺说,首先,为了实现100微秒的“最后一英里”突破,平均延迟4毫秒(7200转/分钟)的机械硬盘成为首选的优化对象。与机械硬盘相比,Flash介质具有更高的性能和20μs的极低延迟。同时,华为云设计了一个先进的存储引擎,围绕介质完全释放介质的能力,减少延迟,提高性能,提高存储介质的可靠性,延长使用寿命。

“其次,通过优化硬件和软件架构以及数据中心架构,我们实现了极简主义网络并实现了多核无锁并发,从而导致软件延迟和网络延迟极低,因此整个数据处理时IO进出,我们可以实现50μs-100μs的稳定延迟。“张玉玺说。

第三,华为在芯片方面具有很强的优势。目前,全系列自主研发的芯片从“计算,传输,存储和智能”四个维度增强了整个数据处理过程。芯片与架构的紧密配合充分发挥了昆仑CPU在多核和低功耗方面的优势;通过高性能智能网卡芯片和SSD存储控制芯片直接访问数据;结合AI芯片的兴起,让整个堆栈软硬件联动创新,并首次在芯片级实现基于云的深度定制优化;通过网络芯片和SSD存储卡实现控制芯片,重建整个IO路径,实现极低的延迟。

img_pic_1562572767_2.png

当然,这么多,个人的第一感觉是算法的重要性,无论是控制器,软件还是芯片,许多核心技术实际上都涉及算法,算法需要长期积累,才能不断接近能力极限。华为云的优势在于结合这些功能,实现实时数据处理。

存储使用得越快?我们谈到了当前数据“使用得越慢”

在新闻发布会上,张玉玺谈到了华为创新技术,使存储更快更快,引起了作者的好奇心。每个人都知道,无论是手机还是电脑,使用时间越长,速度越慢。那么华为云如何实现更快,更快的数据存储呢?

首先让我们来看看当前数据存储的速度越慢。随着数据的增加,存储介质碎片化增加,包括企业数据中心到云数据中心。随着时间的推移,用户访问数据的速度越来越慢。其中很大一部分原因是数据在数据中心布局,数据存储提供的IO功能与企业的业务需求不匹配。当数据量很大时,租户数量增加,资源可能相互竞争,这种情况将会加剧。

目前,华为云存储将人工智能技术集成到分布式存储的整个生命周期中,智能识别用户业务模型,实现存储平台的独立调优和自我演化,使应用越来越快。华为云AI预测功能可以预测30天的性能趋势,并提前14天找到故障磁盘并自动隔离。 AI控件的引入可以智能地预测用户性能趋势,并根据用户预先配置的自动扩展和其他策略完成调整,避免人工干预,确保业务稳定。通过全球数据进行优化,最大限度地利用全球资源。

因此,从客户的感受来看,随着这种学习的深入,培训数量的增加,培训精度的提高,人工智能将越来越意识到客户,让系统自动感知,而不是通过人工干预,可实现快速系统调整,以响应客户需求。

img_pic_1562572767_3.png

华为云定义了以“全闪存,全规模,+智能,全栈创新”为导向的全闪存战略布局,这使得AI的云存储接近媒体的极限,导致整个系列的存储到逐渐完成全闪存演进,领先的云存储已经从机械时代进入电子时代。基于全闪存策略的超快IO云硬盘具有低至50~100μs的延迟,具有4GB/s带宽和高达100万IOPS性能,可满足结构化数据库,半结构化数据库和ELK发行。日志应用程序和流处理的应用程序要求是性能的最终要求,也是主流云供应商中第一个在100微秒内进入的云驱动器。

热门浏览
热门排行榜
热门标签
日期归档