NVIDIA网络助力点存科技赋能分布式存储

发表时间:2021-02-24 15:14

在国内新基建数字化转型的推动下,每年的数据保持高速增长,对存储设备供应商带来巨大挑战,同时也是机遇。IDC预测2025年中国数据总量将达 48.6 ZB,其中超过 80%为非结构数据(文档、图片、视频),存储的容量与数量将成为巨大挑战。


传统存储通过纵向拓展(只增加容量),到达一定数据量后性能与容量成反比,无法解决飞速增长的非结构数据存储管理问题。而目前可行的解决方案之一就是分布式存储技术。


图片来源于点存科技


近几年异军突起的IPFS分布式存储系统以及新的区块链项目Filecoin正快速发展,越来越多的新兴企业投入到分布式存储领域进行布局。NVIDIA一直致力于下一代数据中心平台,同时拥有领先的计算专业知识与高性能的网络技术,可优化整体计算、网络和存储等数据中心级工作负载,助力客户实现更高的性能、更高的计算资源利用率和更低的运营成本。


点存科技自2018年以来一直深耕于分布式存储、区块链和边缘计算领域,是杭州市“雏鹰”企业。NVIDIA与IPFS & Filecoin行业头部企业点存科技达成合作,致力于构造新型、高效的IPFS基础设施。通过结合NVIDIA在高性能网络、应用加速和计算方面的优势,以及点存科技在IPFS软件及系统能力、数据中心运营能力和业务拓展能力等多方面的特色,共同为终端客户提供优质、高效的解决方案,并在IPFS行业创立技术和业务模式的标准和典范。本文将从基础互连、应用优化、未来架构三个方面简要介绍系统的技术特点和优势。


基础互连之先进的设计理念和技术


NVIDIA和点存科技在研究了业务特点和业界技术发展趋势后,选择了最为恰当的技术方向,以支持点存IPFS应用的长期稳定发展,这些技术方向包括:


1.   基于白盒CLOS架构和IP Fabric的数据中心组网


2.   基于EVPN-VXLAN实现的业务层


3.   开源与稳定兼顾的软件选择


4.   可视化和易维护


5.   业界主流的速率选择和高性能、高可靠性设备


NVIDIA结合多年来的实践经验,推荐点存科技的数据中心采用基于NVIDIA 的SN系列白盒以太网交换机构造的三层五级CLOS架构,IP Fabric形式组网,并使用基于EVPN-VxLAN提供的业务层服务。方案采用了现代数据中心的典型架构,在规划和部署上应用了大量的基于最佳实践的优化技术。依托NVIDIA以太网交换机内置的“What Just Happened”(故障快照)技术,点存科技的运维人员可以第一时间发现和定位网络故障,并可以立即获得故障原因。还引入了NVIDIA NetQ网管产品,提高了自动化、管理、监控方面的应用水平,降低了运维压力,使用了NVIDIA的ConnectX-5系列25G高性能网卡,和NVIDIA的高可靠性LinkX系列25G、100G光模块和AOC。这充分体现了构造低时延、高吞吐、高可靠、开放型基础设施的设计理念,并切实达到了设计预期。



RDMA--构造高性能应用的基础


在长期的技术实践中,点存科技对高性能应用中的性能问题有充分的认知。他们敏锐地认识到,实现应用的RDMA改造就成为应用开发的必然选择。通过RDMA改造,可以使数据穿越操作系统内核,到达网络接口的时间下降到过去的1/30,存储系统吞吐量相对于TCP也有成倍的提升,扩大了竞争优势,构造了技术层面的护城河。在适配RDMA/RoCE应用方面,NVIDIA提供了从驱动、网卡、交换、网管方面的全线支持,甚至超低误码率的AOC和光模块都为RDMA所需的无损网络带来了贡献。在可部署性方面,NVIDIA网络支持ROCE Over VXLAN技术,从而使RDMA应用有了良好的可部署性,更加适合点存科技的基础设施。NVIDIA在RDMA编程和RoCE组网方面有丰富的产品、经验和案例,这也帮助点存科技快速迁移,从而避免了漫长的摸索过程。



灵活超前的未来架构


技术的发展推动产业的进步。当前的基础设施必须具备足够的灵活性和超前性。NVIDIA和点存科技也在共同研讨基础设施下一歩演进的方向,这些方向包括:


1.   DPU和存算分离的尝试


利用NVIDIA BlueField DPU系列提供的NVMe SNAP技术,使客户能够对于远程服务器中的NVMe Flash存储,像访问本地存储一样对其进行访问。可实现广泛的加速存储、软件定义网络和应用程序解决方案。


2.   业务加速在存储和零信任安全领域的尝试


NVIDIA ConnectX SmartNIC支持独特存储功能硬件加速器和卸载,以确保主机上有效的CPU利用率。通过利用NVMe-oF Target卸载、T10Diff和纠删码的硬件卸载等技术,释放了CPU在存储Target端的利用率,并提供极高的IOPS。


同时最新的ConnectX系列网卡也可以通过硬件对于数据直接进行加解密,不管是数据传输中的IPSec、TLS等,还是数据在落盘时的AES等操作,都可以有网卡硬件来完成,实现了在数据加密的同时以线速传输。


3.   开源网络操作系统的适配


在未来,SONiC适配会使交换机更加贴近业务和管理需求。同时,NVIDIA提供的硬件和管理软件环境,均可和SONiC适配。便于用户在适合的时候部分或全面转向开源系统。


4.   面向全SDN InfiniBand网络的尝试


NVIDIA InfiniBand网络是天然的SDN 网络,在提升业务性能和大规模扩展上有着得天独厚的优势,是当前公认的性能最高的网络,IPFS当前面临的流控问题、全局网络的高性能SDN管理问题、扩展性问题将会在InfiniBand网络中不再存在。


点存科技CEO李浩天先生说到:“区块链和边缘计算是人类在数字世界的发动机和铁路,是基础设施。企业要想参与其中,并获得成功,就需要优秀的商业模式、实力强大的技术团队、行业顶级的软硬解决方案。相信点存和NVIDIA强强联合一定能铸就新的商业传奇。”


NVIDIA全球销售高级副总裁Amir Prescher先生表示:“网络、计算和存储是数据中心的三驾马车。NVIDIA的端到端网络互连解决方案为客户提供了高性能的网络计算(In-Networking Computing)能力和应用加速引擎,帮助客户优化集网络、计算和存储为一体的数据中心级的工作负载,从而提高整体系统资源利用率并降低成本。我们很高兴与点存合作,并期待看到更多在分布式存储领域的突破。”


关于点存
联系我们
联系电话:19906816292
邮箱地址:dc@diancun.net
浙江网安备 33011002013895 号
微信客服
公众号二维码
COPYRIGHT (©) 2019 杭州点存科技有限公司/保留所有权利. ICP备案/许可证号:浙ICP备18030632号