无损网络数据中心应用概述-IDC资讯网

无损网络数据中心应用概述

RDMA产生背景互联网中大量的在线业务，例如在线搜索、购物、直播等，它需要以非常快的速度对高频率的用户请求做

摘要

RDMA产生背景互联网中大量的在线业务，例如在线搜索、购物、直播等，它需要以非常快的速度对高频率的用户请求做出应答，数据中心内任何一个环节导致延迟，都会对终端用户的访问体验造成极大的影响，从而影响其流量、口碑、活跃用户等。

还有在机器学习和AI的技术趋势下，对计算能力的需求是呈几何级数上升的，为了满足日益复杂的神经网络和深度学习模型，数据中心会存在大量的分布式计算集群，但大量并行程序的通讯延迟，则会极大影响整个计算过程的效率。

另外为了解决数据中心内爆炸式增长的数据存储和读取效率问题，利用以太网融合组网的分布式存储越来越受到欢迎。但因为存储网络中数据流以大象流为主，所以一旦因拥塞造成丢包，将会引发大象流重传，不仅降低效率，还会加重拥塞。

所以从前端用户的体验和后端应用的效率来看，眼下对于数据中心网络的要求是：延迟越低越好，效率越高越好。为了降低数据中心内部网络延迟，提高处理效率，RDMA技术应运而生，通过允许用户态的应用程序直接读取和写入远程内存，而无需CPU介入多次拷贝内存，并可绕过内核直接向网卡写数据，实现了高吞吐量、超低时延和低CPU开销的效果。

以数据中心当前主流的spine-leaf架构为例，其主要是2级、3级CLOS，少数可能达到5级、6级CLOS。而many-to-one流量模型和all-to-all流量模型，使得这种架构在未来数据中心新场景下存在丢包、时延、吞吐等多方面的挑战。

图片.png

图1 传统TCP/IP数据传输过程

图片.png

图2 RDMA数据传输过程

传统的TCP/IP软硬件架构及应用存在着网络传输和数据处理的延迟过大、存在多次数据拷贝和中断处理、复杂的TCP/IP协议处理等问题。RDMA（Remote Direct Memory Access，远程直接内存访问）是一种为了解决网络传输中服务器端数据处理延迟而产生的技术。RDMA将用户应用中的数据直接传入服务器的存储区，通过网络将数据从一个系统快速传输到远程系统的存储器中，消除了传输过程中多次数据复制和文本交换的操作，降低了CPU的负载。

RDMA技术优势

RDMA技术实现了在网络传输过程中两个节点之间数据缓冲区数据的直接传递，在本节点可以直接将数据通过网络传送到远程节点的内存中，绕过操作系统内的多次内存拷贝，相比于传统的网络传输，RDMA无需操作系统和TCP/IP协议的介入，可以轻易的实现超低延时的数据处理、超高吞吐量传输，不需要远程节点CPU等资源的介入，不必因为数据的处理和迁移耗费过多的资源。

RDMA技术概述

IB技术

IB简介InfiniBand是一种基于InfiniBand架构的RDMA技术，它提供了一种基于通道的点对点消息队列转发模型，每个应用都可通过创建的虚拟通道直接获取本应用的数据消息，无需其他操作系统及协议栈的介入。InfiniBand架构的应用层采用了RDMA技术，可以提供远程节点间RDMA读写访问，完全卸载CPU工作负载；网络传输采用了高带宽的传输；链路层设置特定的重传机制保证服务质量，不需要数据缓冲。

InfiniBand必须运行在InfiniBand网络环境下，必须使用IB交换机及IB网卡才可实现。

图片.png