Name: InfiniBand và RoCE: Trung tâm dữ liệu Trí tuệ Nhân tạo | FiberMall (InfiniBand and RoCE: Artificial Intelligence Data Centers | FiberMall)
Uploaded: 2025-11-08T01:58:54.000Z
Duration: 9 min 19 s
Description: Thousands of YouTube videos with English-Chinese subtitles! Now you can learn to understand native speakers, expand your vocabulary, and improve your pronunciation...

Foreign we are bringing you a special presentation delving into the design and construction of efficient artificial intelligence data centers.

Hôm nay chúng tôi mang đến cho bạn một bài thuyết trình đặc biệt đi sâu vào thiết kế và xây dựng các trung tâm dữ liệu trí tuệ nhân tạo hiệu quả.

In this data center, we will not only focus on server hardware configurations, but

Tại trung tâm dữ liệu này, chúng ta sẽ không chỉ tập trung vào cấu hình phần cứng máy chủ, mà

also on maximizing the potential of AI accelerator cards in large scale model training.

còn vào việc tối đa hóa tiềm năng của các thẻ tăng tốc AI trong huấn luyện mô hình quy mô lớn.

Imagine a server equipped with 8, 16 or even more AI accelerator cards.

Hãy tưởng tượng một máy chủ được trang bị 8, 16 hoặc thậm chí nhiều hơn các thẻ tăng tốc AI.

When dealing with hundreds, thousands or even tens of thousands of servers running simultaneously, how do we ensure efficient data transfer between them and optimize communication within servers and clusters?

Khi xử lý hàng trăm, hàng nghìn hoặc thậm chí hàng chục nghìn máy chủ chạy đồng thời, làm thế nào để chúng ta đảm bảo truyền dữ liệu hiệu quả giữa chúng và tối ưu hóa giao tiếp trong máy chủ và các cụm?

This is the puzzle we aim to solve today.

Đây là câu đố chúng ta hướng tới giải quyết hôm nay.

it will intricately showcase the complexity and depth of AI data center interconnect design.

nó sẽ giới thiệu chi tiết sự phức tạp và chiều sâu của thiết kế kết nối trung tâm dữ liệu AI.

Let's embark on this exploration journey together and unveil the mystery behind artificial intelligence data center design.

Hãy cùng nhau bắt đầu hành trình khám phá này và làm sáng tỏ bí ẩn đằng sau thiết kế trung tâm dữ liệu trí tuệ nhân tạo.

You may know that AI accelerator cards inside servers are connected to CPUs via PCIe interfaces.

Bạn có thể biết rằng các thẻ tăng tốc AI bên trong máy chủ được kết nối với CPU thông qua giao diện PCIe.

However, the maximum bi directional bandwidth of PCIe gen 4x16 is only 64 gigabytes per second, and

Tuy nhiên, băng thông hai chiều tối đa của PCIe gen 4x16 chỉ là 64 gigabyte mỗi giây, và

even the latest PCIe gen 5x16 offers a maximum of 128 gigabytes per second.

ngay cả PCIe gen 5x16 mới nhất cũng chỉ cung cấp tối đa 128 gigabyte mỗi giây.

While this may sound decent, the disparity becomes significant when considering that memory bandwidth on AI accelerator cards often reaches 2 tera, 3 terra, or even 5 tera.

Mặc dù điều này có vẻ ổn, nhưng sự chênh lệch trở nên đáng kể khi xem xét băng thông bộ nhớ trên các thẻ tăng tốc AI thường đạt 2 tera, 3 tera hoặc thậm chí 5 tera.

Simply put, relying solely on PCIe for data transfer is far from efficient.

Nói một cách đơn giản, chỉ dựa vào PCIe để truyền dữ liệu là chưa đủ hiệu quả.

This is why Nvidia introduced NV Link technology in 2016.

Đây là lý do tại sao Nvidia đã giới thiệu công nghệ NVLink vào năm 2016.

NVLink is a high speed, high bandwidth interconnect technology that enables fast communication between GPUs or between GPUs and other devices such as CPUs, memory, etc.

NVLink là một công nghệ kết nối tốc độ cao, băng thông cao cho phép giao tiếp nhanh chóng giữa các GPU hoặc giữa các GPU với các thiết bị khác như CPU, bộ nhớ, v.v.

One key feature of NVLink is its direct point to point connection, providing higher transfer speeds and lower latency compared to traditional PCIe buses.

Một tính năng chính của NVLink là kết nối điểm-tới-điểm trực tiếp, cung cấp tốc độ truyền cao hơn và độ trễ thấp hơn so với các bus PCIe truyền thống.

Specifically, NVLink offers up to 600Gb s bi directional bandwidth for A100 and up to 900Gb s bidirectional bandwidths for H100, almost seven times the bandwidth of PCIe Gen 5.

Cụ thể, NVLink cung cấp băng thông hai chiều lên tới 600Gb/s cho A100 và lên tới 900Gb/s băng thông hai chiều cho H100, gần gấp bảy lần băng thông của PCIe Gen 5.

Moreover, NVLink's point to point connections boast very low latency, facilitating rapid and efficient data transfer and communication.

Hơn nữa, các kết nối điểm-tới-điểm của NVLink có độ trễ rất thấp, tạo điều kiện cho việc truyền dữ liệu và giao tiếp nhanh chóng, hiệu quả.

Furthermore, NVLink allows direct point to point communication between GPUs without passing through host memory or CPUs.

Hơn nữa, NVLink cho phép giao tiếp trực tiếp điểm-tới-điểm giữa các GPU mà không cần thông qua bộ nhớ máy chủ hoặc CPU.

This is particularly crucial for AI applications as it reduces data transfer bottlenecks.

Điều này đặc biệt quan trọng đối với các ứng dụng AI vì nó giảm thiểu tắc nghẽn truyền dữ liệu.

Additionally, NVLink supports memory sharing among GPUs, enabling multiple GPUs to access each other's memory space directly, further enhancing data processing and communication efficiency.

Ngoài ra, NVLink hỗ trợ chia sẻ bộ nhớ giữa các GPU, cho phép nhiều GPU truy cập không gian bộ nhớ của nhau trực tiếp, giúp tăng cường hiệu quả xử lý dữ liệu và giao tiếp.

Apart from Nvidia's NV link, domestic chips used for AI training also offer their own interconnect solutions.

Ngoài NVLink của Nvidia, các chip nội địa dùng cho huấn luyện AI cũng cung cấp các giải pháp kết nối riêng.

However, it's worth noting that these solutions differ from NV Link in functionality due to some proprietary information that we won't delve into here.

Tuy nhiên, cần lưu ý rằng các giải pháp này khác với NVLink về chức năng do một số thông tin độc quyền mà chúng ta sẽ không đi sâu vào đây.

Now let's discuss interconnect design among clusters in distributed training, communication between multiple servers is crucial.

Bây giờ hãy thảo luận về thiết kế kết nối giữa các cụm trong huấn luyện phân tán, giao tiếp giữa nhiều máy chủ là rất quan trọng.

Traditionally, TCP IP network communication requires data centers to copy data multiple times to the kernel before sending it over the network to receivers.

Theo truyền thống, giao tiếp mạng TCP/IP yêu cầu các trung tâm dữ liệu phải sao chép dữ liệu nhiều lần vào kernel trước khi gửi qua mạng đến người nhận.

Upon receiving data, further memory, copying and processing are needed, leading to higher latency, typically in milliseconds.

Sau khi nhận dữ liệu, cần thêm các thao tác sao chép và xử lý bộ nhớ, dẫn đến độ trễ cao hơn, thường là mili giây.

It's insufficient for multi node multi GPU scenarios requiring low latency.

Điều này là không đủ cho các kịch bản đa nút đa GPU yêu cầu độ trễ thấp.

To address this issue, we have RDMA technology, a highly efficient network interconnect technology that allows direct data transfer between two nodes in a network without kernel involvement.

Để giải quyết vấn đề này, chúng ta có công nghệ RDMA, một công nghệ kết nối mạng hiệu quả cao cho phép truyền dữ liệu trực tiếp giữa hai nút trong mạng mà không cần sự can thiệp của kernel.

All transmission processes are handled by NIC hardware, significantly reducing CPU load.

Tất cả các quy trình truyền tải đều được xử lý bởi phần cứng NIC, giúp giảm đáng kể tải cho CPU.

Key features of RDMA include remote transferring data between two nodes in a network direct no kernel involvement during transmission.

Các tính năng chính của RDMA bao gồm truyền dữ liệu từ xa giữa hai nút trong mạng trực tiếp mà không cần sự can thiệp của kernel trong quá trình truyền.

All processing occurs within NIC hardware memory Direct transfer of data between virtual memories of applications on two nodes without additional copying or caching.

Tất cả xử lý diễn ra trong bộ nhớ phần cứng NIC Truyền dữ liệu trực tiếp giữa bộ nhớ ảo của các ứng dụng trên hai nút mà không cần sao chép hoặc lưu trữ bộ nhớ đệm bổ sung.

RDMA supports operations like send and receive, read and write.

RDMA hỗ trợ các thao tác như gửi và nhận, đọc và ghi.

Imagine traditional TCP IP communication as a manual toll booth on a highway in high traffic situations.

Hãy tưởng tượng giao tiếp TCP IP truyền thống giống như một trạm thu phí thủ công trên đường cao tốc trong tình huống giao thông đông đúc.

This leads to severe queues and time wastage.

Điều này dẫn đến tình trạng ùn tắc nghiêm trọng và lãng phí thời gian.

In contrast, RDMA is like an ETC system where vehicles can swipe cards directly through, saving time and effort.

Ngược lại, RDMA giống như hệ thống ETC, nơi các phương tiện có thể quẹt thẻ trực tiếp, tiết kiệm thời gian và công sức.

Overall, RDMA compared to TCPIP not only reduces resource consumption but also significantly enhances data transfer rates.

Nhìn chung, RDMA so với TCPIP không chỉ giảm tiêu thụ tài nguyên mà còn tăng đáng kể tốc độ truyền dữ liệu.

A huge advancement for distribute, training and other high performance network communication applications.

Một bước tiến lớn cho huấn luyện phân tán và các ứng dụng giao tiếp mạng hiệu năng cao khác.

Next UP are the three main implementations of RDMA technology InfiniBand, IB, Rocky, RDMA over converged Ethernet and iWARP, all offering unique advantages in use cases based on their protocols and compatibility with existing infrastructure.

Tiếp theo là ba cách triển khai chính của công nghệ RDMA: InfiniBand, IB, Rocky, RDMA over converged Ethernet và iWARP, tất cả đều mang lại những lợi thế độc đáo trong các trường hợp sử dụng dựa trên giao thức và khả năng tương thích của chúng với cơ sở h

Nvidia's solution combines InfiniBand with GPU Direct RDMA, providing cross node GPU direct RDMA where GPU communication between two nodes bypasses memory and CPUs directly through InfiniBand in ASES, an essential communication method in large scale model training where models stored on GPUs would face significant delays if routed through CPUs for internal transmission.

Giải pháp của Nvidia kết hợp InfiniBand với GPU Direct RDMA, cung cấp khả năng RDMA trực tiếp giữa các GPU trên nhiều node, nơi giao tiếp GPU giữa hai node bỏ qua bộ nhớ và CPU, đi thẳng qua InfiniBand trong ASES, một phương pháp giao tiếp thiết yếu trong

However, InfiniBand protocol itself defines a new hierarchical architecture from link layer to transport layer incompatible with existing Ethernet devices.

Tuy nhiên, bản thân giao thức InfiniBand định nghĩa một kiến trúc phân cấp mới từ lớp liên kết đến lớp vận chuyển, không tương thích với các thiết bị Ethernet hiện có.

For instance, transitioning a data center From Ethernet to InfiniBand due to performance bottlenecks would require purchasing a complete set of Infini band dev, including NICs, cables, switches, routers, resulting in high costs.

Ví dụ, việc chuyển đổi một trung tâm dữ liệu từ Ethernet sang InfiniBand do tắc nghẽn hiệu năng sẽ yêu cầu mua sắm toàn bộ thiết bị InfiniBand, bao gồm card mạng, cáp, switch, router, dẫn đến chi phí cao.

ROCE protocol offers an advantage where transitioning from Ethernet to ROKI only necessitates purchasing Roki supported NICS while other network devices remain compatible.

Giao thức RoCE mang lại lợi thế là khi chuyển đổi từ Ethernet sang RoCE, chỉ cần mua card mạng hỗ trợ RoCE, còn các thiết bị mạng khác vẫn tương thích.

Thus, Rocky's primary benefit over InfiniBand lies in lower costs.

Do đó, lợi ích chính của RoCE so với InfiniBand nằm ở chi phí thấp hơn.

Rocky's benefits include low CPU utilization when accessing remote server memory without consuming CPU cycles on the remote server, allowing full utilization of available bandwidth and higher scalability 0 copy operations for sending receiving data to remote buffers efficiency improvements enhancing latency and throughput significantly cost savings by handling large amounts of data without requiring new equipment or replacing Ethernet infrastructure, thus saving capital expenditures for companies.

Lợi ích của RoCE bao gồm việc sử dụng CPU thấp khi truy cập bộ nhớ máy chủ từ xa mà không tiêu tốn chu kỳ CPU trên máy chủ từ xa, cho phép sử dụng tối đa băng thông có sẵn và khả năng mở rộng cao hơn, các thao tác sao chép 0 để gửi/nhận dữ liệu đến bộ đệm

Currently, most data center switches support RDMA traffic control technology which when combined with Rocky supported nics enables end to end RDMA communication.

Hiện tại, hầu hết các switch trung tâm dữ liệu đều hỗ trợ công nghệ kiểm soát lưu lượng RDMA, khi kết hợp với card mạng hỗ trợ RoCE sẽ cho phép giao tiếp RDMA đầu cuối.

Besides Infiniband and ROCE protocols, other emerging protocols have surfaced in the industry.

Bên cạnh các giao thức InfiniBand và RoCE, các giao thức mới nổi khác cũng đã xuất hiện trong ngành.

One such example is the Ultra Ethernet consortium established on July 19, 2023, aiming to surpass existing Ethernet capabilities by providing high performance, distributed and lossless transport layers for high performance computing and artificial intelligence applications.

Một ví dụ là Ultra Ethernet consortium, được thành lập vào ngày 19 tháng 7 năm 2023, nhằm mục đích vượt qua khả năng của Ethernet hiện tại bằng cách cung cấp các lớp vận chuyển hiệu năng cao, phân tán và không mất mát cho các ứng dụng điện toán hiệu năng 

UEC believes that decades old RDMA definitions are outdated for demanding AI and machine learning network traff, which may lead to imbalanced links and excessive burdens, thus advocating for modern transport protocols supporting RDMA tailored for emerging applications.

UEC tin rằng các định nghĩa RDMA đã có từ hàng thập kỷ là lỗi thời đối với lưu lượng mạng AI và học máy đòi hỏi khắt khe, điều này có thể dẫn đến các liên kết mất cân bằng và gánh nặng quá mức, do đó ủng hộ các giao thức vận chuyển hiện đại hỗ trợ RDMA đư

UEC's transport protocol under development aims to deliver superior Ethernet transmission compared to existing RDMA while retaining Ethernet IP advantages, supporting many to many AI workloads, requiring multipath capabilities and unordered packet transmissions, among other features.

Giao thức vận chuyển đang được UEC phát triển nhằm mang lại khả năng truyền Ethernet vượt trội so với RDMA hiện có, đồng thời giữ lại các ưu điểm của IP Ethernet, hỗ trợ nhiều khối lượng công việc AI từ nhiều nguồn đến nhiều đích, yêu cầu khả năng đa đườn

A step towards continuous technological development and innovation represented by emerging transport protocols like UEC.

Một bước tiến hướng tới sự phát triển và đổi mới công nghệ liên tục, được thể hiện qua các giao thức vận chuyển mới nổi như UEC.

When comparing InfiniBand and ROCE, we can see that both have their own strengths and application scenarios.

Khi so sánh InfiniBand và ROCE, chúng ta có thể thấy cả hai đều có những điểm mạnh và kịch bản ứng dụng riêng.

IB excels in high performance computing, providing excellent performance, low latency and scalability.

IB vượt trội trong điện toán hiệu năng cao, mang lại hiệu suất tuyệt vời, độ trễ thấp và khả năng mở rộng.

ROCKY is easier to integrate into existing Ethernet infrastructures and has a lower cost.

ROCE dễ dàng tích hợp vào cơ sở hạ tầng Ethernet hiện có và có chi phí thấp hơn.

Emerging transport protocols such as UEC also represent continuous technological development and innovation.

Các giao thức vận chuyển mới nổi như UEC cũng đại diện cho sự phát triển và đổi mới công nghệ liên tục.

Alright, that wraps up our discussion today on AI data center network design complexities.

Được rồi, đó là kết thúc phần thảo luận của chúng ta hôm nay về sự phức tạp trong thiết kế mạng trung tâm dữ liệu AI.

If you have any questions or thoughts, feel free to share them in the comments section below.

Nếu bạn có bất kỳ câu hỏi hoặc suy nghĩ nào, vui lòng chia sẻ chúng trong phần bình luận bên dưới.