Name: Giới thiệu Amazon EC2 P6e-GB200 UltraServers: Đẩy mạnh AI tiên tiến trên quy mô lớn | Amazon Web Services (Introducing Amazon EC2 P6e-GB200 UltraServers: Powering Frontier AI at Scale | Amazon Web Services)
Uploaded: 2025-08-30T13:14:48.000Z
Duration: 7 min 59 s
Description: Thousands of YouTube videos with English-Chinese subtitles! Now you can learn to understand native speakers, expand your vocabulary, and improve your pronunciation...

At AWS, it's our mission to offer the best place for AI training and inference.

Tại AWS, sứ mệnh của chúng tôi là cung cấp môi trường tốt nhất cho việc đào tạo và suy luận trí tuệ nhân tạo (AI).

And doing this means building the best compute infrastructure possible to power the most innovative applications of today and tomorrow.

Và việc này có nghĩa là xây dựng hạ tầng tính toán tốt nhất có thể để hỗ trợ các ứng dụng sáng tạo nhất của ngày hôm nay và tương lai.

And that's why I'm super excited to say that NVIDIA Blackwell is now here on AWS.

Và đó chính là lý do tại sao tôi vô cùng hào hứng khi thông báo rằng NVIDIA Blackwell hiện đã có mặt trên AWS.

NVIDIA Blackwell marks a new chapter for accelerated computing.

NVIDIA Blackwell đánh dấu một chương mới cho tính toán gia tốc.

It delivers significant improvements in performance, cost, and energy efficiency, enabling developers to tackle the world's most challenging problems.

Nó mang lại những cải tiến đáng kể về hiệu suất, chi phí và hiệu quả năng lượng, giúp các nhà phát triển giải quyết những thách thức lớn nhất trên thế giới.

AWS is now bringing the best of NVIDIA Blackwell to the cloud in two system configurations.

AWS hiện đang mang những tính năng tốt nhất của NVIDIA Blackwell lên đám mây thông qua hai cấu hình hệ thống.

Today we're announcing the general availability of both the Amazon EC2 P6 instance, accelerated by NVIDIA's HGX B200, and Amazon's EC2 P6e Ultra Server, accelerated by NVIDIA's GB200

Hôm nay, chúng tôi chính thức công bố sự sẵn sàng rộng rãi của cả hai dịch vụ: Amazon EC2 P6, được tăng tốc bởi NVIDIA HGX B200, và Amazon EC2 P6e Ultra Server, được tăng tốc bởi NVIDIA GB200.

NVL72, our most powerful EC2 instance ever.

NVL72, phiên bản EC2 mạnh mẽ nhất của chúng tôi từ trước đến nay.

Our NVIDIA HGX B200 delivers top performance for x86 scale-up systems.

Giải pháp NVIDIA HGX B200 của chúng tôi mang lại hiệu năng hàng đầu cho các hệ thống x86 mở rộng quy mô.

And our NVIDIA GB200 NVL72 is a rack-scale, liquid-cooled supercomputer that enables 72

Và hệ thống siêu máy tính NVIDIA GB200 NVL72 của chúng tôi là một hệ thống siêu máy tính quy mô rack, làm mát bằng chất lỏng, cho phép 72

NVIDIA Blackwell GPUs to act as a single massive GPU.

Các GPU NVIDIA Blackwell sẽ hoạt động như một GPU duy nhất có quy mô lớn.

These instances will help power training and inference for the latest frontier models, providing up to 30 times greater performance than NVIDIA Hopper.

Các trường hợp này sẽ hỗ trợ đào tạo và suy luận cho các mô hình tiên tiến nhất, mang lại hiệu suất cao gấp 30 lần so với NVIDIA Hopper.

Blackwell on AWS sets a new bar for performance in EC2, but it's more than meets the eye.

Blackwell trên AWS đặt ra một tiêu chuẩn mới về hiệu suất trên EC2, nhưng điều này còn hơn cả những gì bạn thấy.

Let's take a closer look at the unique design decisions and innovations we've made to bring

Hãy cùng tìm hiểu kỹ hơn về những quyết định thiết kế độc đáo và những cải tiến mà chúng tôi đã thực hiện để mang lại

Vùng đầu tiên là về mạng lưới.

Modern agentic AI workloads are presenting ever-increasing demands for bandwidth in the quest for optimal performance.

Các tác vụ AI có khả năng tự chủ hiện đại đang đặt ra những yêu cầu ngày càng cao về băng thông trong nỗ lực đạt được hiệu suất tối ưu.

This requires solutions for both scaling out and scaling up.

Điều này đòi hỏi các giải pháp cho cả việc mở rộng quy mô theo chiều ngang và mở rộng quy mô theo chiều dọc.

For Blackwell's scaled-out network, we've opted to use our in-house networking stack, the Elastic Fabric Adapter.

Đối với mạng mở rộng quy mô của Blackwell, chúng tôi đã quyết định sử dụng bộ công nghệ mạng nội bộ của mình, Elastic Fabric Adapter.

Developed by the AWS Nitro system, EFA leverages our latest generation of custom-designed Nitro controllers, allowing us to achieve up to 28.8 terabits per second of networking bandwidth per Ultra server, and scale to EC2 Ultra clusters with up to hundreds of thousands of GPUs.

Được phát triển bởi hệ thống AWS Nitro, EFA tận dụng thế hệ mới nhất của bộ điều khiển Nitro được thiết kế riêng, cho phép chúng tôi đạt được băng thông mạng lên đến 28,8 terabit mỗi giây cho mỗi máy chủ Ultra và mở rộng quy mô lên các cụm EC2 Ultra với h

But Nitro does more than allow us to scale these large clusters.

Nhưng Nitro không chỉ giúp chúng ta mở rộng các cụm máy chủ lớn này.

It allows us to further improve both the reliability and predictability.

Nó cho phép chúng ta tiếp tục cải thiện cả độ tin cậy và tính dự đoán.

And that's because EFA runs over Scalable Reliable Datagram, or SRD, a bespoke, topology-aware networking protocol.

Và đó là bởi vì EFA hoạt động trên Scalable Reliable Datagram (SRD), một giao thức mạng tùy chỉnh, nhận biết cấu trúc mạng.

With SRD, Nitro and EFA automatically route traffic around failures on the network, avoiding slowdowns or downtime.

Với SRD, Nitro và EFA, lưu lượng truy cập sẽ được tự động định tuyến xung quanh các sự cố trên mạng, giúp tránh tình trạng chậm trễ hoặc gián đoạn dịch vụ.

For the scaled-up network, the various GB200 compute trays are connected as a tightly coupled mesh through NVIDIA NVLink, which creates a single 72 Blackwell GPU NVLink domain with 132 terabits per second of total bandwidth, served as a single Ultra server.

Đối với mạng mở rộng, các khay tính toán GB200 được kết nối thành một mạng lưới kết nối chặt chẽ thông qua NVIDIA NVLink, tạo thành một miền NVLink duy nhất với 72 GPU Blackwell, cung cấp băng thông tổng cộng 132 terabit mỗi giây, hoạt động như một máy ch

To manage these NVLink switches, we leverage our Nitro-powered headnode.

Để quản lý các bộ chuyển mạch NVLink này, chúng tôi sử dụng đầu nút được trang bị công nghệ Nitro.

This reduces the number of network devices operating, with the NVLink network managed within the Nitro-trusted domain.

Điều này làm giảm số lượng thiết bị mạng đang hoạt động, với mạng NVLink được quản lý trong miền Nitro-trusted.

In a fast-moving space, with new platforms going from idea to production faster than ever before, the ability to detect performance issues or bugs is critical for maximizing reliability, security, and performance for customers.

Trong một môi trường phát triển nhanh chóng, nơi các nền tảng mới được đưa từ ý tưởng đến sản xuất nhanh hơn bao giờ hết, khả năng phát hiện các vấn đề về hiệu suất hoặc lỗi là yếu tố quan trọng để tối ưu hóa độ tin cậy, bảo mật và hiệu suất cho khách hàn

With Nitro, we can gather a greater amount of telemetry, logging everything with respect to function of the hardware, providing us unique insight into detecting and understanding failures.

Với Nitro, chúng ta có thể thu thập lượng dữ liệu telemetry lớn hơn, ghi lại mọi thông tin liên quan đến hoạt động của phần cứng, giúp chúng ta có cái nhìn độc đáo trong việc phát hiện và hiểu rõ các sự cố.

But the Nitro difference goes beyond detection.

Nhưng sự khác biệt của Nitro không chỉ dừng lại ở việc phát hiện.

It fundamentally changes the way we apply patches and optimizations.

Nó thay đổi hoàn toàn cách chúng ta áp dụng các bản vá và tối ưu hóa.

Typically, infrastructure providers need to choose between keeping their infrastructure online around the clock, forgoing these updates, or taking their capacity offline to update, sometimes resulting in kicking customers off the hardware.

Thông thường, các nhà cung cấp hạ tầng phải lựa chọn giữa việc duy trì hạ tầng hoạt động liên tục 24/7 mà không thực hiện các bản cập nhật, hoặc ngừng hoạt động hạ tầng để thực hiện cập nhật, đôi khi dẫn đến việc ngắt kết nối khách hàng khỏi hệ thống.

Nitro provides us the capability that no others in the industry have – live updates.

Nitro mang đến cho chúng ta khả năng mà không có đối thủ nào trong ngành có được – cập nhật trực tiếp.

Live updates allow us to update system firmware transparently, while systems remain in operation.

Cập nhật trực tiếp cho phép chúng tôi cập nhật firmware hệ thống một cách tự động mà không làm gián đoạn hoạt động của hệ thống.

This means that customer workloads continue uninterrupted, with ever-improving reliability, security, and performance, with no downtime required.

Điều này có nghĩa là các tác vụ của khách hàng tiếp tục diễn ra liên tục, với độ tin cậy, bảo mật và hiệu suất ngày càng được cải thiện, mà không cần thời gian ngừng hoạt động.

Lastly, in order to support the incredible compute density with GB200 NVL72 racks, we've moved towards a new first at AWS – liquid cooling.

Cuối cùng, để hỗ trợ mật độ tính toán ấn tượng với các giá đỡ GB200 NVL72, chúng tôi đã áp dụng một giải pháp mới lần đầu tiên tại AWS – làm mát bằng chất lỏng.

Blackwell represents the first liquid cooling hardware platform we've deployed at scale on AWS, and with it comes a unique set of goals and challenges.

Blackwell là nền tảng phần cứng làm mát bằng chất lỏng đầu tiên mà chúng tôi triển khai quy mô lớn trên AWS, và đi kèm với nó là một bộ mục tiêu và thách thức độc đáo.

This meant meeting the ravenous demand for AI infrastructure, which meant we had to scale fast and scale globally.

Điều này có nghĩa là phải đáp ứng nhu cầu ngày càng tăng về hạ tầng trí tuệ nhân tạo (AI), điều này đồng nghĩa với việc chúng ta phải mở rộng quy mô nhanh chóng và trên phạm vi toàn cầu.

When we looked at liquid cooling solutions, based on what's available in the market today, there were a few trade-offs.

Khi chúng tôi xem xét các giải pháp làm mát bằng chất lỏng, dựa trên những gì hiện có trên thị trường hiện nay, có một số điểm cần cân nhắc.

First would have been building liquid-cooled data centers from scratch – something that tends to take a while, with long lead times on the order of years.

Đầu tiên là việc xây dựng các trung tâm dữ liệu làm mát bằng chất lỏng từ đầu – một quá trình thường mất khá nhiều thời gian, với thời gian chờ đợi kéo dài hàng năm.

We knew those timelines wouldn't intersect with the availability of Blackwell.

Chúng tôi biết rằng các mốc thời gian đó sẽ không trùng khớp với thời gian có sẵn của Blackwell.

The second option would have been adopting some off-the-shelf solutions, but these didn't scale.

Tùy chọn thứ hai là sử dụng các giải pháp có sẵn trên thị trường, nhưng những giải pháp này không thể mở rộng quy mô.

They would take up too much data center floor space, would still require major modifications to data centers, or increase water usage substantially.

Chúng sẽ chiếm quá nhiều diện tích sàn của trung tâm dữ liệu, vẫn yêu cầu các thay đổi lớn đối với trung tâm dữ liệu, hoặc làm tăng đáng kể lượng nước sử dụng.

And while some of these solutions could work for lower volumes at other providers, there simply wouldn't be enough liquid cooling capacity to support our scale.

Và trong khi một số giải pháp này có thể hoạt động cho các khối lượng nhỏ hơn tại các nhà cung cấp khác, thì đơn giản là không có đủ công suất làm mát bằng chất lỏng để hỗ trợ quy mô của chúng tôi.

Vậy nên chúng tôi đã làm điều mà chúng tôi thường làm tại AWS.

We invented our own solution to have the best of both worlds.

Chúng tôi đã phát minh ra giải pháp riêng của mình để có được cả hai lợi ích.

This is the in-row heat exchanger, or IRHX as we call it.

Đây là bộ trao đổi nhiệt trong hàng, hay còn gọi là IRHX.

The IRHX is an Amazon-designed liquid cooling system.

Hệ thống làm mát bằng chất lỏng IRHX là hệ thống làm mát bằng chất lỏng do Amazon thiết kế.

It can be installed with no changes to the air-cooled mechanical design and minimal changes to existing infrastructure, meaning it can be deployed in existing data centers as well as new builds.

Nó có thể được lắp đặt mà không cần thay đổi thiết kế cơ khí làm mát bằng không khí và chỉ cần thay đổi tối thiểu cơ sở hạ tầng hiện có, có nghĩa là nó có thể được triển khai trong các trung tâm dữ liệu hiện có cũng như các dự án xây dựng mới.

The IRHX was designed to allow us to scale fast, standardizing our equipment and supply chain, and has been built to spec for our standard rack dimensions to fit within our existing data centers.

IRHX được thiết kế để cho phép chúng tôi mở rộng quy mô nhanh chóng, tiêu chuẩn hóa thiết bị và chuỗi cung ứng, và đã được sản xuất theo tiêu chuẩn kỹ thuật phù hợp với kích thước tiêu chuẩn của giá đỡ để có thể lắp đặt trong các trung tâm dữ liệu hiện có

There are three components to the IRHX, a water distribution cabinet, a pumping unit, and fan coils.

Hệ thống IRHX bao gồm ba thành phần chính: tủ phân phối nước, đơn vị bơm và quạt làm mát.

As the chips in the rack generate heat, cool liquid is pushed from the IRHX pumping unit to the servers.

Khi các chip trong giá đỡ sinh nhiệt, chất lỏng làm mát được bơm từ đơn vị bơm IRHX đến các máy chủ.

This liquid is distributed to the chips through a cold plate design co-innovated between AWS and NVIDIA, cooling the chips substantially.

Chất lỏng này được phân phối đến các chip thông qua thiết kế tấm làm mát lạnh được đồng phát triển giữa AWS và NVIDIA, giúp làm mát các chip một cách đáng kể.

This warm liquid is then returned to the IRHX, being passed through the coils where fans cool the liquid back down while expelling heat out of the back and into an aisle of contained hot air.

Chất lỏng ấm này sau đó được đưa trở lại IRHX, đi qua các cuộn dây nơi quạt làm mát chất lỏng trở lại trong khi thải nhiệt ra phía sau và vào một lối đi chứa không khí nóng.

And unlike many publicly available options, the IRHX can scale efficiently by adding or subtracting fan coil units depending on the amount of cooling needed by the row.

Và khác với nhiều giải pháp có sẵn trên thị trường, hệ thống IRHX có thể mở rộng hiệu quả bằng cách thêm hoặc bớt các đơn vị quạt làm mát tùy thuộc vào nhu cầu làm mát của từng hàng.

As we like to say, with the IRHX, we don't need to design the data center around the rack.

Như chúng tôi thường nói, với IRHX, chúng tôi không cần phải thiết kế trung tâm dữ liệu xoay quanh giá đỡ.

With support for over 900 CUDAX libraries and AI models, NVIDIA Blackwell is now available for AWS customers to drive breakthroughs in science, industry, and the next era of AI reasoning.

Với sự hỗ trợ cho hơn 900 thư viện CUDAX và mô hình AI, NVIDIA Blackwell hiện đã có sẵn cho khách hàng AWS để thúc đẩy những đột phá trong khoa học, công nghiệp và kỷ nguyên tiếp theo của trí tuệ nhân tạo.

Blackwell is accessible directly in our P6 instances, accelerated by NVIDIA's HGX B200, and our P6e Ultra servers, accelerated by NVIDIA's GB200 NVL72, or through AWS managed offerings such as Amazon SageMaker HyperPod and NVIDIA DGX Cloud.

Blackwell có thể truy cập trực tiếp trên các máy chủ P6 của chúng tôi, được tăng tốc bởi NVIDIA HGX B200, và các máy chủ P6e Ultra, được tăng tốc bởi NVIDIA GB200 NVL72, hoặc thông qua các dịch vụ quản lý của AWS như Amazon SageMaker HyperPod và NVIDIA DG

Giới thiệu Amazon EC2 P6e-GB200 UltraServers: Đẩy mạnh AI tiên tiến trên quy mô lớn | Amazon Web Services (Introducing Amazon EC2 P6e-GB200 UltraServers: Powering Frontier AI at Scale | Amazon Web Services)