Name: Giới thiệu về Hệ thống máy tính cụm (Introduction to Computing Clusters)
Uploaded: 2025-09-16T14:11:18.000Z
Duration: 18 min 3 s
Description: Thousands of YouTube videos with English-Chinese subtitles! Now you can learn to understand native speakers, expand your vocabulary, and improve your pronunciation...

Hello everyone, my name is Greg Poole from the Swinburne Node of ADACS, the Astronomy, Data, and Computing Services group, and this is a tutorial on high-performance computing with the GSTAR cluster at Swinburne University.

Xin chào mọi người, tôi là Greg Poole từ Swinburne Node của ADACS, nhóm Dịch vụ Thiên văn học, Dữ liệu và Tính toán, và đây là hướng dẫn về tính toán hiệu suất cao với cụm máy tính GSTAR tại Đại học Swinburne.

In this first part of the tutorial, we will provide a basic introduction to the practices of working with high-performance computing clusters.

Trong phần đầu tiên của hướng dẫn này, chúng tôi sẽ cung cấp một giới thiệu cơ bản về các phương pháp làm việc với các cụm máy tính hiệu suất cao.

This part of the tutorial will consist of an introduction to parallel computing, a discussion of how computing clusters are configured, specifically, how the nodes of a computer and storage are organized, an introduction to queue systems, through which essentially all computation on a computing cluster is managed, and finally, how to operate a computing cluster, namely, the writing of shell scripts, working with queues, and logging in with SSH.

Phần này của hướng dẫn sẽ bao gồm giới thiệu về tính toán song song, thảo luận về cách cấu hình cụm tính toán, cụ thể là cách các nút máy tính và lưu trữ được tổ chức, giới thiệu về hệ thống hàng đợi, qua đó hầu hết các tác vụ tính toán trên cụm tính toán

Modern computing clusters are designed explicitly to maximize the advantages of parallel computing.

Các cụm máy tính hiện đại được thiết kế một cách có chủ đích để tận dụng tối đa lợi thế của tính toán song song.

Parallel computing is a paradigm in which tasks are broken down into independent or semi-independent operations for simultaneous execution.

Tính toán song song là một phương pháp trong đó các tác vụ được chia nhỏ thành các hoạt động độc lập hoặc bán độc lập để thực thi đồng thời.

This allows for vast increases in the computing resources that can be applied to a single task, providing for larger projects and or faster execution.

Điều này cho phép tăng cường đáng kể nguồn lực tính toán có thể được áp dụng cho một tác vụ duy nhất, từ đó hỗ trợ cho các dự án quy mô lớn hơn hoặc thực thi nhanh hơn.

As an analogy, we have here an image of a Formula One pit crew.

Như một ví dụ minh họa, chúng ta có hình ảnh của một đội kỹ thuật pit stop trong giải đua Formula One.

This team needs to perform several jobs, refueling, changing four tires, conducting repairs, etc., and they must do these as fast as possible.

Đội này cần thực hiện nhiều công việc, bao gồm tiếp nhiên liệu, thay bốn lốp xe, sửa chữa, v.v., và họ phải hoàn thành những công việc này nhanh nhất có thể.

While one individual could do all these tasks sequentially, each is independent of the others.

Mặc dù một người có thể thực hiện tất cả các tác vụ này theo thứ tự, mỗi tác vụ đều độc lập với nhau.

Refueling has nothing to do with changing tires, for example.

Việc tiếp nhiên liệu không liên quan gì đến việc thay lốp, ví dụ như vậy.

The team takes advantage of this fact by utilizing a large group of independent, specialized workers, operating at the same time to complete the task much quicker.

Đội ngũ tận dụng lợi thế này bằng cách sử dụng một nhóm lớn các nhân viên độc lập, chuyên môn hóa, làm việc đồng thời để hoàn thành nhiệm vụ nhanh hơn nhiều.

This is the sort of work and performance optimization that parallel computing seeks to achieve.

Đây chính là loại tối ưu hóa công việc và hiệu suất mà tính toán song song hướng đến.

For another analogy, consider a large computational project, consisting conceptually of a series of N tasks needing to be completed by a processor.

Để lấy một ví dụ khác, hãy xem xét một dự án tính toán quy mô lớn, về mặt khái niệm bao gồm một chuỗi N tác vụ cần được xử lý bởi một bộ xử lý.

This could be a payroll application, for instance.

Đây có thể là một ứng dụng quản lý lương, ví dụ như vậy.

Several calculations need to be performed for each employee in series.

Cần thực hiện một số tính toán cho từng nhân viên theo thứ tự.

For example, calculation of hours worked, hourly rate, taxes, printing of checks, and these need to be performed for each employee.

Ví dụ, việc tính toán số giờ làm việc, mức lương theo giờ, thuế, in phiếu lương và các công việc này cần được thực hiện cho từng nhân viên.

Since the calculations for one employee are independent of those for another, this problem lends itself well to parallelism.

Vì các tính toán cho một nhân viên là độc lập với các tính toán cho nhân viên khác, vấn đề này rất phù hợp để thực hiện song song.

This calculation can be broken down into a series of separate problems, one for each employee.

Tính toán này có thể được chia thành một loạt các vấn đề riêng biệt, mỗi vấn đề tương ứng với một nhân viên.

Each is sent to a separate processor and executed simultaneously, providing a substantial speed-up.

Mỗi tác vụ được gửi đến một bộ xử lý riêng biệt và thực thi đồng thời, mang lại sự tăng tốc đáng kể.

Shown here is the GSTAR computing cluster at Swinburne University.

Đây là cụm máy tính GSTAR tại Đại học Swinburne.

On the left, we see the computer consists of a series of cabinets.

Bên trái, chúng ta thấy máy tính bao gồm một loạt các tủ.

On the right, we see how these cabinets consist of a series of racks.

Ở bên phải, chúng ta có thể thấy các tủ này được cấu tạo từ một loạt các giá đỡ.

These racks house a large and scalable collection of nodes, which we can think of conceptually as a series of independent computers networked together.

Các giá đỡ này chứa một bộ sưu tập lớn và có khả năng mở rộng của các nút, mà chúng ta có thể hình dung một cách khái niệm như một chuỗi các máy tính độc lập được kết nối với nhau qua mạng.

The nodes of a computing cluster are individually specialized as follows.

Các nút trong cụm tính toán được chuyên môn hóa riêng lẻ như sau.

This is the node into which users must log in to access the resources of the computer.

Đây là nút mà người dùng phải đăng nhập để truy cập các tài nguyên của máy tính.

These provide the vast majority of the system's computing power.

Những thành phần này cung cấp phần lớn sức mạnh tính toán của hệ thống.

They cannot be accessed directly by the users.

Người dùng không thể truy cập trực tiếp vào chúng.

Instead, computing jobs must be created on the queue managed by the head node.

Thay vào đó, các tác vụ tính toán phải được tạo trên hàng đợi do nút chính quản lý.

We will discuss how this is done later in this tutorial.

Chúng ta sẽ thảo luận về cách thực hiện điều này sau trong hướng dẫn này.

Some computing clusters, but not all, provide a small number of interactive nodes.

Một số cụm máy tính, nhưng không phải tất cả, cung cấp một số lượng nhỏ các nút tương tác.

These can be logged in directly and used like a typical remotely accessed computer.

Các thiết bị này có thể được đăng nhập trực tiếp và sử dụng như một máy tính truy cập từ xa thông thường.

These nodes are shared by the whole community of the cluster, and as such, are intended only for small, short tasks such as text editing, code manipulation, small test runs, etc.

Các nút này được chia sẻ bởi toàn bộ cộng đồng của cụm, do đó, chúng chỉ được thiết kế cho các tác vụ nhỏ, ngắn hạn như chỉnh sửa văn bản, thao tác mã nguồn, chạy thử nghiệm nhỏ, v.v.

Alternatively, especially if the cluster does not have any interactive nodes, or if larger interactive tasks must be conducted, interactive jobs can be created on the compute nodes through the queue.

Ngoài ra, đặc biệt là khi cụm không có bất kỳ nút tương tác nào, hoặc khi cần thực hiện các tác vụ tương tác có quy mô lớn, các tác vụ tương tác có thể được tạo trên các nút tính toán thông qua hàng đợi.

Storage is also often subdivided into specialized units.

Lưu trữ cũng thường được chia thành các đơn vị chuyên biệt.

Usually, users are given small but enduring storage in their home directory.

Thông thường, người dùng được cấp một lượng lưu trữ nhỏ nhưng ổn định trong thư mục cá nhân của họ.

This is intended for configuration files, source code, etc., and should not be used for large datasets that often form the input or output of computational projects.

Điều này được thiết kế cho các tệp cấu hình, mã nguồn, v.v., và không nên sử dụng cho các tập dữ liệu lớn thường là đầu vào hoặc đầu ra của các dự án tính toán.

Instead, project storage is often allocated for this purpose.

Thay vào đó, không gian lưu trữ dự án thường được phân bổ cho mục đích này.

Such storage often needs to be applied for or won through merit allocation schemes.

Loại hình lưu trữ này thường cần phải được đăng ký hoặc được cấp thông qua các chương trình phân bổ theo thành tích.

It is here that large input or output datasets should be stored.

Đây là nơi nên lưu trữ các tập dữ liệu đầu vào hoặc đầu ra có kích thước lớn.

Lastly, large project datasets are generally not backed up.

Cuối cùng, các bộ dữ liệu của các dự án lớn thường không được sao lưu.

Furthermore, many compute clusters have finite data longevity policies, whereby project storage spaces are cleared on certain dates or after certain periods of inactivity.

Hơn nữa, nhiều cụm máy tính có chính sách lưu trữ dữ liệu có thời hạn, theo đó không gian lưu trữ dự án sẽ bị xóa vào các ngày cụ thể hoặc sau một khoảng thời gian không hoạt động nhất định.

For this reason, it is critical that users ensure they thoroughly understand the storage policies of the computing clusters they use.

Do đó, điều quan trọng là người dùng phải đảm bảo rằng họ hiểu rõ các chính sách lưu trữ của các cụm máy tính mà họ sử dụng.

One of the challenges of operating a computing cluster is ensuring its efficient use and equitable access by a large number of users with diverse needs.

Một trong những thách thức khi vận hành một cụm máy tính là đảm bảo việc sử dụng hiệu quả và truy cập công bằng cho một số lượng lớn người dùng có nhu cầu đa dạng.

Shown here as examples are four sample use cases.

Dưới đây là bốn ví dụ minh họa về các trường hợp sử dụng mẫu.

It is the job of the cluster's queue system to manage this task.

Nhiệm vụ của hệ thống hàng đợi của cụm là quản lý tác vụ này.

Often, the queue system manages several separate queues for managing different hardware configurations or for optimal deployment of different use cases.

Thường thì hệ thống xếp hàng quản lý nhiều hàng đợi riêng biệt để quản lý các cấu hình phần cứng khác nhau hoặc để triển khai tối ưu cho các trường hợp sử dụng khác nhau.

This is demonstrated here, where three separate queues have been established for cases where jobs need no GPUs, one GPU per node, or four GPUs per node.

Điều này được minh họa ở đây, nơi ba hàng đợi riêng biệt đã được thiết lập cho các trường hợp công việc không cần GPU, một GPU trên mỗi nút hoặc bốn GPU trên mỗi nút.

It is the responsibility of the user to specify the correct queue when they send tasks to the queue system.

Người dùng có trách nhiệm chỉ định đúng hàng đợi khi gửi tác vụ đến hệ thống hàng đợi.

Jobs are submitted to the system using a submission script.

Các công việc được gửi đến hệ thống thông qua một skript gửi.

These scripts, which we describe in additional detail in later sections of this tutorial, specify not only the commands to be run by the compute nodes, but the resources needed as well.

Các kịch bản này, mà chúng tôi sẽ mô tả chi tiết hơn trong các phần sau của hướng dẫn này, không chỉ xác định các lệnh cần thực thi trên các nút tính toán mà còn chỉ định các tài nguyên cần thiết.

The queue system turns this script into a job and assigns it a job ID to identify it.

Hệ thống xếp hàng chuyển đổi kịch bản này thành một tác vụ và gán cho nó một ID tác vụ để nhận dạng.

User-specified resources can include, but are not limited to, the queue to be used, the number of compute nodes needed for the job, the number of processors to be used per node, the amount of random access memory needed, the amount of time or wall clock needed to complete the job, etc.

Các tài nguyên do người dùng chỉ định có thể bao gồm, nhưng không giới hạn ở, hàng đợi sẽ được sử dụng, số lượng nút tính toán cần thiết cho công việc, số lượng bộ xử lý sẽ được sử dụng trên mỗi nút, lượng bộ nhớ truy cập ngẫu nhiên (RAM) cần thiết, thời 

Once jobs are created by the queue system, they may wait for some time before starting, depending on the resources requested and the degree to which the cluster is being used.

Khi các tác vụ được tạo ra bởi hệ thống hàng đợi, chúng có thể phải chờ một thời gian trước khi bắt đầu, tùy thuộc vào tài nguyên được yêu cầu và mức độ sử dụng của cụm máy chủ.

It is the job of the queue scheduler to monitor the usage patterns of the cluster and determine the optimal strategy for starting jobs on the computer.

Nhiệm vụ của trình điều phối hàng đợi là theo dõi các mẫu sử dụng của cụm máy tính và xác định chiến lược tối ưu để khởi chạy các tác vụ trên máy tính.

In doing so, it seeks to maximize the use of the computer and maintain equitable access to users with highly varied needs.

Bằng cách này, nó nhằm mục đích tối ưu hóa việc sử dụng máy tính và đảm bảo quyền truy cập công bằng cho người dùng có nhu cầu đa dạng.

Having discussed how computing clusters are organized and how queues are employed to manage their resources, we focus now on a short discussion of how computing clusters are operated.

Sau khi đã thảo luận về cách tổ chức các cụm máy tính và cách sử dụng hàng đợi để quản lý tài nguyên của chúng, chúng ta sẽ tập trung vào một cuộc thảo luận ngắn về cách vận hành các cụm máy tính.

Operation of computing clusters can be coarsely thought to proceed through two methods.

Hoạt động của các cụm máy tính có thể được hiểu một cách tổng quát là diễn ra thông qua hai phương pháp.

Interactive operation within a traditional Unix command line environment, or shell scripts, which package sequences of commands allowing for optional variable arguments.

Hoạt động tương tác trong môi trường dòng lệnh Unix truyền thống hoặc các kịch bản shell, cho phép gói các chuỗi lệnh với các tham số tùy chọn.

These facilitate automated repetitions or non-interactive offline execution of longer tasks.

Những tính năng này cho phép thực hiện tự động các thao tác lặp lại hoặc thực thi ngoại tuyến không tương tác cho các tác vụ dài hơn.

The following must be done to create a shell script.

Để tạo một tập lệnh shell, cần thực hiện các bước sau:

A text file containing the sequence of commands to be run must be created.

Một tệp văn bản chứa chuỗi lệnh cần thực thi phải được tạo ra.

This can be done with the common text editor Emacs, for instance.

Điều này có thể được thực hiện bằng trình soạn thảo văn bản thông dụng Emacs, ví dụ.

The system must then be told that this text file is to be considered an executable entity.

Hệ thống sau đó phải được thông báo rằng tệp văn bản này được coi là một thực thể có thể thực thi.

This is achieved by setting its permissions appropriately.

Điều này được thực hiện bằng cách thiết lập quyền truy cập phù hợp cho nó.

Every file in the system has read, write, and executable permissions.

Mỗi tệp tin trong hệ thống đều có quyền đọc, ghi và thực thi.

These are set separately for use by the user owner, its group owner, and others.

Các quyền này được thiết lập riêng biệt cho người dùng chủ sở hữu, chủ sở hữu nhóm và các người dùng khác.

Alternatively, the commands of the script can be executed sequentially by the user shell by sourcing it.

Ngoài ra, các lệnh trong kịch bản có thể được thực thi theo thứ tự bởi vỏ lệnh của người dùng bằng cách tải kịch bản đó.

Hãy cùng nhau minh họa quy trình này.

First, by equating the environment variable shell, we can see that our default shell is bash and that it is located in the slash bin directory.

Đầu tiên, bằng cách kiểm tra biến môi trường shell, chúng ta có thể thấy rằng vỏ lệnh mặc định của chúng ta là bash và nó được đặt trong thư mục bin.

Next, let's create a text file called hello.sh with the Emacs text editor.

Tiếp theo, hãy tạo một tệp văn bản có tên hello.sh bằng trình soạn thảo văn bản Emacs.

The first line of a shell script must be the so-called shebang line, which tells the system which shell interpreter to use when running the script.

Dòng đầu tiên của một kịch bản shell phải là dòng shebang, dòng này thông báo cho hệ thống biết trình thông dịch shell nào cần sử dụng khi chạy kịch bản.

Next, we add a comment to explain what the code is doing.

Tiếp theo, chúng ta thêm một bình luận để giải thích mã này đang làm gì.

Then, we use the echo command to write some output to the terminal.

Sau đó, chúng ta sử dụng lệnh echo để hiển thị một số kết quả trên terminal.

Saving the file and exiting, we then find that the file exists in the directory.

Sau khi lưu tệp và thoát, chúng ta sẽ thấy rằng tệp đó tồn tại trong thư mục.

Using cat, we see that the contents of the file correspond with what we entered with Emacs.

Sử dụng lệnh `cat`, chúng ta thấy nội dung của tệp khớp với những gì chúng ta đã nhập bằng Emacs.

Using the ls command with the minus l option, we get some detailed information about this file, including its permissions, user ownership, group ownership, size, creation date, and name.

Sử dụng lệnh ls với tùy chọn -l, chúng ta có thể xem thông tin chi tiết về tệp này, bao gồm quyền truy cập, chủ sở hữu người dùng, chủ sở hữu nhóm, kích thước, ngày tạo và tên tệp.

Breaking down the permissions, the starting dash indicates that this item is a file rather than a directory.

Phân tích quyền truy cập, dấu gạch ngang đầu tiên cho biết mục này là một tệp tin chứ không phải là một thư mục.

Dấu gạch ngang này sẽ là chữ d, nếu không.

The next three characters specify whether read, write, or execute permissions are set for the user owner.

Ba ký tự tiếp theo xác định xem quyền đọc, ghi hoặc thực thi đã được thiết lập cho người dùng chủ sở hữu hay chưa.

The three characters after that specify whether read, write, or execute permissions are set for the group owner.

Ba ký tự tiếp theo xác định xem quyền đọc, ghi hoặc thực thi đã được thiết lập cho chủ sở hữu nhóm hay chưa.

Finally, the last three characters specify whether read, write, or execute permissions are set for everyone else.

Cuối cùng, ba ký tự cuối cùng xác định xem quyền đọc, ghi hoặc thực thi có được cấp cho người dùng khác hay không.

For this file, we see that read and write permissions are set for the user owner, while only read permissions are set for group owners and for everyone else.

Đối với tệp này, chúng ta thấy rằng quyền đọc và ghi được cấp cho người dùng chủ sở hữu, trong khi chỉ có quyền đọc được cấp cho chủ sở hữu nhóm và cho tất cả các người dùng khác.

To use this file as a shell script, we must enable executable permissions for it.

Để sử dụng tệp này như một kịch bản shell, chúng ta phải cấp quyền thực thi cho nó.

To do so, we use the chmod command as follows.

Để thực hiện điều này, chúng ta sử dụng lệnh chmod như sau.

Note that the u plus x here indicates that we want to turn on executable permissions for the user only.

Lưu ý rằng "u plus x" ở đây có nghĩa là chúng ta muốn kích hoạt quyền thực thi cho người dùng.

Using ls minus l again, we see that the desired permissions have been set.

Sử dụng lệnh `ls` trừ đi `l` một lần nữa, chúng ta thấy rằng các quyền truy cập mong muốn đã được thiết lập.

Running this script now, we see that the desired output is generated.

Khi chạy skript này ngay bây giờ, chúng ta thấy rằng kết quả mong muốn được tạo ra.

The difference between executing and sourcing a script is a result of forking.

Sự khác biệt giữa việc thực thi và lấy kịch bản là kết quả của việc phân nhánh.

When a shell is executed, a new shell is created, or forked, and the script is run entirely within the new shell.

Khi một vỏ lệnh (shell) được thực thi, một vỏ lệnh mới được tạo ra hoặc phân tách (forked), và skript được thực thi hoàn toàn bên trong vỏ lệnh mới đó.

Once complete, the forked shell is destroyed and execution returns to the original shell.

Sau khi hoàn tất, vỏ lệnh đã được phân nhánh sẽ bị hủy bỏ và quá trình thực thi sẽ quay trở lại vỏ lệnh gốc.

As a result, execution occurs in a clean and newly initialized environment.

Do đó, quá trình thực thi diễn ra trong một môi trường sạch sẽ và đã được khởi tạo lại.

When a script is sourced, it is run within the current shell, with its current environment.

Khi một script được gọi, nó sẽ được thực thi trong vỏ lệnh hiện tại, với môi trường hiện tại của nó.

To demonstrate, we return to our hello.sh example.

Để minh họa, chúng ta quay lại ví dụ hello.sh.

First, let's define an environment variable, myvar, and set it to g2 user.

Đầu tiên, hãy định nghĩa một biến môi trường, myvar, và đặt giá trị của nó là người dùng g2.

We then edit our script, adding this variable to the output it generates.

Sau đó, chúng tôi chỉnh sửa kịch bản của mình, thêm biến này vào kết quả đầu ra mà nó tạo ra.

Saving and executing, we see that myvar was not successfully added to the output.

Khi lưu và thực thi, chúng ta thấy rằng biến myvar không được thêm thành công vào kết quả đầu ra.

This is because, when we execute hello.sh, it is run in a new forked shell, where myvar is not defined.

Điều này là do, khi chúng ta thực thi hello.sh, nó được chạy trong một vỏ lệnh mới được tách ra, nơi biến myvar không được định nghĩa.