Name: Những đột phá lớn nhất trong khoa học máy tính năm 2024 (2024's Biggest Breakthroughs in Computer Science)
Uploaded: 2025-07-28T20:10:37.000Z
Duration: 10 min 47 s
Description: Thousands of YouTube videos with English-Chinese subtitles! Now you can learn to understand native speakers, expand your vocabulary, and improve your pronunciation...

Since ChatGPT launched in 2022, large language models have progressed at a rapid pace, often developing unpredictable abilities.

Kể từ khi ChatGPT ra mắt vào năm 2022, các mô hình ngôn ngữ lớn đã phát triển với tốc độ chóng mặt, thường xuyên phát triển những khả năng không thể dự đoán trước.

When GPT-4 came out, it clearly felt like the chatbot has some level of understanding.

Khi GPT-4 ra mắt, rõ ràng có cảm giác rằng chatbot đã đạt được một mức độ hiểu biết nhất định.

But do these abilities reflect actual understanding?

Nhưng liệu những khả năng này có phản ánh sự hiểu biết thực sự không?

Or are the models simply repeating their training data, like so-called stochastic parrots?

Hay các mô hình chỉ đơn giản là lặp lại dữ liệu đào tạo của chúng, giống như những con vẹt ngẫu nhiên được gọi là "stochastic parrots"?

Recently, researchers from Princeton and Google DeepMind created a mathematically provable argument for how language models develop so many skills.

Gần đây, các nhà nghiên cứu từ Princeton và Google DeepMind đã đưa ra một lập luận có thể chứng minh về mặt toán học giải thích cách các mô hình ngôn ngữ phát triển được nhiều kỹ năng như vậy.

Và thiết kế một phương pháp để kiểm tra chúng.

The results suggest that the largest models develop new skills in a way that hints at understanding.

Kết quả cho thấy rằng các mô hình lớn nhất phát triển các kỹ năng mới theo cách gợi ý về sự hiểu biết.

Language models are basically trained to solve next word prediction tasks.

Các mô hình ngôn ngữ cơ bản được đào tạo để giải quyết các tác vụ dự đoán từ tiếp theo.

So they are given a lot of text and at every step it has some idea of what the next word is.

Vì vậy, họ được cung cấp một lượng lớn văn bản và ở mỗi bước, hệ thống có một số dự đoán về từ tiếp theo.

And that idea is expressed in terms of a probability.

Và ý tưởng đó được diễn đạt dưới dạng xác suất.

And if the next word didn't get high enough probability, there's a slight adjustment that's done.

Và nếu từ tiếp theo không đạt được xác suất đủ cao, sẽ có một điều chỉnh nhỏ được thực hiện.

And after many, many, many trillions of such small adjustments, it learns to predict the next word.

Và sau hàng nghìn tỷ, hàng nghìn tỷ, hàng nghìn tỷ lần điều chỉnh nhỏ như vậy, nó học cách dự đoán từ tiếp theo.

Over time, researchers have observed neural scaling laws, an empirical relationship between the performance of language models and the data used to train them.

Theo thời gian, các nhà nghiên cứu đã quan sát thấy các quy luật mở rộng thần kinh, một mối quan hệ thực nghiệm giữa hiệu suất của các mô hình ngôn ngữ và dữ liệu được sử dụng để đào tạo chúng.

As models improve, they minimize training loss or make fewer errors.

Khi các mô hình được cải thiện, chúng giảm thiểu tổn thất đào tạo hoặc giảm thiểu số lỗi.

This sudden increase in performance produces new behaviors, a phenomenon called emergence.

Sự gia tăng đột ngột về hiệu suất tạo ra các hành vi mới, một hiện tượng được gọi là sự xuất hiện.

There's no scientific explanation as to why that's happening.

Không có giải thích khoa học nào cho hiện tượng đó.

So this phenomenon is not well understood.

Vì vậy, hiện tượng này vẫn chưa được hiểu rõ.

The researchers wondered if GPT-4 sudden improvements could be explained by emergence.

Các nhà nghiên cứu tự hỏi liệu sự cải thiện đột ngột của GPT-4 có thể được giải thích bằng hiện tượng xuất hiện hay không.

Perhaps the model had learned compositional generalization, the ability to combine language skills.

Có thể mô hình đã học được khả năng tổng quát hóa cấu trúc, tức là khả năng kết hợp các kỹ năng ngôn ngữ.

There was no mathematical framework to think about that.

Không có khung lý thuyết toán học nào để suy nghĩ về điều đó.

And so we had to come up with a mathematical framework.

Và vì vậy, chúng tôi đã phải xây dựng một khung toán học.

The researchers found their first hint by considering neural scaling laws.

Các nhà nghiên cứu đã tìm thấy manh mối đầu tiên bằng cách xem xét các quy luật quy mô thần kinh.

So those scaling laws already suggest that there's some statistical phenomenon going on.

Vậy những quy luật quy mô đó đã gợi ý rằng có một hiện tượng thống kê nào đó đang diễn ra.

So random graphs have a long history in terms of thinking about statistical phenomena.

Đồ thị ngẫu nhiên có một lịch sử lâu đời trong việc nghiên cứu các hiện tượng thống kê.

Random graphs are made of nodes which are connected by randomly generated edges.

Đồ thị ngẫu nhiên được tạo thành từ các đỉnh được kết nối bằng các cạnh được sinh ngẫu nhiên.

The researchers built their mathematical model with bipartite graphs, which contain two types of nodes, one representing chunks of text and the other language skills.

Các nhà nghiên cứu đã xây dựng mô hình toán học của mình bằng đồ thị lưỡng phân, bao gồm hai loại nút: một loại đại diện cho các đoạn văn bản và loại còn lại đại diện cho các kỹ năng ngôn ngữ.

The edges of the graph, the connections correspond to which skill is needed to understand that piece of text.

Các cạnh của đồ thị tương ứng với các kỹ năng cần thiết để hiểu đoạn văn bản đó.

Now, the researchers needed to connect these bipartite graphs to actual language models.

Bây giờ, các nhà nghiên cứu cần kết nối các đồ thị lưỡng phân này với các mô hình ngôn ngữ thực tế.

Không có quyền truy cập vào dữ liệu đào tạo.

So if I'm evaluating that language model on my evaluation set, how do I know that the language model hasn't seen that data into the training corpus?

Vậy nếu tôi đang đánh giá mô hình ngôn ngữ trên tập dữ liệu đánh giá, làm thế nào để tôi biết rằng mô hình ngôn ngữ đó chưa từng tiếp xúc với dữ liệu trong tập dữ liệu đào tạo?

There was one crucial piece of information that the researchers could access.

Có một thông tin quan trọng mà các nhà nghiên cứu có thể truy cập.

Using that scaling law, we made a prediction as models get better at predicting the next word, that they will be able to combine more of the underlying skills.

Sử dụng quy luật quy mô đó, chúng tôi đã đưa ra dự đoán rằng khi các mô hình trở nên tốt hơn trong việc dự đoán từ tiếp theo, chúng sẽ có khả năng kết hợp nhiều kỹ năng cơ bản hơn.

According to random graph theory, every combination arises from a random sampling of possible skills.

Theo lý thuyết đồ thị ngẫu nhiên, mọi sự kết hợp đều phát sinh từ việc lấy mẫu ngẫu nhiên các kỹ năng có thể có.

If there are 100 skill nodes in the graph and you want to combine four skills, then there are about 100 to the fourth power or 100 million ways to combine them.

Nếu trong đồ thị có 100 nút kỹ năng và bạn muốn kết hợp bốn kỹ năng, thì có khoảng 100 lũy thừa bốn hoặc 100 triệu cách để kết hợp chúng.

The researchers developed a test called SkillMix to evaluate if large language models can generalize to combinations of skills they likely hadn't seen before.

Các nhà nghiên cứu đã phát triển một bài kiểm tra có tên SkillMix để đánh giá khả năng của các mô hình ngôn ngữ lớn trong việc áp dụng kiến thức vào các kết hợp kỹ năng mà chúng chưa từng gặp trước đây.

So the model is given a list of skills and a topic, and then it's supposed to create a piece of text on that topic using that list of skills.

Vậy mô hình được cung cấp một danh sách các kỹ năng và một chủ đề, sau đó nó phải tạo ra một đoạn văn bản về chủ đề đó bằng cách sử dụng danh sách kỹ năng đã cho.

For example, the researchers asked GPT-4 to generate a short text about sewing that exhibits spatial reasoning, self-serving bias and metaphor.

Ví dụ, các nhà nghiên cứu đã yêu cầu GPT-4 tạo ra một đoạn văn ngắn về may vá thể hiện khả năng suy luận không gian, thiên vị bản thân và ẩn dụ.

In the labyrinth of sewing, I am the needle navigating between the intricate weaves.

Trong mê cung của nghệ thuật may vá, tôi là cây kim len lỏi giữa những đường chỉ phức tạp.

Any errors are due to the faulty compass of low quality thread, not my skill.

Mọi lỗi đều do la bàn bị hỏng của sợi chỉ chất lượng kém, không phải do kỹ năng của tôi.

We showed in our mathematical framework that as we scale up, the model is able to learn these skills.

Chúng tôi đã chứng minh trong khung mô hình toán học của mình rằng khi mở rộng quy mô, mô hình có khả năng học được những kỹ năng này.

You would see this increase in compositional capability as you scale up the models.

Bạn sẽ nhận thấy sự cải thiện về khả năng tổng hợp khi mở rộng quy mô mô hình.

When given the SkillMix test, small language models struggled to combine just a couple of skills.

Khi được thực hiện bài kiểm tra SkillMix, các mô hình ngôn ngữ nhỏ gặp khó khăn trong việc kết hợp chỉ một vài kỹ năng.

Medium-sized models could combine two skills more comfortably, but the largest models, like GPT-4, could combine five or six skills.

Các mô hình trung bình có thể kết hợp hai kỹ năng một cách thoải mái hơn, nhưng các mô hình lớn nhất, như GPT-4, có thể kết hợp năm hoặc sáu kỹ năng.

Because these models couldn't have seen all possible combinations of skills, the researchers argue that it must have developed compositional generalization through emergence.

Vì các mô hình này không thể dự đoán được tất cả các kết hợp khả dĩ của kỹ năng, các nhà nghiên cứu cho rằng chúng phải đã phát triển khả năng tổng quát hóa cấu trúc thông qua quá trình tự phát triển.

Once the model has learned these language skills, a model can generalize to random, unseen compositions of these skills.

Sau khi mô hình đã học được các kỹ năng ngôn ngữ này, mô hình có thể áp dụng các kỹ năng đó vào các tổ hợp ngẫu nhiên, chưa từng gặp trước đây của các kỹ năng đó.

What they showed was that their mathematical model had this property of compositionality, and that by itself gives this ability to extrapolate and compose new combinations from existing pieces.

Điều họ đã chứng minh là mô hình toán học của họ có tính chất tổng hợp, và chính tính chất này cho phép suy luận và tạo ra các kết hợp mới từ các thành phần đã có.

And that is really the hallmark of novelty and the hallmark of creativity.

Và đó chính là dấu hiệu đặc trưng của sự mới mẻ và dấu hiệu đặc trưng của sự sáng tạo.

And so the argument is that large language models can move beyond being stochastic parents.

Và như vậy, lập luận cho rằng các mô hình ngôn ngữ lớn có thể vượt qua vai trò của các "bố mẹ ngẫu nhiên".

The researchers are already working to extend the SkillMix evaluation to other domains as part of a larger effort to understand the capabilities of large language models.

Các nhà nghiên cứu hiện đang tiến hành mở rộng đánh giá SkillMix sang các lĩnh vực khác như một phần của nỗ lực lớn hơn nhằm hiểu rõ hơn về khả năng của các mô hình ngôn ngữ lớn.

Can we create an ecosystem of SkillMix, which is not just valid for language skills, but mathematical skills as well as coding skills?

Chúng ta có thể tạo ra một hệ sinh thái SkillMix, không chỉ áp dụng cho kỹ năng ngôn ngữ mà còn cho kỹ năng toán học và kỹ năng lập trình?

So SkillMix was one example where we made a prediction by just mathematical thinking, and that was correct.

Vì vậy, SkillMix là một ví dụ điển hình về việc chúng tôi đưa ra dự đoán chỉ dựa trên suy luận toán học, và kết quả đó là chính xác.

But there are all kinds of other phenomena that we probably are not aware of, and we need some understanding of that.

Nhưng còn rất nhiều hiện tượng khác mà chúng ta có thể chưa nhận thức được, và chúng ta cần có sự hiểu biết về những hiện tượng đó.

Quantum systems are some of the most complex structures in nature.

Hệ thống lượng tử là một trong những cấu trúc phức tạp nhất trong tự nhiên.

To model them, you need to compute a Hamiltonian, a super equation that describes how particles interact locally to produce the system's possible physical properties.

Để mô phỏng chúng, bạn cần tính toán một hàm Hamilton, một phương trình siêu mô tả cách các hạt tương tác cục bộ để tạo ra các tính chất vật lý có thể có của hệ thống.

But entanglement spreads information across the system, correlating particles that are far apart.

Nhưng sự đan xen lan truyền thông tin khắp hệ thống, liên kết các hạt cách xa nhau.

This makes computing Hamiltonians exceptionally difficult.

Điều này khiến việc tính toán hàm Hamilton trở nên đặc biệt khó khăn.

Bạn có một hệ thống khổng lồ gồm các nguyên tử.

It's a very big problem to learn all those parameters.

Việc học tất cả các thông số đó là một vấn đề rất lớn.

You could never hope to write down the Hamiltonian.

Bạn không bao giờ có thể hy vọng viết ra hàm Hamilton.

If you ever even tried to write it down, the game would be over and you wouldn't have an efficient algorithm.

Nếu bạn từng thử viết ra, trò chơi sẽ kết thúc và bạn sẽ không có một thuật toán hiệu quả.

People were actually trying to prove that efficient algorithms were impossible in this regime.

Người ta thực sự đang cố gắng chứng minh rằng các thuật toán hiệu quả là không thể trong chế độ này.

But a team of computer scientists from MIT and UC Berkeley cracked the problem.

Nhưng một nhóm các nhà khoa học máy tính từ MIT và Đại học California, Berkeley đã giải quyết được vấn đề này.

They created an algorithm that can produce the Hamiltonian of a quantum system at any constant temperature.

Họ đã tạo ra một thuật toán có thể tính toán hàm Hamilton của một hệ lượng tử ở bất kỳ nhiệt độ hằng số nào.

The results could have big implications for the future of quantum computing and understanding exotic quantum behavior.

Kết quả này có thể có tác động lớn đến tương lai của máy tính lượng tử và việc hiểu rõ các hiện tượng lượng tử đặc biệt.

So when we have systems that behave and do interesting things like superfluidity and superconductivity, you want to understand the building blocks and how they fit together to create those properties that you want to harness for technological reasons.

Vậy nên, khi chúng ta có các hệ thống có hành vi và thực hiện những hiện tượng thú vị như siêu lỏng và siêu dẫn, chúng ta muốn hiểu các thành phần cơ bản và cách chúng kết hợp với nhau để tạo ra những tính chất mà chúng ta muốn khai thác cho mục đích công

So we're trying to learn this object, which is the Hamiltonian.

Vậy chúng ta đang cố gắng tìm hiểu đối tượng này, đó là hàm Hamilton.

It's defined by a small set of parameters.

Nó được xác định bởi một tập hợp nhỏ các thông số.

And what we're trying to do is learn these parameters.

Và điều chúng tôi đang cố gắng làm là xác định các thông số này.

What we have access to is these experimental measurements of the quantum system.

Những gì chúng ta có thể tiếp cận là các phép đo thực nghiệm của hệ thống lượng tử.

So the question then becomes, can you learn a description of the system through experiments?

Vậy câu hỏi đặt ra là, liệu có thể học được mô tả của hệ thống thông qua các thí nghiệm không?

Previous efforts in Hamiltonian learning produced algorithms that could measure particles at high temperatures.

Các nỗ lực trước đây trong lĩnh vực học Hamilton đã phát triển các thuật toán có thể đo lường các hạt ở nhiệt độ cao.

But these systems are largely classical, so there's no entanglement between the particles.

Nhưng các hệ thống này chủ yếu là cổ điển, do đó không có sự đan xen giữa các hạt.

The MIT and Berkeley team set their sights on the low temperature quantum regimes.

Nhóm nghiên cứu của MIT và Berkeley đã tập trung vào các chế độ lượng tử ở nhiệt độ thấp.

I wanted to understand what kinds of strategies worked algorithmically on the classical side and what could be manifestations of those strategies on the quantum side.

Tôi muốn tìm hiểu những chiến lược nào hoạt động hiệu quả về mặt thuật toán trong lĩnh vực cổ điển và những biểu hiện của những chiến lược đó có thể xuất hiện như thế nào trong lĩnh vực lượng tử.

Once you look at the problem in the right way and you bring to bear these tools, it turns out that you can really make progress on these problems.

Khi bạn nhìn nhận vấn đề một cách đúng đắn và áp dụng các công cụ phù hợp, bạn sẽ nhận ra rằng có thể đạt được tiến bộ thực sự trong việc giải quyết những vấn đề này.

First, the team ported over a tool from classical machine learning called polynomial optimization.

Đầu tiên, nhóm đã chuyển đổi một công cụ từ học máy truyền thống sang tối ưu hóa đa thức.

This allowed them to approximate the measurements of their system as a family of polynomial equations.

Điều này cho phép họ xấp xỉ các phép đo của hệ thống của mình dưới dạng một hệ phương trình đa thức.

We were like, maybe we can write Hamiltonian learning as a polynomial optimization problem.

Chúng tôi nghĩ rằng có thể viết học Hamilton như một bài toán tối ưu hóa đa thức.

And if we manage to do this, maybe we can try to optimize this polynomial system efficiently.

Và nếu chúng ta có thể làm được điều này, có thể chúng ta sẽ thử tối ưu hóa hệ đa thức này một cách hiệu quả.

So all of a sudden, it's in a domain that's more familiar and you have a bunch of algorithmic tools at your disposal.

Vậy là đột nhiên, nó nằm trong một lĩnh vực quen thuộc hơn và bạn có sẵn một loạt công cụ thuật toán để sử dụng.

You can't solve polynomial systems, but what you can do is you can sort of solve a relaxation of them.

Bạn không thể giải hệ phương trình đa thức, nhưng điều bạn có thể làm là giải một dạng thư giãn của chúng.

We use something called the sum of squares relaxation to actually solve this polynomial system.

Chúng tôi sử dụng một phương pháp gọi là phương pháp thư giãn tổng bình phương để giải hệ phương trình đa thức này.

Starting with a challenging polynomial optimization problem, the team used the sum of squares method to relax its constraints.

Bắt đầu với một bài toán tối ưu hóa đa thức phức tạp, nhóm nghiên cứu đã sử dụng phương pháp tổng bình phương để nới lỏng các ràng buộc của bài toán.

This expanded the equations to a larger allowable set of solutions, effectively converting it from a hard problem to an easier one.

Điều này đã mở rộng các phương trình sang một tập hợp các giải pháp cho phép lớn hơn, effectively chuyển đổi nó từ một vấn đề khó thành một vấn đề dễ dàng hơn.

The real trick is to argue that when you've expanded the set of solutions, you can still find a good solution inside it.

Mánh khóe thực sự là lập luận rằng khi bạn đã mở rộng tập hợp các giải pháp, bạn vẫn có thể tìm thấy một giải pháp tốt bên trong nó.

You need a procedure to take that approximate relaxed solution and round it back into an actual solution to the problem you really cared about.

Bạn cần một quy trình để lấy giải pháp xấp xỉ đã được thư giãn đó và làm tròn nó trở lại thành một giải pháp thực sự cho vấn đề mà bạn thực sự quan tâm.

So that's really where the coolest parts of the proof happen.

Đó chính là nơi những phần hay nhất của chứng minh diễn ra.

The researchers proved that the sum of squares relaxation could solve their learning problem, resulting in the first efficient Hamiltonian algorithm in a low temperature regime.

Các nhà nghiên cứu đã chứng minh rằng phương pháp tổng bình phương thư giãn có thể giải quyết vấn đề học tập của họ, dẫn đến thuật toán Hamilton hiệu quả đầu tiên trong chế độ nhiệt độ thấp.

So we first make some set of measurements of the macroscopic properties of the system, and then we use these measurements to set up a system of polynomial equations.

Vậy trước tiên, chúng ta tiến hành đo đạc một số đại lượng vĩ mô của hệ thống, sau đó sử dụng các kết quả đo đạc này để thiết lập một hệ phương trình đa thức.

And then we solve the system of polynomial equations.

Sau đó, chúng ta giải hệ phương trình đa thức.

So the output is a description of the local interactions in the system.

Vậy kết quả đầu ra là mô tả các tương tác cục bộ trong hệ thống.

There are actually some very interesting learning problems that are at the heart of understanding quantum systems.

Thực tế, có một số vấn đề học tập rất thú vị nằm ở trung tâm của việc hiểu các hệ thống lượng tử.

And to me, that was the most exciting part was really a connection between two different worlds.

Và đối với tôi, phần thú vị nhất chính là sự kết nối giữa hai thế giới hoàn toàn khác biệt.

This combination of tools is really interesting and something I haven't seen before.

Sự kết hợp này giữa các công cụ thực sự rất thú vị và là điều tôi chưa từng thấy trước đây.

I'm hoping it's like a useful perspective with which to tackle other questions as well.

Tôi hy vọng đây là một góc nhìn hữu ích để áp dụng vào việc giải quyết các câu hỏi khác.

 I think we find ourselves at the start of this new bridge between theoretical computer science and quantum mechanics.

 Tôi nghĩ chúng ta đang đứng ở điểm khởi đầu của cây cầu mới nối giữa khoa học máy tính lý thuyết và cơ học lượng tử.