Name: Phương pháp gradient descent, cách mạng lưới thần kinh học | Chương 2: Học sâu (Gradient descent, how neural networks learn | Deep Learning Chapter 2)
Uploaded: 2025-08-01T10:04:54.000Z
Duration: 20 min 33 s
Description: Thousands of YouTube videos with English-Chinese subtitles! Now you can learn to understand native speakers, expand your vocabulary, and improve your pronunciation...

Last video I laid out the structure of a neural network.

Trong video trước, tôi đã trình bày cấu trúc của một mạng thần kinh.

I'll give a quick recap here just so that it's fresh in our minds and then I have two main goals for this video.

Tôi sẽ tóm tắt nhanh ở đây để mọi người nhớ lại và sau đó tôi có hai mục tiêu chính cho video này.

The first is to introduce the idea of gradient descent which underlies not only how neural networks learn but how a lot of other machine learning works as well.

Đầu tiên là giới thiệu khái niệm gradient descent, khái niệm này không chỉ là nền tảng cho cách mạng thần kinh học học tập mà còn là cơ sở cho nhiều phương pháp học máy khác.

Then after that we're gonna dig in a little more to how this particular network performs and what those hidden layers of neurons end up actually looking for.

Sau đó, chúng ta sẽ đi sâu hơn vào cách mạng lưới này hoạt động và những lớp neuron ẩn bên trong thực sự tìm kiếm điều gì.

As a reminder our goal here is the classic example of handwritten digit recognition, the hello world of neural networks.

Như một lời nhắc nhở, mục tiêu của chúng ta ở đây là ví dụ điển hình về nhận dạng chữ số viết tay, tương đương với "Hello World" trong lĩnh vực mạng nơ-ron.

These digits are rendered on a 28 by 28 pixel grid, each pixel with some grayscale value between 0 and 1.

Các chữ số này được hiển thị trên một lưới 28 × 28 pixel, mỗi pixel có giá trị xám từ 0 đến 1.

Those are what determine the activations of 784 neurons in the input layer of the network.

Đó là những yếu tố quyết định sự kích hoạt của 784 nơ-ron trong lớp đầu vào của mạng thần kinh.

And then the activation for each neuron in the layers is based on a weighted sum of all the activations in the previous layer plus some special number called a bias.

Và sau đó, quá trình kích hoạt cho mỗi nơ-ron trong các lớp được dựa trên tổng có trọng số của tất cả các giá trị kích hoạt trong lớp trước đó cộng với một số đặc biệt gọi là hằng số dịch (bias).

Then you compose that sum with some other function like the sigmoid squishification or a ReLU the way that I walked through last video.

Sau đó, bạn kết hợp tổng đó với một hàm khác như hàm sigmoid squishification hoặc hàm ReLU theo cách mà tôi đã hướng dẫn trong video trước.

In total given the somewhat arbitrary choice of two hidden layers here with 16 neurons each the network has about 13,000 weights and biases that we can adjust and it's these values that determine what exactly the network you know actually does.

Tổng cộng, với sự lựa chọn tương đối tùy ý của hai lớp ẩn ở đây, mỗi lớp có 16 nơ-ron, mạng thần kinh có khoảng 13.000 trọng số và hằng số dịch chuyển mà chúng ta có thể điều chỉnh. Chính các giá trị này quyết định chính xác mạng thần kinh thực sự làm gì.

Then what we mean when we say that this network classifies a given digit is that the brightest of those 10 neurons in the final layer corresponds to that digit.

Khi chúng ta nói rằng mạng này phân loại một chữ số cho trước, điều đó có nghĩa là neuron sáng nhất trong số 10 neuron ở lớp cuối cùng tương ứng với chữ số đó.

And remember the motivation that we had in mind here for the layered structure was that maybe the second layer could pick up on the edges and the third layer might pick up on patterns like loops and lines and the last one could just piece together those patterns to recognize digits.

Và hãy nhớ rằng động lực mà chúng ta đã đặt ra cho cấu trúc phân lớp ở đây là có thể lớp thứ hai sẽ phát hiện các cạnh, lớp thứ ba có thể phát hiện các mẫu như vòng lặp và đường thẳng, và lớp cuối cùng sẽ ghép các mẫu đó lại với nhau để nhận diện các chữ 

Vậy là chúng ta đã tìm hiểu cách mạng lưới học hỏi.

What we want is an algorithm where you can show this network a whole bunch of training data which comes in the form of a bunch of different images of handwritten digits along with labels for what they're supposed to be and it'll adjust those 13,000 weights and biases so as to improve its performance on the training data.

Điều chúng ta mong muốn là một thuật toán cho phép bạn cung cấp cho mạng thần kinh này một lượng lớn dữ liệu đào tạo dưới dạng nhiều hình ảnh khác nhau của các chữ số viết tay kèm theo nhãn mô tả chúng là gì. Thuật toán sẽ điều chỉnh 13.000 trọng số và độ

Hopefully this layered structure will mean that what it learns generalizes to images beyond that training data.

Hy vọng rằng cấu trúc phân lớp này sẽ giúp mô hình có khả năng tổng quát hóa kiến thức đã học sang các hình ảnh ngoài tập dữ liệu đào tạo.

And the way we test that is that after you train the network you show it more labeled data that it's never seen before and you see how accurately it classifies those new images.

Và cách chúng ta kiểm tra điều đó là sau khi huấn luyện mạng thần kinh, chúng ta cho nó xem thêm dữ liệu có nhãn mà nó chưa từng gặp trước đây và xem mức độ chính xác mà nó phân loại các hình ảnh mới đó.

Fortunately for us and what makes this such a common example to start with is that the good people behind the MNIST database have put together a collection of tens of thousands of handwritten digit images each one labeled with the numbers that they're supposed to be.

May mắn cho chúng ta và điều này khiến MNIST trở thành một ví dụ phổ biến để bắt đầu là những người đứng sau cơ sở dữ liệu MNIST đã thu thập và sắp xếp một bộ sưu tập gồm hàng chục nghìn hình ảnh chữ số viết tay, mỗi hình ảnh đều được gắn nhãn với số mà n

And as provocative as it is to describe a machine as learning, once you actually see how it works it feels a lot less like some crazy sci-fi premise and a lot more like, well, a calculus exercise.

Và mặc dù việc mô tả một máy móc là "học" có thể gây tranh cãi, nhưng khi bạn thực sự hiểu cách nó hoạt động, nó không còn giống như một ý tưởng khoa học viễn tưởng điên rồ nữa, mà giống như, ừm, một bài tập giải tích.

I mean basically it comes down to finding the minimum of a certain function.

Tóm lại, điều này cơ bản là tìm giá trị nhỏ nhất của một hàm số nhất định.

Remember conceptually we're thinking of each neuron as being connected to all of the neurons in the previous layer and the weights in the weighted sum defining its activation are kind of like the strengths of those connections.

Hãy nhớ rằng về mặt khái niệm, chúng ta đang xem mỗi neuron như được kết nối với tất cả các neuron trong lớp trước đó, và các trọng số trong tổng có trọng số xác định mức độ kích hoạt của nó giống như độ mạnh của các kết nối đó.

And the bias is some indication of whether that neuron tends to be active or inactive.

Và sự thiên lệch là một chỉ báo cho thấy neuron đó có xu hướng hoạt động hay không hoạt động.

And to start things off we're just going to initialize all of those weights and biases totally randomly.

Để bắt đầu, chúng ta sẽ khởi tạo tất cả các trọng số và độ lệch một cách hoàn toàn ngẫu nhiên.

Needless to say this network is going to perform pretty horribly on a given training example since it's just doing something random.

Không cần phải nói, mạng này sẽ hoạt động rất kém trên một ví dụ đào tạo cụ thể vì nó chỉ đang thực hiện các thao tác ngẫu nhiên.

For example you feed in this image of a 3 and the output layer just looks like a mess.

Ví dụ, bạn nhập hình ảnh này của số 3 và lớp đầu ra trông như một mớ hỗn độn.

So what you do is you define a cost function, a way of telling the computer, no, bad computer, that output should have activations which are 0 for most neurons but 1 for this neuron.

Vậy, điều bạn cần làm là định nghĩa một hàm chi phí, một cách để nói với máy tính rằng: "Không, máy tính xấu, đầu ra phải có các giá trị kích hoạt là 0 cho hầu hết các nơ-ron nhưng là 1 cho nơ-ron này."

Điều bạn đã cho tôi là rác rưởi.

To say that a little more mathematically what you do is add up the squares of the differences between each of those trash output activations and the value that you want them to have.

Để diễn đạt một cách toán học hơn, những gì bạn làm là cộng các bình phương của sự chênh lệch giữa mỗi giá trị kích hoạt đầu ra rác và giá trị mà bạn muốn chúng có.

And this is what we'll call the cost of a single training example.

Và đây là chi phí của một ví dụ đào tạo.

Notice this sum is small when the network confidently classifies the image correctly but it's large when the network seems like it doesn't really know what it's doing.

Lưu ý rằng giá trị này nhỏ khi mạng thần kinh phân loại hình ảnh chính xác một cách tự tin, nhưng nó lớn khi mạng thần kinh dường như không thực sự biết mình đang làm gì.

So then what you do is consider the average cost over all of the tens of thousands of training examples at your disposal.

Vậy thì điều bạn cần làm là tính toán chi phí trung bình trên tất cả hàng chục nghìn mẫu dữ liệu đào tạo mà bạn có sẵn.

This average cost is our measure for how lousy the network is and how bad the computer should feel.

Chi phí trung bình này là thước đo của chúng tôi để đánh giá chất lượng kém của mạng và mức độ tệ hại mà máy tính phải chịu.

Và đó là một vấn đề phức tạp.

Remember how the network itself was basically a function, one that takes in 784 numbers as inputs, the pixel values, and spits out 10 numbers as its output.

Hãy nhớ rằng mạng thần kinh ban đầu chỉ là một hàm, nhận vào 784 số (giá trị pixel) làm đầu vào và trả về 10 số làm đầu ra.

And in a sense it's parameterized by all these weights and biases.

Và về cơ bản, nó được xác định bởi tất cả các trọng số và độ lệch này.

Well the cost function is a layer of complexity on top of that.

Vâng, hàm chi phí là một lớp phức tạp thêm vào đó.

It takes as its input those 13,000 or so weights and biases and it spits out a single number describing how bad those weights and biases are.

Nó nhận vào đầu vào khoảng 13.000 trọng số và độ lệch, sau đó trả về một số duy nhất mô tả mức độ sai lệch của các trọng số và độ lệch đó.

And the way it's defined depends on the network's behavior over all the tens of thousands of pieces of training data.

Và cách nó được định nghĩa phụ thuộc vào hành vi của mạng trên toàn bộ hàng chục nghìn mẫu dữ liệu đào tạo.

Đó là rất nhiều điều để suy nghĩ.

But just telling the computer what a crappy job it's doing isn't very helpful.

Nhưng chỉ đơn giản là nói với máy tính rằng nó đang làm việc tồi tệ như thế nào cũng không giúp ích được gì.

You want to tell it how to change those weights and biases so that it gets better.

Bạn muốn chỉ cho nó cách thay đổi các trọng số và độ lệch để nó trở nên tốt hơn.

To make it easier rather than struggling to imagine a function with 13,000 inputs just imagine a simple function that has one number as an input and one number as an output.

Để đơn giản hóa thay vì cố gắng hình dung một hàm có 13.000 đầu vào, hãy tưởng tượng một hàm đơn giản có một số làm đầu vào và một số làm đầu ra.

How do you find an input that minimizes the value of this function?

Làm thế nào để tìm được giá trị đầu vào làm cho giá trị của hàm này nhỏ nhất?

Calculus students will know that you can sometimes figure out that minimum explicitly, but that's not always feasible for really complicated functions.

Học sinh học giải tích sẽ biết rằng đôi khi có thể tính được giá trị nhỏ nhất một cách rõ ràng, nhưng điều đó không phải lúc nào cũng khả thi đối với các hàm số phức tạp.

Certainly not in the 13,000 input version of this situation for our crazy complicated neural network cost function.

Chắc chắn không phải trong phiên bản có 13.000 đầu vào của tình huống này đối với hàm chi phí mạng nơ-ron phức tạp của chúng ta.

A more flexible tactic is to start at any old input and figure out which direction you should step to make that output lower.

Một chiến lược linh hoạt hơn là bắt đầu từ bất kỳ đầu vào nào và xác định hướng di chuyển để làm giảm giá trị đầu ra.

Specifically, if you can figure out the slope of the function where you are, then shift to the left if that slope is positive, and shift the input to the right if that slope is negative.

Cụ thể, nếu bạn có thể xác định được độ dốc của hàm số tại vị trí hiện tại, thì dịch sang trái nếu độ dốc đó là dương, và dịch đầu vào sang phải nếu độ dốc đó là âm.

If you do this repeatedly, at each point checking the new slope and taking the appropriate step, you're going to approach some local minimum of the function.

Nếu bạn lặp lại quá trình này nhiều lần, tại mỗi điểm kiểm tra độ dốc mới và thực hiện bước phù hợp, bạn sẽ tiến gần đến một điểm cực tiểu cục bộ của hàm số.

And the image you might have in mind here is a ball rolling down a hill.

Và hình ảnh mà bạn có thể hình dung ở đây là một quả bóng lăn xuống đồi.

And notice, even for this really simplified single input function, there are many possible valleys that you might land in, depending on which random input you start at.

Và lưu ý, ngay cả đối với hàm đầu vào đơn giản này, vẫn có nhiều điểm thung lũng khác nhau mà bạn có thể rơi vào, tùy thuộc vào giá trị đầu vào ngẫu nhiên ban đầu.

And there's no guarantee that the local minimum you land in is going to be the smallest possible value of the cost function.

Và không có gì đảm bảo rằng điểm cực tiểu cục bộ mà bạn đạt được sẽ là giá trị nhỏ nhất có thể của hàm chi phí.

That's going to carry over to our neural network case as well.

Điều đó cũng sẽ áp dụng cho trường hợp mạng thần kinh của chúng ta.

And I also want you to notice how if you make your step sizes proportional to the slope, then when the slope is flattening out towards the minimum, your steps get smaller and smaller.

Và tôi cũng muốn bạn chú ý rằng nếu bạn điều chỉnh kích thước bước sao cho tỷ lệ thuận với độ dốc, thì khi độ dốc dần phẳng ra hướng về điểm cực tiểu, các bước của bạn sẽ ngày càng nhỏ hơn.

And that kind of helps you from overshooting.

Và điều đó giúp bạn tránh vượt quá giới hạn.

Bumping up the complexity a bit, imagine instead a function with two inputs and one output.

Tăng độ phức tạp lên một chút, hãy tưởng tượng thay vào đó là một hàm có hai đầu vào và một đầu ra.

You might think of the input space as the xy-plane, and the cost function as being graphed as a surface above it.

Bạn có thể hình dung không gian đầu vào như mặt phẳng xy, và hàm chi phí được vẽ dưới dạng một bề mặt nằm trên nó.

Now instead of asking about the slope of the function, you have to ask which direction should you step in this input space so as to decrease the output of the function most quickly.

Bây giờ thay vì hỏi về độ dốc của hàm số, bạn phải xác định hướng nào cần di chuyển trong không gian đầu vào để làm giảm giá trị đầu ra của hàm số một cách nhanh nhất.

In other words, what's the downhill direction?

Nói cách khác, hướng xuống dốc là gì?

And again, it's helpful to think of a ball rolling down that hill.

Và một lần nữa, việc hình dung một quả bóng lăn xuống đồi sẽ rất hữu ích.

Those of you familiar with multivariable calculus will know that the gradient of a function gives you the direction of steepest ascent.

Những ai quen thuộc với giải tích đa biến sẽ biết rằng đạo hàm của một hàm số cho biết hướng tăng dốc nhất của hàm số đó.

Basically, which direction should you step to increase the function most quickly?

Nói chung, bạn nên bước theo hướng nào để tăng chức năng nhanh nhất?

Naturally enough, taking the negative of that gradient gives you the direction to step that decreases the function most quickly.

Tất nhiên, lấy giá trị âm của gradient đó sẽ cho bạn hướng di chuyển làm giảm hàm số nhanh nhất.

And even more than that, the length of this gradient vector is actually an indication for just how that steepest slope is.

Và hơn thế nữa, độ dài của vectơ gradient này thực sự là một chỉ số cho thấy độ dốc của đường dốc nhất là bao nhiêu.

Now if you're unfamiliar with multivariable calculus and you want to learn more, check out some of the work that I did for Khan Academy on the topic.

Nếu bạn chưa quen với giải tích đa biến và muốn tìm hiểu thêm, hãy tham khảo một số bài giảng mà tôi đã thực hiện cho Khan Academy về chủ đề này.

Honestly though, all that matters for you and me right now is that in principle there exists a way to compute this vector.

Thành thật mà nói, điều quan trọng nhất đối với bạn và tôi lúc này là về mặt nguyên tắc, có một cách để tính toán vector này.

This vector that tells you what the downhill direction is and how steep it is.

Đây là vectơ cho biết hướng dốc xuống và độ dốc của nó.

You'll be okay if that's all you know and you're not rock-solid on the details.

Bạn sẽ ổn nếu đó là tất cả những gì bạn biết và bạn không nắm vững chi tiết.

Because if you can get that, the algorithm for minimizing the function is to compute this gradient direction, then take a small step downhill, and just repeat that over and over.

Bởi vì nếu bạn có thể tính được điều đó, thuật toán để tối thiểu hóa hàm số là tính hướng gradient, sau đó thực hiện một bước nhỏ theo hướng xuống dốc, và lặp lại quá trình đó liên tục.

It's the same basic idea for a function that has 13,000 inputs instead of two inputs.

Đó là ý tưởng cơ bản tương tự cho một hàm có 13.000 đầu vào thay vì hai đầu vào.

Imagine organizing all 13,000 weights and biases of our network into a giant column vector.

Hãy tưởng tượng việc sắp xếp tất cả 13.000 trọng số và độ lệch của mạng lưới thành một vectơ cột khổng lồ.

The negative gradient of the cost function is just a vector.

Độ dốc âm của hàm chi phí chỉ là một vectơ.

It's some direction inside this insanely huge input space that tells you which nudges to all of those numbers is going to cause the most rapid decrease to the cost function.

Đó là một hướng dẫn bên trong không gian đầu vào khổng lồ này cho biết những điều chỉnh nào đối với tất cả các số liệu đó sẽ gây ra sự giảm nhanh nhất cho hàm mục tiêu.

And of course with our specially designed cost function, changing the weights and biases to decrease it means making the output of the network on each piece of training data look less like a random array of 10 values, and more like an actual decision that we want it to make.

Và tất nhiên, với hàm chi phí được thiết kế đặc biệt của chúng tôi, việc điều chỉnh trọng số và độ lệch để giảm hàm chi phí có nghĩa là làm cho đầu ra của mạng trên mỗi mẫu dữ liệu huấn luyện trông ít giống một mảng ngẫu nhiên của 10 giá trị hơn, và giống

It's important to remember this cost function involves an average over all of the training data, so if you minimize it, it means it's a better performance on all of those samples.

Điều quan trọng cần nhớ là hàm chi phí này tính trung bình trên toàn bộ dữ liệu đào tạo, vì vậy nếu bạn tối thiểu hóa nó, điều đó có nghĩa là mô hình có hiệu suất tốt hơn trên tất cả các mẫu đó.

The algorithm for computing this gradient efficiently, which is effectively the heart of how a neural network learns, is called backpropagation, and it's what I'm going to be talking about next video.

Thuật toán tính toán gradient này một cách hiệu quả, vốn là trái tim của quá trình học tập trong mạng nơ-ron, được gọi là backpropagation, và đó chính là nội dung tôi sẽ trình bày trong video tiếp theo.

There, I really want to take the time to walk through what exactly happens to each weight and each bias for a given piece of training data, trying to give an intuitive feel for what's happening beyond the pile of relevant calculus and formulas.

Ở đây, tôi thực sự muốn dành thời gian để phân tích chi tiết từng bước diễn ra với mỗi trọng số và mỗi hệ số điều chỉnh cho một mẫu dữ liệu đào tạo cụ thể, nhằm giúp mọi người hiểu một cách trực quan những gì đang xảy ra bên ngoài đống công thức và phép t

Right here, right now, the main thing I want you to know, independent of implementation details, is that what we mean when we talk about a network learning is that it's just minimizing a cost function.

Ngay tại đây, ngay bây giờ, điều quan trọng nhất tôi muốn bạn hiểu, bất kể chi tiết thực hiện, là khi chúng ta nói về học máy trong mạng, điều chúng ta muốn nói là nó chỉ đơn giản là tối thiểu hóa một hàm chi phí.

And notice, one consequence of that is that it's important for this cost function to have a nice smooth output, so that we can find a local minimum by taking little steps downhill.

Và lưu ý, một hậu quả của điều đó là hàm chi phí này cần có đầu ra mịn màng, để chúng ta có thể tìm được điểm cực tiểu cục bộ bằng cách thực hiện các bước nhỏ theo hướng dốc xuống.

This is why, by the way, artificial neurons have continuously ranging activations, rather than simply being active or inactive in a binary way, the way that biological neurons are.

Đó là lý do tại sao, nói đến chuyện này, các neuron nhân tạo có mức độ kích hoạt liên tục thay đổi, thay vì chỉ đơn giản là hoạt động hoặc không hoạt động theo cách nhị phân, như các neuron sinh học.

This process of repeatedly nudging an input of a function by some multiple of the negative gradient is called gradient descent.

Quá trình liên tục điều chỉnh đầu vào của một hàm bằng một bội số của gradient âm được gọi là gradient descent.

It's a way to converge towards some local minimum of a cost function, basically a valley in this graph.

Đây là một phương pháp để tiến tới một điểm cực tiểu cục bộ của hàm chi phí, về cơ bản là một thung lũng trong đồ thị này.

I'm still showing the picture of a function with two inputs, of course, because nudges in a 13,000 dimensional input space are a little hard to wrap your mind around, but there is actually a nice non-spatial way to think about this.

Tôi vẫn đang hiển thị hình ảnh của một hàm có hai đầu vào, tất nhiên, vì các tác động nhỏ trong không gian đầu vào có 13.000 chiều là khá khó để hình dung, nhưng thực ra có một cách suy nghĩ không gian không gian rất hay để hiểu điều này.

Each component of the negative gradient tells us two things.

Mỗi thành phần của gradient âm cho chúng ta biết hai điều.

The sign, of course, tells us whether the corresponding component of the input vector should be nudged up or down.

Dấu hiệu, tất nhiên, cho biết thành phần tương ứng của vectơ đầu vào cần được điều chỉnh tăng hay giảm.

But importantly, the relative magnitudes of all these components kind of tells you which changes matter more.

Nhưng điều quan trọng là, mức độ tương đối của tất cả các thành phần này cho thấy những thay đổi nào quan trọng hơn.

You see, in our network, an adjustment to one of the weights might have a much greater impact on the cost function than the adjustment to some other weight.

Bạn thấy đấy, trong mạng của chúng ta, việc điều chỉnh một trong các trọng số có thể có tác động lớn hơn nhiều đến hàm chi phí so với việc điều chỉnh một trọng số khác.

Some of these connections just matter more for our training data.

Một số kết nối trong số này quan trọng hơn đối với dữ liệu đào tạo của chúng ta.

So a way that you can think about this gradient vector of our mind-warpingly massive cost function is that it encodes the relative importance of each weight and bias.

Vậy, một cách để bạn có thể hình dung về vector gradient của hàm chi phí khổng lồ đến khó tin này là nó mã hóa mức độ quan trọng tương đối của từng trọng số và thành phần thiên lệch.

That is, which of these changes is going to carry the most bang for your buck?

Tức là, trong số những thay đổi này, thay đổi nào sẽ mang lại hiệu quả cao nhất với chi phí đầu tư thấp nhất?

This really is just another way of thinking about direction.

Đây thực sự chỉ là một cách khác để suy nghĩ về hướng đi.

To take a simpler example, if you have some function with two variables as an input, and you compute that its gradient at some particular point comes out as 3, 1, then on the one hand you can interpret that as saying that when you're standing at that input, moving along this direction increases the function most quickly.

Để lấy một ví dụ đơn giản hơn, giả sử bạn có một hàm số có hai biến đầu vào, và bạn tính toán rằng đạo hàm của hàm số đó tại một điểm cụ thể là 3, 1. Trong trường hợp này, bạn có thể hiểu rằng khi đứng tại điểm đầu vào đó và di chuyển theo hướng đó, giá t

That when you graph the function above the plane of input points, that vector is what's giving you the straight uphill direction.

Khi bạn vẽ đồ thị của hàm số trên mặt phẳng chứa các điểm đầu vào, vectơ đó chính là hướng thẳng đứng đi lên.

But another way to read that is to say that changes to this first variable have three times the importance as changes to the second variable.

Nhưng cách hiểu khác là sự thay đổi của biến đầu tiên có tầm quan trọng gấp ba lần so với sự thay đổi của biến thứ hai.

That at least in the neighborhood of the relevant input, nudging the x-value carries a lot more bang for your buck.

Ít nhất là trong khu vực xung quanh đầu vào liên quan, việc điều chỉnh giá trị x mang lại hiệu quả cao hơn nhiều so với chi phí bỏ ra.

Alright, let's zoom out and sum up where we are so far.

Được rồi, hãy zoom ra và tóm tắt lại những gì chúng ta đã làm cho đến nay.

The network itself is this function with 784 inputs and 10 outputs, defined in terms of all of these weighted sums.

Mạng thần kinh này chính là hàm số có 784 đầu vào và 10 đầu ra, được định nghĩa thông qua tổng của tất cả các tích trọng số này.

The cost function is a layer of complexity on top of that.

Hàm chi phí là một lớp phức tạp thêm trên đó.

It takes the 13,000 weights and biases as inputs and spits out a single measure of lousiness based on the training examples.

Nó nhận 13.000 trọng số và độ lệch làm đầu vào và đưa ra một chỉ số duy nhất đánh giá mức độ kém hiệu quả dựa trên các ví dụ huấn luyện.

And the gradient of the cost function is one more layer of complexity still.

Và đạo hàm của hàm chi phí là một lớp phức tạp nữa.

It tells us what nudges to all of these weights and biases cause the fastest change to the value of the cost function, which you might interpret as saying which changes to which weights matter the most.

Nó cho chúng ta biết những tác động nhỏ nào đối với tất cả các trọng số và thành phần thiên vị gây ra sự thay đổi nhanh nhất trong giá trị của hàm chi phí, điều này có thể được hiểu là những thay đổi nào đối với các trọng số nào là quan trọng nhất.

So, when you initialize the network with random weights and biases and adjust them many times based on this gradient descent process, how well does it actually perform on images that it's never seen before?

Vậy, khi bạn khởi tạo mạng thần kinh với các trọng số và độ lệch ngẫu nhiên, sau đó điều chỉnh chúng nhiều lần dựa trên quá trình học theo gradient, hiệu suất của mạng này thực sự như thế nào khi xử lý các hình ảnh mà nó chưa từng gặp trước đây?

Subtitles ListPlay Video

Phương pháp gradient descent, cách mạng lưới thần kinh học | Chương 2: Học sâu (Gradient descent, how neural networks learn | Deep Learning Chapter 2)

relevant

struggle

recognize

figure