Name: Cách AI tự học cách nhìn [DINOv3] (How AI Taught Itself to See [DINOv3])
Uploaded: 2025-10-01T01:29:34.000Z
Duration: 15 min 57 s
Description: Thousands of YouTube videos with English-Chinese subtitles! Now you can learn to understand native speakers, expand your vocabulary, and improve your pronunciation...

When we look at images, we can easily recognize objects, semantics, and understand the 3D geometry of the world.

Khi chúng ta nhìn vào hình ảnh, chúng ta có thể dễ dàng nhận ra các đối tượng, ý nghĩa và hiểu được hình học 3D của thế giới.

Nhưng làm thế nào máy tính có thể làm được điều này?

In this video, we will explore how AI learned to see without label data.

Trong video này, chúng ta sẽ tìm hiểu cách AI học cách nhận diện mà không cần dữ liệu có nhãn.

For a computer, an image is just a grid of numbers.

Đối với máy tính, một hình ảnh chỉ là một lưới các con số.

To make sense of these numbers, AI needs to extract meaningful features from an image.

Để hiểu được những con số này, trí tuệ nhân tạo (AI) cần trích xuất các đặc trưng có ý nghĩa từ hình ảnh.

Good features help us identify which regions of the image are similar to the red cross, revealing semantic structures even in a complex cluttered scene.

Các đặc điểm tốt giúp chúng ta xác định những vùng nào trong hình ảnh tương tự như dấu thập đỏ, từ đó tiết lộ các cấu trúc ngữ nghĩa ngay cả trong một cảnh phức tạp và lộn xộn.

Let's look at a simple example to see why features are important.

Hãy xem một ví dụ đơn giản để hiểu tại sao các tính năng lại quan trọng.

Here we have data points from two groups, blue and orange.

Dưới đây là các điểm dữ liệu từ hai nhóm, xanh dương và cam.

In this space, building a linear classifier to separate the two groups is very hard.

Trong không gian này, việc xây dựng một mô hình phân loại tuyến tính để tách biệt hai nhóm là rất khó khăn.

No matter how we try, we can't find a good way to separate them.

Dù chúng ta cố gắng thế nào đi chăng nữa, chúng ta cũng không thể tìm ra cách nào tốt để tách chúng ra.

Now let's transform the data into radial coordinates.

Bây giờ chúng ta hãy chuyển đổi dữ liệu sang tọa độ cực.

By changing our perspective on the data, separating the two groups with a straight line becomes much easier.

Bằng cách thay đổi cách nhìn nhận về dữ liệu, việc tách hai nhóm bằng một đường thẳng trở nên dễ dàng hơn nhiều.

This example highlights the importance of having good feature representations.

Ví dụ này nhấn mạnh tầm quan trọng của việc có các biểu diễn tính năng tốt.

But how do we design an effective feature representation?

Nhưng làm thế nào để thiết kế một biểu diễn tính năng hiệu quả?

One way is to learn features by training a new network to solve tasks like classification.

Một cách là học các đặc trưng bằng cách huấn luyện một mạng thần kinh mới để giải quyết các tác vụ như phân loại.

On top of the extracted features, we place an output projection head, typically a linear layer or a multilayer perceptron, that predicts class scores.

Ngoài các đặc trưng đã trích xuất, chúng tôi đặt một đầu ra dự đoán, thường là một lớp tuyến tính hoặc một mạng nơ-ron đa lớp, để dự đoán điểm số lớp.

We then use a softmax layer to turn the scores into probabilities for each class.

Sau đó, chúng tôi sử dụng lớp softmax để chuyển đổi các điểm số thành xác suất cho từng lớp.

Nhãn thực sự là một vectơ one-hot.

We train the model to make its predicted probabilities match this label by minimizing cross-entropy loss.

Chúng tôi huấn luyện mô hình để làm cho xác suất dự đoán của nó khớp với nhãn này bằng cách tối thiểu hóa hàm mất mát cross-entropy.

This loss measures the difference between the predicted probability distributions from the softmax layer and the actual one-hot encoded label.

Mất mát này đo lường sự chênh lệch giữa phân phối xác suất dự đoán từ lớp softmax và nhãn mã hóa one-hot thực tế.

After training the model on a large label dataset, we can use its learned weights as a great starting point for new tasks.

Sau khi huấn luyện mô hình trên một tập dữ liệu có nhãn lớn, chúng ta có thể sử dụng các trọng số đã học được của mô hình làm điểm khởi đầu tuyệt vời cho các tác vụ mới.

This process is called transfer learning.

Quá trình này được gọi là học chuyển giao.

It allows us to fine-tune the model for a wide range of applications, such as fine-grained classification, object detection, or semantic segmentation.

Nó cho phép chúng ta tinh chỉnh mô hình cho nhiều ứng dụng khác nhau, chẳng hạn như phân loại chi tiết, phát hiện đối tượng hoặc phân đoạn ngữ nghĩa.

However, class labels are often too simple.

Tuy nhiên, nhãn lớp thường quá đơn giản.

They only tell us the main object in the image, like bear or cat.

Họ chỉ cho chúng ta biết đối tượng chính trong hình ảnh, như gấu hoặc mèo.

But they do not describe all the rich, fine-grained details inside the image.

Nhưng chúng không mô tả hết tất cả các chi tiết phong phú, tinh tế bên trong hình ảnh.

Natural language, like captions or descriptions, can give us much more information.

Ngôn ngữ tự nhiên, như chú thích hoặc mô tả, có thể cung cấp cho chúng ta nhiều thông tin hơn.

For example, a caption might say, a friendly bear waves hello, or a cat reclines on the pavement.

Ví dụ, một chú thích có thể viết: "Một chú gấu thân thiện vẫy tay chào" hoặc "Một chú mèo nằm nghỉ trên vỉa hè."

This tells us about objects, their actions, and scene.

Điều này cho chúng ta biết về các đối tượng, hành động của chúng và bối cảnh.

To use this extra information, we add a text encoder.

Để sử dụng thông tin bổ sung này, chúng tôi thêm một bộ mã hóa văn bản.

The text encoder turns the caption or description into a feature vector, just like the image encoder does for the image.

Mã hóa văn bản chuyển đổi chú thích hoặc mô tả thành một vectơ đặc trưng, tương tự như cách mã hóa hình ảnh chuyển đổi hình ảnh thành vectơ đặc trưng.

Intuitively, we want the feature vectors for the image and the feature vector for its matching caption to be as similar as possible.

Một cách trực quan, chúng ta muốn các vectơ đặc trưng của hình ảnh và vectơ đặc trưng của chú thích tương ứng với nó càng giống nhau càng tốt.

This means the model learns that the image and its captions are related.

Điều này có nghĩa là mô hình học được rằng hình ảnh và chú thích của nó có mối quan hệ với nhau.

At the same time, we want the image and text features for pairs that do not match to be far apart.

Đồng thời, chúng tôi muốn các đặc điểm hình ảnh và văn bản của các cặp không khớp nhau được đặt cách xa nhau.

Chúng ta làm điều đó như thế nào?

Let's visualize the image and text features as 2D vectors.

Hãy hình dung các đặc trưng hình ảnh và văn bản dưới dạng các vectơ 2D.

We normalize them so that they have unit lengths.

Chúng tôi chuẩn hóa chúng để chúng có độ dài đơn vị.

We measure similarity by looking at the angle between the two vectors.

Chúng tôi đo lường độ tương đồng bằng cách xem xét góc giữa hai vectơ.

Since the vectors are normalized, the dot product directly reflects how similar they are.

Vì các vectơ đã được chuẩn hóa, tích vô hướng trực tiếp phản ánh mức độ tương đồng giữa chúng.

The closer the dot product is to 1, the smaller the angle and the more similar the features.

Càng gần 1, tích vô hướng càng nhỏ, góc càng nhỏ và các đặc điểm càng tương đồng.

This is what we want to see after training.

Đây là những gì chúng ta mong muốn thấy sau khi đào tạo.

Along the diagonal, the features from matching image-text pairs are well aligned.

Dọc theo đường chéo, các đặc trưng từ các cặp hình ảnh-văn bản tương ứng được sắp xếp chính xác.

Off the diagonal, the features from non-matching pairs become dissimilar.

Ngoài đường chéo, các đặc điểm từ các cặp không khớp trở nên khác biệt.

This is known as contrastive language image pre-training, or CLIP.

Điều này được gọi là đào tạo trước hình ảnh ngôn ngữ đối chiếu, hoặc CLIP.

By training on 400 million image-text pairs, the image encoder learns to capture and generalize a wide range of visual concepts.

Bằng cách huấn luyện trên 400 triệu cặp hình ảnh-văn bản, bộ mã hóa hình ảnh học cách nắm bắt và tổng quát hóa một loạt các khái niệm thị giác đa dạng.

But this type of training is expensive because it requires human annotation for every image.

Nhưng loại đào tạo này tốn kém vì nó yêu cầu chú thích thủ công cho từng hình ảnh.

Can we train our image encoder without any labels, using only images?

Chúng ta có thể huấn luyện mô hình mã hóa hình ảnh mà không cần nhãn dữ liệu, chỉ sử dụng hình ảnh không?

If we can achieve this, we can leverage the enormous amount of unlabeled images already available to train our models at scale.

Nếu chúng ta có thể đạt được điều này, chúng ta có thể tận dụng lượng hình ảnh không được gắn nhãn khổng lồ hiện có để đào tạo các mô hình của mình trên quy mô lớn.

This is the goal of self-supervised learning.

Đây là mục tiêu của học tự giám sát.

Just like supervised learning, we extract image features, add an output head, and use a loss function.

Giống như học có giám sát, chúng ta trích xuất các đặc trưng hình ảnh, thêm một đầu ra và sử dụng hàm mất mát.

The challenge here is to create a supervision signal for training, but without relying on any human-provided labels.

Thách thức ở đây là tạo ra một tín hiệu giám sát cho quá trình đào tạo, nhưng không dựa vào bất kỳ nhãn do con người cung cấp nào.

Over the years, researchers have developed creative strategies for self-supervised learning.

Trong những năm qua, các nhà nghiên cứu đã phát triển các chiến lược sáng tạo cho học máy tự giám sát.

For example, we can train the model to colorize an image, predict the rotation angle of an image, impan the center patch from the surrounding context, or more generally, predict missing local patches from randomly masked input images.

Ví dụ, chúng ta có thể huấn luyện mô hình để tô màu cho một hình ảnh, dự đoán góc xoay của hình ảnh, tách vùng trung tâm khỏi bối cảnh xung quanh, hoặc nói chung, dự đoán các vùng cục bộ bị thiếu từ các hình ảnh đầu vào được che phủ ngẫu nhiên.

However, training on these manually designed tasks does not reinforce learning representations that are semantically rich or transferable.

Tuy nhiên, việc đào tạo trên các tác vụ được thiết kế thủ công này không củng cố các biểu diễn học tập có ý nghĩa phong phú hoặc có thể chuyển giao.

Let's revisit the contrastive learning idea.

Hãy cùng xem lại ý tưởng học tập so sánh.

We extract image features from two different augmented views of input images.

Chúng tôi trích xuất các đặc trưng hình ảnh từ hai chế độ xem được tăng cường khác nhau của hình ảnh đầu vào.

The objective is to bring the embedding vectors from matching pairs closer, while pushing embeddings of different images far apart.

Mục tiêu là làm cho các vectơ nhúng từ các cặp tương ứng trở nên gần nhau hơn, đồng thời đẩy các vectơ nhúng của các hình ảnh khác nhau ra xa nhau.

More specifically, we compute the pairwise similarity of all pairs using vector dot product.

Cụ thể hơn, chúng tôi tính toán độ tương đồng giữa các cặp bằng cách sử dụng tích vô hướng của các vectơ.

Here, Sij denotes the similarity score between i's embedding vector and j's embedding vector.

Ở đây, Sij biểu thị điểm tương đồng giữa vectơ nhúng của i và vectơ nhúng của j.

We highlight positive pairs with yellow boxes, and negative pairs with blue boxes.

Chúng tôi đánh dấu các cặp tích cực bằng hộp màu vàng và các cặp tiêu cực bằng hộp màu xanh.

During training, the model learns to increase the similarity for positive pairs.

Trong quá trình đào tạo, mô hình học cách tăng độ tương đồng cho các cặp dương tính.

Intuitively, we train the model to extract feature representations that are stable under different augmented views.

Một cách trực quan, chúng ta huấn luyện mô hình để trích xuất các biểu diễn đặc trưng ổn định dưới các góc nhìn được tăng cường khác nhau.

Đây là ý tưởng cốt lõi của SimClear.

When contrastive learning has been successful, making it work is challenging.

Khi học tập so sánh đã thành công, việc áp dụng nó vào thực tế là một thách thức.

The main issue is that it needs a large number of negative samples to avoid learning trivial representations.

Vấn đề chính là nó cần một số lượng lớn mẫu tiêu cực để tránh học các biểu diễn đơn giản.

As a result, training requires very large batch size and is computationally expensive.

Do đó, việc đào tạo yêu cầu kích thước lô rất lớn và tốn nhiều tài nguyên tính toán.

To tackle this challenge, let's look at how it could work with a single image.

Để giải quyết thách thức này, hãy xem xét cách nó có thể hoạt động với một hình ảnh duy nhất.

Given an input image, we create two augmented views like different crops.

Cho một hình ảnh đầu vào, chúng tôi tạo ra hai hình ảnh được tăng cường tương tự như các vùng cắt khác nhau.

We call the image encoders a student and teacher models.

Chúng tôi gọi các mô hình mã hóa hình ảnh là mô hình học sinh và mô hình giáo viên.

We extract features, feed them into a projection head to obtain logics, and then apply a softmax function to produce probability distributions.

Chúng tôi trích xuất các đặc trưng, đưa chúng vào đầu ra để thu được các logic, sau đó áp dụng hàm softmax để tạo ra các phân phối xác suất.

With this setup, we train the student network to match the teacher's predictions by minimizing the cross entropy between them.

Với cấu hình này, chúng ta huấn luyện mạng học sinh để khớp với dự đoán của mạng giáo viên bằng cách tối thiểu hóa độ sai lệch chéo giữa chúng.

A key detail is that we stop the gradient from flowing into the teacher network during training.

Một chi tiết quan trọng là chúng ta ngăn chặn gradient chảy vào mạng nơ-ron giáo viên trong quá trình huấn luyện.

In this setup, only the student network's parameters are updated to match the teacher's predictions, while teachers provide a stable target.

Trong cấu hình này, chỉ các thông số của mạng học sinh được cập nhật để phù hợp với dự đoán của giáo viên, trong khi giáo viên cung cấp một mục tiêu ổn định.

This approach is known as knowledge distillation.

Phương pháp này được gọi là chưng cất kiến thức.

Typically, we use it to distill knowledge from a powerful large teacher model to a smaller student model, making inference more efficient.

Thông thường, chúng ta sử dụng nó để chắt lọc kiến thức từ một mô hình giáo viên lớn và mạnh mẽ sang một mô hình học sinh nhỏ hơn, giúp quá trình suy luận trở nên hiệu quả hơn.

In our case, both student and teacher models have the same architectures and model size.

Trong trường hợp của chúng tôi, cả mô hình học sinh và mô hình giáo viên đều có cùng kiến trúc và kích thước mô hình.

First, if we don't have labels from people, how do we know what a class is?

Đầu tiên, nếu chúng ta không có nhãn từ người dùng, làm sao chúng ta biết một lớp là gì?

Fortunately, we can define the output dimension to be a large number like 65,000.

May mắn thay, chúng ta có thể định nghĩa kích thước đầu ra là một số lớn như 65.000.

This enables the model to discover and represent a wide range of visual concepts without requiring us to define them in advance.

Điều này cho phép mô hình phát hiện và biểu diễn một loạt các khái niệm thị giác mà không yêu cầu chúng ta phải định nghĩa chúng trước đó.

Second, in knowledge distillation, the teacher model is usually already trained.

Thứ hai, trong quá trình chưng cất kiến thức, mô hình giáo viên thường đã được huấn luyện sẵn.

But without label data, how do we get this teacher model?

Nhưng nếu không có dữ liệu nhãn, làm thế nào chúng ta có thể xây dựng mô hình giáo viên này?

One effective method is to update the teacher model's weight as a moving average of the student's weight over time.

Một phương pháp hiệu quả là cập nhật trọng số của mô hình giáo viên bằng cách tính trung bình động của trọng số của học sinh theo thời gian.

This allows the teacher model to change gradually, providing a stable and consistent target for the student to learn from.

Điều này cho phép mô hình của giáo viên thay đổi dần dần, cung cấp một mục tiêu ổn định và nhất quán cho học sinh học tập.

Specifically, after each training step, we update the teacher's parameters using the following formula.

Cụ thể, sau mỗi bước huấn luyện, chúng tôi cập nhật các tham số của mô hình huấn luyện bằng công thức sau.

The value lambda controls the update rate for the teacher model.

Giá trị lambda điều khiển tốc độ cập nhật cho mô hình giáo viên.

Giá trị lớn hơn có nghĩa là tốc độ cập nhật chậm hơn.

In practice, we set the initial value of lambda as 0.996 and gradually increase it over the course of training.

Trong thực tế, chúng tôi đặt giá trị ban đầu của lambda là 0.996 và dần dần tăng nó trong quá trình huấn luyện.

However, this approach alone is not enough to prevent the model from collapsing to trivial solutions.

Tuy nhiên, phương pháp này alone không đủ để ngăn chặn mô hình rơi vào các giải pháp đơn giản.

For example, the model could end up producing outputs where a single dimension dominates the distributions, resulting in uninformative or collapsed representations.

Ví dụ, mô hình có thể tạo ra các kết quả đầu ra trong đó một chiều duy nhất chi phối phân phối, dẫn đến các biểu diễn không cung cấp thông tin hoặc bị sụp đổ.

To address this, we use a trick called centering.

Để giải quyết vấn đề này, chúng tôi sử dụng một kỹ thuật gọi là căn giữa.

Let's illustrate how it works with an example.

Hãy lấy một ví dụ để minh họa cách nó hoạt động.

Suppose we have a batch of four samples, and our model predicts probabilities over three classes for each sample.

Giả sử chúng ta có một lô gồm bốn mẫu, và mô hình của chúng ta dự đoán xác suất cho ba lớp khác nhau cho mỗi mẫu.

After applying softmax, most of the probability mass is concentrated in the first dimension.

Sau khi áp dụng hàm softmax, phần lớn khối lượng xác suất được tập trung vào chiều đầu tiên.

Next, we calculate the average logic, the center, across the batch, and subtract the center from each of the teacher's logics.

Tiếp theo, chúng ta tính trung bình logic, tức là giá trị trung tâm, trên toàn bộ lô dữ liệu, và trừ giá trị trung tâm này khỏi từng giá trị logic của giáo viên.

The centering trick encourages the model to spread its predictions more evenly, rather than focusing on a single output.

Kỹ thuật căn giữa khuyến khích mô hình phân phối dự đoán của mình một cách đồng đều hơn, thay vì tập trung vào một kết quả duy nhất.

Centering helps prevent collapse by ensuring the average output of the teacher network remains balanced across all output dimensions.

Định tâm giúp ngăn ngừa sự sụp đổ bằng cách đảm bảo rằng giá trị trung bình của mạng thần kinh giáo viên được duy trì cân bằng trên tất cả các chiều đầu ra.

Instead of computing the center vector for each batch independently, we maintain a moving average of the center over time.

Thay vì tính toán vectơ trung tâm cho từng lô dữ liệu một cách độc lập, chúng tôi duy trì một trung bình trượt của vectơ trung tâm theo thời gian.