Name: Nhưng thực sự thì hình ảnh và video AI hoạt động như thế nào? | Video khách mời của Welch Labs (But how do AI images and videos actually work? | Guest video by Welch Labs)
Uploaded: 2025-09-27T00:44:38.000Z
Duration: 37 min 20 s
Description: Thousands of YouTube videos with English-Chinese subtitles! Now you can learn to understand native speakers, expand your vocabulary, and improve your pronunciation...

Over the last few years, AI systems have become astonishingly good at turning text prompts into videos.

Trong những năm gần đây, các hệ thống trí tuệ nhân tạo (AI) đã trở nên vô cùng xuất sắc trong việc chuyển đổi các lệnh văn bản thành video.

At the core of how these models operate is a deep connection to physics.

Tại trung tâm của cách thức hoạt động của các mô hình này là sự kết nối sâu sắc với vật lý.

This generation of image and video models works using a process known as diffusion, which is remarkably equivalent to the Brownian motion we see as particles diffuse, but with time run backwards, and in high-dimensional space.

Thế hệ mô hình hình ảnh và video này hoạt động dựa trên một quá trình được gọi là khuếch tán, quá trình này tương đương một cách đáng kinh ngạc với chuyển động Brownian mà chúng ta quan sát thấy khi các hạt khuếch tán, nhưng với thời gian chạy ngược lại v

As we'll see, this connection to physics is much more than a curiosity.

Như chúng ta sẽ thấy, mối liên hệ này với vật lý không chỉ là một điều thú vị.

We get real algorithms out of the physics that we can use to generate images and videos.

Chúng tôi áp dụng các thuật toán thực tế từ vật lý để tạo ra hình ảnh và video.

And this perspective will also give us some really nice intuitions for how these models work in practice.

Và quan điểm này cũng sẽ giúp chúng ta có được những直觉 rất hữu ích về cách các mô hình này hoạt động trong thực tế.

But before we dive into this connection, let's get hands-on with a real diffusion model.

Nhưng trước khi đi sâu vào mối liên hệ này, hãy cùng thực hành với một mô hình khuếch tán thực tế.

While the best models are closed-source, there are some compelling open-source models.

Mặc dù các mô hình tốt nhất là mã nguồn đóng, vẫn có một số mô hình mã nguồn mở đáng chú ý.

This video of an astronaut was generated by an open-source model called WAN 2.1.

Video này về một phi hành gia được tạo ra bởi một mô hình nguồn mở có tên là WAN 2.1.

We can add to our prompt and have our astronaut hold a flag, hold a laptop, or hold a meeting.

Chúng ta có thể bổ sung vào lời nhắc và cho phi hành gia cầm cờ, cầm laptop hoặc tổ chức cuộc họp.

If we cut down our prompt to just an astronaut, we get this.

Nếu chúng ta rút gọn lời nhắc của mình chỉ còn một phi hành gia, chúng ta sẽ có kết quả này.

And if we cut down our prompt to nothing, we interestingly still get this video of a  If we dig into our WAN model's source code, we'll find that the video generation process begins with this call to a random number generator.

Và nếu chúng ta giảm kích thước của prompt xuống còn 0, chúng ta vẫn nhận được video này của một Nếu chúng ta xem xét mã nguồn của mô hình WAN, chúng ta sẽ thấy rằng quá trình tạo video bắt đầu với lệnh gọi đến một bộ sinh số ngẫu nhiên.

Creating a video where the pixel intensity values are chosen randomly.

Tạo một video trong đó các giá trị cường độ pixel được chọn ngẫu nhiên.

Đây là cách nó trông như thế nào.

From here, this pure noise video is passed into a transformer.

Từ đây, video tiếng ồn thuần túy này được đưa vào một bộ biến đổi.

This is the same type of AI model used by large language models like ChatGPT.

Đây là cùng loại mô hình trí tuệ nhân tạo (AI) được sử dụng trong các mô hình ngôn ngữ lớn như ChatGPT.

But instead of outputting text, this transformer outputs another video that now looks like this.

Thay vì xuất ra văn bản, mô hình này xuất ra một video khác trông như thế này.

Still mostly noise, but with some hints of structure.

Vẫn chủ yếu là tiếng ồn, nhưng có một số dấu hiệu của cấu trúc.

This new video is added to our pure noise video, and then passed back into the model again, producing a third video that looks like this.

Video mới này được thêm vào video tiếng ồn thuần túy của chúng tôi, sau đó được đưa trở lại vào mô hình một lần nữa, tạo ra video thứ ba trông như thế này.

This process is repeated again and again.

Quy trình này được lặp lại nhiều lần.

Here's what the video looks like after 5 iterations, 10, 20, 30, 40, and finally 50.

Dưới đây là hình ảnh của video sau 5 lần lặp, 10, 20, 30, 40 và cuối cùng là 50 lần lặp.

Step by step, our transformer shapes pure noise into incredibly realistic video.

Bước từng bước, bộ biến đổi của chúng tôi biến tiếng ồn thuần túy thành video vô cùng chân thực.

But what exactly is the connection to Brownian motion here?

Nhưng chính xác thì mối liên hệ với chuyển động Brownian ở đây là gì?

And how is our model able to use text input so expressively to shape noise into what our prompt describes?

Và làm thế nào mô hình của chúng ta có thể sử dụng đầu vào văn bản một cách linh hoạt để biến tiếng ồn thành những gì mô tả trong lời nhắc?

In this video, we'll unpack diffusion models in three parts.

Trong video này, chúng ta sẽ phân tích mô hình khuếch tán thành ba phần.

First we'll look at a 2021 OpenAI paper and model called CLIP.

Đầu tiên, chúng ta sẽ xem xét một bài báo và mô hình của OpenAI năm 2021 có tên là CLIP.

As we'll see, CLIP is really two models, a language model and a vision model, that are trained using a clever learning objective that allows them to learn this really powerful shared space between words and pictures.

Như chúng ta sẽ thấy, CLIP thực chất là hai mô hình: mô hình ngôn ngữ và mô hình thị giác, được huấn luyện bằng một mục tiêu học tập thông minh cho phép chúng học được không gian chung mạnh mẽ giữa từ ngữ và hình ảnh.

Experimenting with this space will help us get a feel for the high dimensional spaces that diffusion models operate in.

Thử nghiệm với không gian này sẽ giúp chúng ta hiểu rõ hơn về các không gian đa chiều mà các mô hình khuếch tán hoạt động.

But learning a shared representation is not enough to generate images.

Nhưng việc học một biểu diễn chung là chưa đủ để tạo ra hình ảnh.

From here we'll look at the diffusion process itself.

Từ đây, chúng ta sẽ xem xét chính quá trình khuếch tán.

At a high level, diffusion models are trained to remove noise from images or videos.

Ở mức độ cao, các mô hình khuếch tán được huấn luyện để loại bỏ nhiễu khỏi hình ảnh hoặc video.

However, if you dig into the landmark papers in the field, you'll find that this naive understanding of diffusion really doesn't hold up in practice.

Tuy nhiên, nếu bạn nghiên cứu kỹ các bài báo quan trọng trong lĩnh vực này, bạn sẽ thấy rằng cách hiểu đơn giản về quá trình khuếch tán thực sự không áp dụng được trong thực tế.

In this section, we'll dig into the connection between diffusion models and diffusion processes in physics.

Trong phần này, chúng ta sẽ tìm hiểu về mối liên hệ giữa các mô hình khuếch tán và các quá trình khuếch tán trong vật lý.

This connection will help us understand how these models really work in practice and give us some powerful theory for dramatically speeding up image and video generation.

Kết nối này sẽ giúp chúng ta hiểu rõ cách các mô hình này thực sự hoạt động trong thực tế và cung cấp cho chúng ta một lý thuyết mạnh mẽ để tăng tốc đáng kể quá trình tạo hình ảnh và video.

Finally, we'll bring these worlds together and see how approaches like CLIP are combined with diffusion models to condition and guide the generation process towards the videos we asked for in our props. 2020 was a landmark year for language modeling.

Cuối cùng, chúng ta sẽ kết hợp các thế giới này lại với nhau và xem cách các phương pháp như CLIP được kết hợp với các mô hình khuếch tán để điều kiện hóa và hướng dẫn quá trình sinh ra video theo yêu cầu của chúng ta trong các props. Năm 2020 là một năm 

New results in neural scaling laws and OpenAI's GPT-3 showed that bigger really was better.

Các kết quả mới về các định luật quy mô thần kinh và mô hình GPT-3 của OpenAI cho thấy rằng "càng lớn càng tốt" thực sự đúng.

Massive models trained on massive datasets had capabilities that simply didn't exist in smaller models.

Các mô hình lớn được đào tạo trên các tập dữ liệu khổng lồ có khả năng mà các mô hình nhỏ hơn đơn giản là không có.

It didn't take long for researchers to apply similar ideas to images.

Không lâu sau, các nhà nghiên cứu đã áp dụng những ý tưởng tương tự vào hình ảnh.

In February 2021, a team at OpenAI released a new model architecture called CLIP, trained on a dataset of 400 million image and caption pairs scraped from the internet.

Vào tháng 2 năm 2021, một nhóm nghiên cứu tại OpenAI đã công bố một kiến trúc mô hình mới có tên CLIP, được đào tạo trên bộ dữ liệu gồm 400 triệu cặp hình ảnh và chú thích được thu thập từ internet.

CLIP is composed of two models, one that processes text and one that processes images.

CLIP bao gồm hai mô hình, một mô hình xử lý văn bản và một mô hình xử lý hình ảnh.

The output of each of these models is a vector of length 512, and the central idea is that the vectors for a given image and its caption should be similar.

Đầu ra của mỗi mô hình này là một vectơ có độ dài 512, và ý tưởng chính là các vectơ tương ứng với một hình ảnh và chú thích của nó nên có sự tương đồng.

To achieve this, the OpenAI team developed a clever training approach.

Để đạt được điều này, đội ngũ OpenAI đã phát triển một phương pháp đào tạo thông minh.

Given a batch of image-caption pairs, for example our batch could contain a picture of a cat, a dog, and me, with the captions a photo of a cat, a photo of a dog, and a photo of a man, we then pass our three images into our image model, and our three captions into our text model.

Cho một tập hợp các cặp hình ảnh-chú thích, ví dụ như tập hợp của chúng ta có thể chứa một bức ảnh con mèo, một bức ảnh con chó và một bức ảnh của tôi, với các chú thích là "một bức ảnh con mèo", "một bức ảnh con chó" và "một bức ảnh của một người đàn ông

We now have three image vectors and three text vectors, and we would like the vectors for the matching image-caption pairs to be similar.

Hiện tại, chúng ta có ba vectơ hình ảnh và ba vectơ văn bản, và chúng ta muốn các vectơ tương ứng với các cặp hình ảnh-chú thích khớp nhau có độ tương đồng cao.

The clever idea from here is to make use of the similarity not just between the corresponding images and captions, but between all image-caption pairs in the batch when training our models.

Ý tưởng thông minh ở đây là tận dụng sự tương đồng không chỉ giữa các hình ảnh và chú thích tương ứng, mà còn giữa tất cả các cặp hình ảnh-chú thích trong lô dữ liệu khi đào tạo mô hình của chúng ta.

If we arrange our image vectors as the columns of a matrix, and our text vectors as the rows, the pairs of vectors along the diagonal of our matrix correspond to matching images and captions, and all the pairs off-diagonal are non-matching images and captions.

Nếu chúng ta sắp xếp các vectơ hình ảnh thành các cột của một ma trận và các vectơ văn bản thành các hàng, thì các cặp vectơ trên đường chéo của ma trận tương ứng với các hình ảnh và chú thích khớp nhau, và tất cả các cặp ngoài đường chéo là các hình ảnh 

The CLIP training objective seeks to maximize the similarity between corresponding image-caption pairs, while simultaneously minimizing the similarity between non-corresponding image-caption pairs.

Mục tiêu đào tạo CLIP nhằm tối đa hóa độ tương đồng giữa các cặp hình ảnh-chú thích tương ứng, đồng thời tối thiểu hóa độ tương đồng giữa các cặp hình ảnh-chú thích không tương ứng.

The C in CLIP stands for contrastive, because the model learns to contrast matching and non-matching image-caption pairs.

Chữ C trong CLIP đại diện cho "contrastive" (so sánh), vì mô hình học cách so sánh các cặp hình ảnh-chú thích khớp và không khớp.

The CLIP algorithm measures similarity between vectors using a metric called cosine similarity.

Thuật toán CLIP đo lường độ tương đồng giữa các vectơ bằng cách sử dụng một thước đo gọi là độ tương đồng cosine.

Geometrically, we can think of each of these vectors as pointing in some direction in high-dimensional space.

Từ góc độ hình học, chúng ta có thể coi mỗi vectơ này như đang chỉ theo một hướng nào đó trong không gian đa chiều.

Cosine similarity measures the cosine of the angle between our vectors in this space.

Độ tương đồng cosine đo lường cosine của góc giữa các vectơ của chúng ta trong không gian này.

So if our text and image vector point in the same direction, the angle between our vectors will be zero, resulting in a maximum value for our cosine similarity score of one.

Vì vậy, nếu vectơ văn bản và hình ảnh của chúng ta cùng hướng, góc giữa hai vectơ sẽ bằng không, dẫn đến giá trị tối đa cho điểm tương đồng cosine là một.

So the image and text models that make up CLIP are trained to maximize the alignment of related images and captions in this shared high-dimensional space, while minimizing the alignment between unrelated images and captions.

Vì vậy, các mô hình hình ảnh và văn bản tạo nên CLIP được huấn luyện để tối đa hóa sự tương thích giữa các hình ảnh và chú thích liên quan trong không gian đa chiều chung này, đồng thời tối thiểu hóa sự tương thích giữa các hình ảnh và chú thích không liê

The learned geometry of this shared vector space, known as a latent or embedding space, has some really interesting properties.

Hình học của không gian véc-tơ chung này, được gọi là không gian tiềm ẩn hoặc không gian nhúng, có một số tính chất thực sự thú vị.

If I take two pictures of myself, one not wearing a hat and one wearing a hat, and pass both of these into our CLIP image model, we get two vectors in our embedding space.

Nếu tôi chụp hai bức ảnh của mình, một bức không đội mũ và một bức đội mũ, và đưa cả hai bức ảnh này vào mô hình hình ảnh CLIP của chúng ta, chúng ta sẽ nhận được hai vectơ trong không gian nhúng.

Now if I take the vector corresponding to me wearing a hat, and subtract the vector of me not wearing a hat, we get a new vector in our embedding space.

Nếu tôi lấy vectơ tương ứng với việc tôi đội mũ, và trừ đi vectơ của việc tôi không đội mũ, chúng ta sẽ thu được một vectơ mới trong không gian nhúng của chúng ta.

Now what text might this new vector correspond to?

Vậy văn bản nào có thể tương ứng với vector mới này?

Mathematically, we took the difference of me wearing a hat and me not wearing a hat.

Một cách toán học, chúng tôi đã tính sự khác biệt giữa việc tôi đội mũ và việc tôi không đội mũ.

We can search for corresponding text by passing a bunch of different words into our text encoder, and for each computing the cosine similarity between our newly computed difference vector and the text vector.

Chúng ta có thể tìm kiếm văn bản tương ứng bằng cách đưa một loạt từ khác nhau vào bộ mã hóa văn bản của chúng ta, và đối với mỗi từ, tính toán độ tương đồng cosine giữa vectơ chênh lệch mới tính toán và vectơ văn bản.

Testing a set of a few hundred common words, the top ranked match with a similarity of 0.165 is the word hat, followed by cap and helmet.

Khi kiểm tra một tập hợp gồm vài trăm từ thông dụng, từ có độ tương đồng cao nhất với giá trị 0.165 là "hat", tiếp theo là "cap" và "helmet".

Đây là một kết quả đáng kinh ngạc.

The learned geometry of CLIP's embedding space allows us to operate mathematically on the pure ideas or concepts in our images and text, translating the differences in the content of our images, like if there's a hat or not, into a literal distance between vectors in our embedding space.

Khả năng học tập về hình học của không gian nhúng CLIP cho phép chúng ta thực hiện các thao tác toán học trên các ý tưởng hoặc khái niệm thuần túy trong hình ảnh và văn bản của mình, chuyển đổi sự khác biệt trong nội dung hình ảnh, chẳng hạn như có mũ hay

The OpenAI team showed that CLIP could produce very impressive image classification results by simply passing an image into our image encoder and then comparing the resulting vector to a set of possible captions, one for each label that could be assigned to the image, and classifying the image with whatever label resulted in the highest cosine similarity.

Đội ngũ OpenAI đã chứng minh rằng CLIP có thể tạo ra kết quả phân loại hình ảnh rất ấn tượng bằng cách đơn giản là đưa một hình ảnh vào bộ mã hóa hình ảnh của chúng tôi, sau đó so sánh vector kết quả với một tập hợp các chú thích có thể, mỗi chú thích tươ

So techniques like CLIP give us a powerful shared representation of image and text, a kind of vector space of pure ideas.

Vì vậy, các kỹ thuật như CLIP cung cấp cho chúng ta một biểu diễn chung mạnh mẽ của hình ảnh và văn bản, một loại không gian véc-tơ của những ý tưởng thuần túy.

However, our CLIP models only go one direction.

Tuy nhiên, các mô hình CLIP của chúng tôi chỉ hoạt động theo một hướng.

We can only map image and text to our shared embedding space.

Chúng ta chỉ có thể ánh xạ hình ảnh và văn bản vào không gian nhúng chung của chúng ta.

We have no way of generating images and text from our embedding vectors. 2020 turned out not only to be a transformative year for language modeling.

Chúng tôi không có cách nào để tạo ra hình ảnh và văn bản từ các vectơ nhúng của mình. Năm 2020 không chỉ là một năm mang tính bước ngoặt đối với mô hình ngôn ngữ.

A few weeks after the GPT-3 paper came out, a team at Berkeley published a paper called Denoising Diffusion Probabilistic Models, now known as DDPM.

Một vài tuần sau khi bài báo về GPT-3 được công bố, một nhóm nghiên cứu tại Đại học Berkeley đã công bố một bài báo có tiêu đề "Denoising Diffusion Probabilistic Models", nay được biết đến với tên gọi DDPM.

The paper showed for the first time that it was possible to generate very high quality images using a diffusion process, where pure noise is transformed step-by-step into realistic images.

Bài báo đã lần đầu tiên chứng minh rằng có thể tạo ra hình ảnh chất lượng rất cao bằng cách sử dụng quá trình khuếch tán, trong đó tiếng ồn thuần túy được chuyển đổi từng bước thành hình ảnh thực tế.

The core idea behind diffusion models is pretty straightforward.

Ý tưởng cốt lõi đằng sau các mô hình khuếch tán khá đơn giản.

We take a set of training images and add noise to each image step-by-step until the image is completely destroyed.

Chúng tôi lấy một tập hợp các hình ảnh đào tạo và thêm nhiễu vào từng hình ảnh theo từng bước cho đến khi hình ảnh bị hủy hoại hoàn toàn.

From here we train a neural network to reverse this process.

Từ đây, chúng ta sẽ huấn luyện một mạng thần kinh để đảo ngược quá trình này.

When I first learned about diffusion models, I assumed that the models would be trained to remove noise a single step at a time.

Khi lần đầu tiên tôi tìm hiểu về các mô hình khuếch tán, tôi đã cho rằng các mô hình này sẽ được huấn luyện để loại bỏ nhiễu từng bước một.

Our model would be trained to predict the image in step 1, given the noisier image in step 2, trained to predict the image in step 2, given the noisier image in step 3, and so on.

Mô hình của chúng tôi sẽ được đào tạo để dự đoán hình ảnh ở bước 1, dựa trên hình ảnh có nhiễu hơn ở bước 2, sau đó được đào tạo để dự đoán hình ảnh ở bước 2, dựa trên hình ảnh có nhiễu hơn ở bước 3, và tiếp tục như vậy.

When it came time to generate an image, we would pass pure noise into our model, take its output, and pass it back into its input again and again.

Khi đến lúc tạo ra một hình ảnh, chúng tôi sẽ đưa tín hiệu nhiễu thuần túy vào mô hình, lấy kết quả đầu ra của nó, và tiếp tục đưa kết quả đó trở lại làm đầu vào cho mô hình lặp đi lặp lại.

And after enough steps, we would have a nice image.

Và sau khi thực hiện đủ các bước, chúng ta sẽ có được một hình ảnh đẹp.

Now it turns out that this naive approach to building a diffusion model really does not work well.

Hóa ra, cách tiếp cận đơn giản này trong việc xây dựng mô hình lan truyền thực sự không hiệu quả.

Virtually no modern models work like this.

Hầu như không có mô hình hiện đại nào hoạt động theo cách này.

These are the training and image generation algorithms from the Berkeley team's paper.

Đây là các thuật toán đào tạo và tạo hình ảnh từ bài báo của nhóm nghiên cứu tại Đại học Berkeley.

The notation is a bit dense, but there are some key details we can pull out that will help us understand what it takes to make these models really work.

Cách ghi chú này khá phức tạp, nhưng có một số chi tiết quan trọng mà chúng ta có thể tóm tắt để hiểu rõ những yếu tố cần thiết để các mô hình này thực sự hoạt động hiệu quả.

The first thing that surprised me is that the team added random noise to images not just during training, but also during image generation.

Điều đầu tiên khiến tôi ngạc nhiên là nhóm nghiên cứu đã thêm tiếng ồn ngẫu nhiên vào hình ảnh không chỉ trong quá trình huấn luyện mà còn trong quá trình tạo hình ảnh.

Algorithm 2 tells us that when generating new images, at each step, after our neural network predicts a less noisy image, we need to add random noise to this image before passing it back into our model.

Thuật toán 2 cho biết rằng khi tạo ra các hình ảnh mới, ở mỗi bước, sau khi mạng thần kinh của chúng ta dự đoán được một hình ảnh ít nhiễu hơn, chúng ta cần thêm nhiễu ngẫu nhiên vào hình ảnh này trước khi đưa nó trở lại mô hình của chúng ta.

This added noise turns out to matter a lot in practice.

Tiếng ồn bổ sung này hóa ra lại có ảnh hưởng rất lớn trong thực tế.

If we take a popular diffusion model like Stable Diffusion 2, and use the Berkeley team's image generation approach, known as DDPM sampling, we can get some really nice images.

Nếu chúng ta sử dụng một mô hình khuếch tán phổ biến như Stable Diffusion 2 và áp dụng phương pháp tạo hình ảnh của nhóm Berkeley, được gọi là DDPM sampling, chúng ta có thể tạo ra những hình ảnh rất đẹp.

Here's the image we get when prompting the model with this prompt, asking for a tree in the desert.

Dưới đây là hình ảnh mà chúng ta nhận được khi đưa ra lời nhắc này cho mô hình, yêu cầu vẽ một cây trong sa mạc.

Now if we remove the line of code that adds noise at each step of the generation process, we end up with a tiny, sad, blurry tree.

Nếu chúng ta loại bỏ dòng mã thêm nhiễu ở mỗi bước của quá trình sinh ra, chúng ta sẽ có một cây nhỏ bé, buồn bã và mờ nhạt.

How is it that adding random noise while generating images leads to better quality, sharper images?

Tại sao việc thêm tiếng ồn ngẫu nhiên khi tạo hình ảnh lại dẫn đến chất lượng hình ảnh tốt hơn, sắc nét hơn?

The second thing that surprised me when I encountered the Berkeley team's approach was that the team wasn't training models to reverse a single step in the noise addition process.

Điều thứ hai khiến tôi ngạc nhiên khi tiếp xúc với phương pháp của nhóm Berkeley là nhóm không huấn luyện mô hình để đảo ngược một bước duy nhất trong quá trình thêm nhiễu.

Instead, the team takes an initial clean image, which they call X0, and adds scaled random noise to the image, which they call epsilon.

Thay vào đó, nhóm nghiên cứu sử dụng một hình ảnh ban đầu sạch, mà họ gọi là X0, và thêm tiếng ồn ngẫu nhiên được quy mô vào hình ảnh, mà họ gọi là epsilon.

And from here, they train the model to predict the total noise that was added to the original image.

Từ đây, họ huấn luyện mô hình để dự đoán tổng lượng nhiễu đã được thêm vào hình ảnh gốc.

So the team is effectively asking the model to skip all the intermediate steps, and make a prediction about the original image.

Vì vậy, nhóm nghiên cứu đang yêu cầu mô hình bỏ qua tất cả các bước trung gian và đưa ra dự đoán về hình ảnh gốc.

Intuitively, this learning task seems much more difficult to me than just learning to make a noisy image slightly less noisy.

Một cách trực quan, nhiệm vụ học tập này dường như khó khăn hơn nhiều so với việc chỉ đơn giản là làm cho một hình ảnh ồn ào trở nên ít ồn ào hơn một chút.

The Berkeley team's paper and approach was a landmark result that put diffusion on the map.

Bài báo và phương pháp của nhóm nghiên cứu Berkeley là một kết quả mang tính bước ngoặt, đã đưa khái niệm khuếch tán vào bản đồ khoa học.

Why does adding random noise while generating images, and training the model like this, work so well?

Tại sao việc thêm tiếng ồn ngẫu nhiên khi tạo hình ảnh và đào tạo mô hình theo cách này lại hiệu quả đến vậy?

The DDPM paper draws on some fairly complex theory to arrive at these algorithms.

Bài báo DDPM dựa trên một số lý thuyết khá phức tạp để đưa ra các thuật toán này.

I'll include a link to a great tutorial in the description if you want to dig deeper into the theory.

Tôi sẽ đính kèm một liên kết đến một hướng dẫn tuyệt vời trong phần mô tả nếu bạn muốn tìm hiểu sâu hơn về lý thuyết.

Happily, it turns out that there's a different but mathematically equivalent way of understanding what diffusion models are really learning, that we can use to get a visual and intuitive sense for why the DDPM algorithms work so well.

May mắn thay, hóa ra có một cách hiểu khác nhưng về mặt toán học tương đương về những gì các mô hình khuếch tán thực sự học được, mà chúng ta có thể sử dụng để có được cái nhìn trực quan và dễ hiểu về lý do tại sao các thuật toán DDPM hoạt động hiệu quả đ

The key will be thinking of diffusion models as learning a time-varying vector field.

Chìa khóa sẽ là xem các mô hình khuếch tán như việc học một trường vectơ biến đổi theo thời gian.

This perspective also leads to a more general approach, called flow-based models, which have become very popular recently.

Quan điểm này cũng dẫn đến một phương pháp tiếp cận tổng quát hơn, được gọi là mô hình dựa trên dòng chảy, đã trở nên rất phổ biến trong thời gian gần đây.

To see how diffusion models learn this time-varying vector field, let's temporarily simplify our learning problem.

Để hiểu cách các mô hình khuếch tán học được trường vectơ biến đổi theo thời gian này, hãy tạm thời đơn giản hóa vấn đề học tập của chúng ta.

Nhưng thực sự thì hình ảnh và video AI hoạt động như thế nào? | Video khách mời của Welch Labs (But how do AI images and videos actually work? | Guest video by Welch Labs)

Subtitles ListPlay Video

Nhưng thực sự thì hình ảnh và video AI hoạt động như thế nào? | Video khách mời của Welch Labs (But how do AI images and videos actually work? | Guest video by Welch Labs)

specific

equivalent

approach

process