Name: RAG so với Tinh chỉnh và Kỹ thuật tạo prompt: Tối ưu hóa mô hình AI (RAG vs Fine-Tuning vs Prompt Engineering: Optimizing AI Models)
Uploaded: 2025-08-16T08:19:05.000Z
Duration: 13 min 10 s
Description: Thousands of YouTube videos with English-Chinese subtitles! Now you can learn to understand native speakers, expand your vocabulary, and improve your pronunciation...

Remember how, back in the day, people would Google themselves, you'd type your name into a search engine, and you'd see what it knows about you?

Bạn còn nhớ không, ngày xưa, mọi người thường tìm kiếm tên mình trên Google, bạn gõ tên mình vào công cụ tìm kiếm và xem nó biết gì về bạn?

Well, the modern equivalent of that is to do the same thing with a chatbot.

Vâng, tương đương hiện đại của điều đó là làm điều tương tự với một chatbot.

So when I ask a large language model, who is Martin Kean, well, the response varies greatly depending upon which model I'm asking, because different models, they have different training datasets, they have different knowledge cutoff dates.

Vậy khi tôi hỏi một mô hình ngôn ngữ lớn: "Martin Kean là ai?", câu trả lời sẽ thay đổi rất nhiều tùy thuộc vào mô hình mà tôi đang hỏi, vì các mô hình khác nhau có các bộ dữ liệu đào tạo khác nhau và các mốc thời gian cắt giảm kiến thức khác nhau.

So what a given model knows about me, well, it differs greatly.

Vậy, những gì một mô hình cụ thể biết về tôi, thì nó khác biệt rất nhiều.

But how could we improve the model's answer?

Nhưng làm thế nào chúng ta có thể cải thiện câu trả lời của mô hình?

So let's start with a model here, and we're going to see how we can improve its responses.

Vậy chúng ta hãy bắt đầu với một mô hình ở đây, và chúng ta sẽ xem cách chúng ta có thể cải thiện các phản hồi của nó.

Well, the first thing it could do is it could go out and it could perform a search, a search for new data that either wasn't in its training dataset, or it was just data that became available after the model finished training.

Đầu tiên, nó có thể thực hiện một tác vụ là đi ra ngoài và thực hiện một quá trình tìm kiếm, tìm kiếm dữ liệu mới mà hoặc là không có trong tập dữ liệu đào tạo của nó, hoặc là dữ liệu mới được cung cấp sau khi mô hình hoàn thành quá trình đào tạo.

And then it could incorporate those results from the search back into its answer.

Và sau đó, nó có thể tích hợp kết quả từ quá trình tìm kiếm vào câu trả lời của mình.

That is called RAG, or Retrieval Augmented Generation.

Điều đó được gọi là RAG, hay Retrieval Augmented Generation.

Or we could pick a specialized model, a model that's been trained on, let's say, transcripts of these videos.

Hoặc chúng ta có thể chọn một mô hình chuyên biệt, một mô hình đã được đào tạo trên, ví dụ như, bản chép lời của các video này.

That would be an example of something called fine tuning.

Đó là một ví dụ về một khái niệm gọi là tinh chỉnh.

Or we could ask the model a query that better specifies what we're looking for.

Hoặc chúng ta có thể đưa ra cho mô hình một câu hỏi cụ thể hơn để xác định chính xác những gì chúng ta đang tìm kiếm.

So maybe the LLM already knows plenty about the Martin Keens of the world, but let's tell the model that we're referring to the Martin Keen who works at IBM, rather than the Martin Keen that founded Keen Shoes.

Có thể mô hình LLM đã biết rất nhiều về những người như Martin Keen trên thế giới, nhưng hãy cho mô hình biết rằng chúng ta đang đề cập đến Martin Keen làm việc tại IBM, chứ không phải Martin Keen là người sáng lập Keen Shoes.

That is an example of prompt engineering.

Đó là một ví dụ về kỹ thuật tạo prompt.

Three ways to get better outputs out of large language models, each with their pluses and minuses.

Ba cách để cải thiện kết quả đầu ra từ các mô hình ngôn ngữ lớn, mỗi cách có những ưu điểm và nhược điểm riêng.

Vậy chúng ta hãy phân tích chi tiết.

Đầu tiên là quá trình truy xuất.

So retrieval of external up-to-date information.

Việc thu thập thông tin bên ngoài mới nhất.

That's augmentation of the original prompt with the retrieved information added in.

Đó là việc mở rộng lời nhắc ban đầu bằng cách thêm thông tin đã thu thập vào.

Và cuối cùng là quá trình sinh sản.

That's generation of a response based on all of this enriched context.

Đó là quá trình tạo ra phản hồi dựa trên toàn bộ bối cảnh đã được mở rộng.

Vậy chúng ta có thể hiểu như sau.

So we start with a query, and the query comes in to a large language model.

Vậy chúng ta bắt đầu với một truy vấn, và truy vấn đó được đưa vào một mô hình ngôn ngữ lớn.

Now what RAG is going to do is it's first going to go searching through a corpus of information.

Bây giờ, RAG sẽ thực hiện bước đầu tiên là tìm kiếm trong một kho dữ liệu.

So we have this corpus here full of some sort of data.

Vậy là chúng ta có một bộ dữ liệu ở đây chứa đầy các loại dữ liệu khác nhau.

Now perhaps that's your organisation's documents.

Có thể đó là tài liệu của tổ chức của bạn.

So it might be spreadsheets, PDFs, internal wikis, you know, stuff like that.

Vậy có thể là các bảng tính, tệp PDF, wiki nội bộ, những thứ như vậy.

But unlike a typical search engine that just matches keywords, RAG converts both your question, the query, and all of the documents into something called vector embeddings.

Nhưng khác với một công cụ tìm kiếm thông thường chỉ khớp các từ khóa, RAG chuyển đổi cả câu hỏi của bạn, truy vấn và tất cả các tài liệu thành những gì được gọi là vector embeddings.

So these are all converted into vectors, essentially turning words and phrases into long lists of numbers that capture their meaning.

Vậy tất cả những điều này đều được chuyển đổi thành các vectơ, về cơ bản là biến các từ và cụm từ thành các danh sách dài các con số để thể hiện ý nghĩa của chúng.

So when you ask a query like, what was our company's revenue growth last quarter?

Vậy khi bạn đặt câu hỏi như: "Doanh thu của công ty chúng ta trong quý vừa qua tăng bao nhiêu?"

Well RAG will find documents that are mathematically similar in meaning to your question, even if they don't use the exact same words.

RAG sẽ tìm các tài liệu có ý nghĩa toán học tương tự với câu hỏi của bạn, ngay cả khi chúng không sử dụng chính xác các từ ngữ đó.

So it might find documents mentioning fourth quarter performance or quarterly sales.

Vì vậy, nó có thể tìm thấy các tài liệu đề cập đến hiệu suất quý IV hoặc doanh số bán hàng quý.

Those don't contain the keyword revenue growth, but they are semantically similar.

Những từ khóa đó không chứa từ khóa "tăng trưởng doanh thu", nhưng chúng có nghĩa tương tự.

Now once RAG finds the relevant information, it adds this information back into your original query before passing it to the language model.

Sau khi RAG tìm thấy thông tin liên quan, nó sẽ thêm thông tin này trở lại vào truy vấn gốc của bạn trước khi truyền nó đến mô hình ngôn ngữ.

So instead of the model just kind of guessing based on its training data, it can now generate a response that incorporates your actual facts and figures.

Thay vì mô hình chỉ đơn giản là đoán dựa trên dữ liệu đào tạo của nó, giờ đây nó có thể tạo ra một phản hồi tích hợp các số liệu và thông tin thực tế của bạn.

So this makes RAG particularly valuable when you are looking for information that is up to date, and it's also very valuable when you need to add in information that is domain specific as well.

Vì vậy, RAG đặc biệt hữu ích khi bạn cần tìm kiếm thông tin cập nhật, và nó cũng rất hữu ích khi bạn cần bổ sung thông tin chuyên ngành.

Tuy nhiên, điều này cũng đi kèm với một số chi phí.

So one cost, that would be the cost of performance for performing all of this, because you have this retrieval step here, and that adds latency to each query compared to a simple prompt to a model.

Vậy chi phí đầu tiên là chi phí thực thi để thực hiện tất cả các bước này, vì ở đây có bước truy xuất dữ liệu, và điều này làm tăng độ trễ cho mỗi truy vấn so với việc chỉ đơn giản là đưa một lệnh vào mô hình.

There are also costs related to just kind of the processing of this as well.

Cũng có các chi phí liên quan đến quá trình xử lý này.

So if we think about what we are having to do here, we've got documents that need to be vector embeddings, and we need to store these vector embeddings in a database.

Vậy nếu chúng ta nghĩ về những gì chúng ta đang phải làm ở đây, chúng ta có các tài liệu cần được chuyển đổi thành các biểu diễn vectơ, và chúng ta cần lưu trữ các biểu diễn vectơ này trong một cơ sở dữ liệu.

All of this adds to processing costs, it adds to infrastructure costs to make this solution work.

Tất cả những điều này đều làm tăng chi phí xử lý, đồng thời làm tăng chi phí hạ tầng để triển khai giải pháp này.

Được rồi, tiếp theo là điều chỉnh chi tiết.

So remember how we discussed getting better answers about me by training a model specifically on let's say my video transcripts?

Vậy bạn còn nhớ chúng ta đã thảo luận về việc cải thiện chất lượng câu trả lời về tôi bằng cách đào tạo một mô hình đặc biệt trên các bản chép lời video của tôi không?

Đó chính là quá trình tinh chỉnh đang diễn ra.

So what we do with fine tuning is we take a model, but specifically an existing model.

Vậy, điều chúng ta làm với việc tinh chỉnh là chúng ta lấy một mô hình, nhưng cụ thể là một mô hình đã có sẵn.

And that existing model has broad knowledge.

Và mô hình hiện có đó có kiến thức rộng.

And then we're going to give it additional specialised training on a focused data set.

Sau đó, chúng tôi sẽ tiến hành đào tạo chuyên sâu cho nó trên một tập dữ liệu được chọn lọc.

So this is now specialised to what we want to develop particular expertise on.

Vậy bây giờ chúng ta đã tập trung vào lĩnh vực mà chúng ta muốn phát triển chuyên môn sâu.

Now during fine tuning, we're updating the model's internal parameters through additional training.

Hiện tại, trong giai đoạn tinh chỉnh, chúng tôi đang cập nhật các thông số nội bộ của mô hình thông qua quá trình đào tạo bổ sung.

So the model starts out with some weights here, kind of like this.

Vậy mô hình bắt đầu với một số trọng số ở đây, giống như thế này.

And those weights were optimised during its initial pre-training.

Và các trọng số đó đã được tối ưu hóa trong quá trình huấn luyện ban đầu.

And as we fine tune, we're making small adjustments here to the model's weight using this specialised data set.

Và trong quá trình tinh chỉnh, chúng tôi đang thực hiện các điều chỉnh nhỏ đối với trọng số của mô hình bằng cách sử dụng bộ dữ liệu chuyên biệt này.

Vậy là điều này đang được tích hợp.

Now this process typically uses supervised learning, where we provide input-output pairs that demonstrate the kind of responses we want.

Quá trình này thường sử dụng học có giám sát, trong đó chúng ta cung cấp các cặp dữ liệu đầu vào và đầu ra để minh họa loại phản hồi mà chúng ta mong muốn.

So for example, if we're fine tuning for technical support, we might provide thousands of examples of customer queries, and those would be paired with correct technical responses.

Ví dụ, nếu chúng ta đang tinh chỉnh cho hỗ trợ kỹ thuật, chúng ta có thể cung cấp hàng nghìn ví dụ về câu hỏi của khách hàng, và những câu hỏi đó sẽ được ghép đôi với các câu trả lời kỹ thuật chính xác.

The model adjusts its weights through backpropagation to minimise the difference between its predicted outputs and the targeted responses.

Mô hình điều chỉnh trọng số của mình thông qua quá trình truyền ngược (backpropagation) để giảm thiểu sự chênh lệch giữa các giá trị đầu ra dự đoán và các phản hồi mục tiêu.

So we're not just teaching the model new facts here, we're actually modifying how it processes information.

Vì vậy, chúng ta không chỉ đơn thuần dạy mô hình những thông tin mới, mà thực chất là điều chỉnh cách mô hình xử lý thông tin.

The model is learning to recognise domain-specific patterns.

Mô hình đang học cách nhận diện các mẫu đặc trưng của lĩnh vực.

So fine tuning shows its strength when you particularly need a model that has very deep domain expertise.

Việc tinh chỉnh mô hình thể hiện sức mạnh của mình khi bạn đặc biệt cần một mô hình có kiến thức chuyên môn sâu rộng trong lĩnh vực cụ thể.

That's what we can really add in with fine tuning.

Đó chính là những gì chúng ta có thể thực sự cải thiện thông qua việc tinh chỉnh chi tiết.

And also, it's much faster, specifically at inference time.

Và hơn nữa, nó nhanh hơn nhiều, đặc biệt là trong quá trình suy luận.

So when we are putting the queries in, it's faster than RAG because it doesn't need to search through external data.

Khi chúng ta nhập các truy vấn, quá trình này nhanh hơn so với RAG vì nó không cần phải tìm kiếm trong dữ liệu bên ngoài.

And because the knowledge is kind of baked into the model's weights, you don't need to maintain a separate vector database.

Và vì kiến thức đã được tích hợp sẵn vào các tham số của mô hình, bạn không cần phải duy trì một cơ sở dữ liệu vector riêng biệt.

Tuy nhiên, cũng có một số nhược điểm.

Well, there's certainly issues here with the training complexity of all of this.

Chà, rõ ràng là có vấn đề về độ phức tạp của quá trình đào tạo trong tất cả các khía cạnh này.

You're going to need thousands of high-quality training examples.

Bạn sẽ cần hàng nghìn ví dụ đào tạo chất lượng cao.

There are also issues with computational cost.

Cũng có những vấn đề liên quan đến chi phí tính toán.

The computational cost for training this model can be substantial and it's going to require a whole bunch of GPUs.

Chi phí tính toán để đào tạo mô hình này có thể rất lớn và sẽ yêu cầu một số lượng lớn GPU.

And there's also challenges related to maintenance as well, because unlike RAG, where you can easily add new documents to your knowledge base at any point, updating a fine-tuned model requires another round of training.

Và còn có những thách thức liên quan đến việc bảo trì, vì khác với RAG, nơi bạn có thể dễ dàng thêm tài liệu mới vào cơ sở kiến thức của mình bất cứ lúc nào, việc cập nhật một mô hình đã được tinh chỉnh yêu cầu một vòng đào tạo khác.

And then perhaps most importantly of all, there is a risk of something called catastrophic forgetting.

Và có lẽ quan trọng nhất trong tất cả, đó là nguy cơ xảy ra hiện tượng được gọi là "quên lãng thảm khốc".

Now that's when the model loses some of its general capabilities while it's busy learning these specialised ones.

Đó chính là lúc mô hình mất đi một số khả năng chung trong quá trình học các khả năng chuyên biệt.

So finally, let's explore prompt engineering.

Cuối cùng, hãy cùng tìm hiểu về kỹ thuật tạo prompt.

Specifying Martin Keen who works at IBM versus Martin Keen who founded Keen Shoes, that's prompt engineering, but at its most basic.

Xác định Martin Keen làm việc tại IBM so với Martin Keen, người sáng lập Keen Shoes, đó là kỹ thuật tạo prompt, nhưng ở mức cơ bản nhất.

Prompt engineering goes far beyond simple clarification.

Kỹ thuật tạo prompt không chỉ đơn thuần là làm rõ ý.

So let's think about when we input a prompt, the model receives this prompt and it processes it through a series of layers.

Vậy hãy nghĩ về lúc chúng ta nhập một lệnh, mô hình nhận lệnh này và xử lý nó qua một chuỗi các lớp.

And these layers are essentially attention mechanisms.

Và các lớp này về cơ bản là các cơ chế chú ý.

And each one focuses on different aspects of your prompt text that came in.

Và mỗi công cụ tập trung vào các khía cạnh khác nhau của văn bản đầu vào mà bạn đã cung cấp.

And by including specific elements in your prompt, so examples or context or how you want the format to look, you're directing the model's attention to relevant patterns it learned during training.

Và bằng cách bao gồm các yếu tố cụ thể trong lời nhắc của bạn, chẳng hạn như ví dụ, bối cảnh hoặc cách bạn muốn định dạng hiển thị, bạn đang hướng sự chú ý của mô hình vào các mẫu liên quan mà nó đã học được trong quá trình đào tạo.

So for example, telling a model to think about this step by step, that activates patterns it learned from training data where methodical reasoning led to accurate results.

Ví dụ, khi yêu cầu mô hình suy nghĩ từng bước một, điều này kích hoạt các mẫu mà mô hình đã học từ dữ liệu đào tạo, nơi quá trình suy luận có hệ thống dẫn đến kết quả chính xác.

So a well engineered prompt can transform a model's output without any additional training or without data retrieval.

Vì vậy, một lời nhắc được thiết kế tốt có thể thay đổi đầu ra của mô hình mà không cần đào tạo thêm hoặc thu thập dữ liệu.

Hãy giả sử chúng ta hỏi, liệu đoạn mã này có an toàn không?

Đây không phải là một gợi ý hay.

An engineered prompt, it might read a bit more like this.

Một lời nhắc được thiết kế, nó có thể được viết như sau:

Hiện tại, chúng tôi chưa thay đổi mô hình.

Chúng tôi chưa thêm dữ liệu mới.

We've just better activated its existing capabilities.

Chúng tôi vừa mới kích hoạt hiệu quả hơn các khả năng hiện có của nó.

Now I think the benefits to this are pretty obvious.

Bây giờ tôi nghĩ rằng lợi ích của điều này là khá rõ ràng.

One is that we don't need to change any of our back end infrastructure here because there are no infrastructure changes at all in order to prompt better.

Một là chúng ta không cần phải thay đổi bất kỳ phần hạ tầng phía sau nào ở đây vì không có bất kỳ thay đổi hạ tầng nào cần thiết để cải thiện hiệu suất.

Tất cả đều phụ thuộc vào người dùng.

There's also the benefit that by doing this, you get to see immediate responses and immediate results to what you do.

Ngoài ra, lợi ích của việc này là bạn có thể thấy ngay lập tức phản hồi và kết quả của những gì mình làm.

We don't have to add in new training data or any kind of data processing.

Chúng ta không cần phải thêm dữ liệu đào tạo mới hoặc thực hiện bất kỳ xử lý dữ liệu nào.

But of course, there are some limitations to this as well.

Tuy nhiên, tất nhiên, cũng có một số hạn chế đối với điều này.

Prompt engineering is as much an art as it is a science.

Kỹ thuật tạo prompt là sự kết hợp giữa nghệ thuật và khoa học.