Name: Stack AI là gì? LLM, RAG và Phần cứng AI (What Is an AI Stack? LLMs, RAG, & AI Hardware)
Uploaded: 2025-11-10T00:30:51.000Z
Duration: 9 min 6 s
Description: Thousands of YouTube videos with English-Chinese subtitles! Now you can learn to understand native speakers, expand your vocabulary, and improve your pronunciation...

Whether you're building an experimental prototype for your own personal use, or creating an application to power an entire organization, there are key components of the AI technology stack that you must get right to build AI systems that can do more than just generate answers, but

Dù bạn đang xây dựng một nguyên mẫu thử nghiệm cho mục đích cá nhân, hay tạo ra một ứng dụng để vận hành toàn bộ tổ chức, đều có những thành phần cốt lõi của AI technology stack mà bạn phải làm đúng để xây dựng AI systems có thể làm nhiều hơn là chỉ đưa r

giải quyết các vấn đề thực tế có ý nghĩa.

Say for instance, I'm building an AI powered application to help drug discovery researchers understand and analyze the latest scientific papers in their domain.

Ví dụ, tôi đang xây dựng một AI powered application để giúp các nhà nghiên cứu khám phá thuốc hiểu và phân tích các bài báo khoa học mới nhất trong lĩnh vực của họ.

Maybe it starts with a model that I recently heard about that is supposed to be better at highly complex tasks like that of a PhD researcher.

Có lẽ nó bắt đầu với một Mô hình mà tôi mới nghe nói đến, được cho là tốt hơn trong các tác vụ cực kỳ phức tạp giống như của một nhà nghiên cứu Tiến sĩ.

Model is an important layer of the stack, but it's just one piece of the puzzle.

Mô hình là một lớp quan trọng của stack, nhưng nó chỉ là một mảnh ghép của bức tranh.

There's also the infrastructure that that model will run on, because not all LLMs, large language models can run on standard and enterprise CPU based servers, and

Ngoài ra còn có cơ sở hạ tầng mà mô hình đó sẽ chạy trên đó, bởi vì không phải tất cả LLMs, mô hình ngôn ngữ lớn đều có thể chạy trên các máy chủ dựa trên CPU doanh nghiệp tiêu chuẩn, và

not all are small enough to run on a laptop.

không phải tất cả đều đủ nhỏ để chạy trên laptop.

So it matters what infrastructure you have access to and how you choose to deploy it.

Vì vậy, cơ sở hạ tầng bạn có quyền truy cập và cách bạn chọn để triển khai nó là rất quan trọng.

Next is data, because in this example, the whole point is to help scientists understand the latest papers in their field.

Tiếp theo là dữ liệu, bởi vì trong ví dụ này, mục đích chính là giúp các nhà khoa học hiểu các bài báo mới nhất trong lĩnh vực của họ.

And models typically have a knowledge cutoff date.

Và các mô hình thường có ngày cắt kiến thức.

So if we want to talk about papers from, say the past three months, that means we have to provide the AI system with extra data.

Vì vậy, nếu chúng ta muốn nói về các bài báo trong, chẳng hạn, ba tháng qua, điều đó có nghĩa là chúng ta phải cung cấp cho AI system thêm dữ liệu.

Next would be the orchestration layer, because to do a complex task like this probably is going to require more than simply providing a large prompt into the AI system and getting a single output out.

Tiếp theo là lớp điều phối, bởi vì để thực hiện một tác vụ phức tạp như thế này có lẽ sẽ đòi hỏi nhiều hơn là chỉ cung cấp một lời nhắc lớn cho AI system và nhận một đầu ra duy nhất.

Instead, we'll want to break that user query up into different parts, help plan how the AI solution is going to actually tackle this problem, what data it needs, and

Thay vào đó, chúng ta sẽ muốn chia nhỏ truy vấn của người dùng thành các phần khác nhau, giúp lên kế hoạch cách giải pháp AI sẽ giải quyết vấn đề này, nó cần dữ liệu gì, và

then do the summarization and creating an answer and maybe even review that answer.

sau đó thực hiện tóm tắt và tạo câu trả lời và có thể thậm chí xem xét câu trả lời đó.

And this is because at the end of the day, there's a user using this tool.

Và điều này là bởi vì cuối cùng, sẽ có một người dùng sử dụng công cụ này.

So there will have to be an interface that defines what the inputs will be and what the outputs will be.

Vì vậy, sẽ phải có một giao diện xác định đầu vào sẽ là gì và đầu ra sẽ là gì.

It it might not be as simple as text in and text out.

Nó có thể không đơn giản như văn bản vào và văn bản ra.

And there's also the issue of integrations.

Và cũng có vấn đề về tích hợp.

So will the actual results of this be something that's integrated into other tools that this user uses?

Vậy kết quả thực tế của việc này có phải là thứ sẽ được tích hợp vào các công cụ khác mà người dùng này sử dụng không?

It's important to understand all the layers of the AI stack, whether you're building a solution from scratch or using solutions which might manage several of these layers for you as a service.

Điều quan trọng là phải hiểu tất cả các lớp của AI technology stack, cho dù bạn đang xây dựng một giải pháp từ đầu hay sử dụng các giải pháp có thể quản lý nhiều lớp này cho bạn dưới dạng dịch vụ.

This is because across the stack, from the hardware all the way up to the user interface level, the choices you make will have important implications on your solution's quality, its speed, its cost, and

Điều này là bởi vì trên toàn bộ AI technology stack, từ phần cứng cho đến giao diện người dùng, các lựa chọn bạn đưa ra sẽ có những tác động quan trọng đến chất lượng, tốc độ, chi phí và

sự an toàn của giải pháp của bạn.

When it comes to infrastructure, LLMs generally require AI specific hardware, specifically GPUs, and

Khi nói đến cơ sở hạ tầng, LLMs thường yêu cầu phần cứng chuyên dụng cho AI, cụ thể là GPU, và

these can be deployed in one of three ways.

chúng có thể được triển khai theo một trong ba cách.

assuming you have the means and resource to buy this kind of infrastructure yourself.

giả sử bạn có phương tiện và nguồn lực để tự mua loại cơ sở hạ tầng này.

Second option would be cloud and that would allow you to rent this capacity and be able to scale it up or down as needed.

Lựa chọn thứ hai là trên đám mây và điều đó sẽ cho phép bạn thuê công suất này và có thể mở rộng quy mô lên hoặc xuống khi cần.

Finally would be local, which usually means on your laptop.

Cuối cùng là cục bộ, thường có nghĩa là trên laptop của bạn.

Not all laptops can support LLMs of different sizes, but

Không phải laptop nào cũng có thể hỗ trợ LLMs với các kích thước khác nhau, nhưng

there are certainly LLMs on the smaller end of the range that can be run on the kind of GPUs available in a standard laptop.

chắc chắn có những LLMs ở phân khúc nhỏ hơn có thể chạy trên loại GPU có sẵn trong một chiếc laptop tiêu chuẩn.

The next layer is models, so AI builders have plenty of choice when it comes to what model they can use.

Lớp tiếp theo là các mô hình, vì vậy các nhà xây dựng AI có rất nhiều lựa chọn về mô hình họ có thể sử dụng.

One dimension to consider is whether the model is open versus proprietary.

Một khía cạnh cần xem xét là liệu mô hình đó là mã nguồn mở hay độc quyền.

Một khía cạnh khác là kích thước của mô hình.

Vì vậy, chúng ta có các mô hình ngôn ngữ lớn.

We also have small language models that might be lighter weight and able to fit on more lightweight hardware, but

Chúng ta cũng có các mô hình ngôn ngữ nhỏ hơn có thể nhẹ hơn và phù hợp với phần cứng nhẹ hơn, nhưng

might not have exactly the same thinking capacity as a large language model and instead be specialized for more specific things.

có thể không có khả năng suy nghĩ giống hệt như mô hình ngôn ngữ lớn và thay vào đó được chuyên môn hóa cho các tác vụ cụ thể hơn.

Finally is specialization, which sometimes goes hand in hand with size.

Cuối cùng là sự chuyên môn hóa, đôi khi đi đôi với kích thước.

Some models might perform better on things like reasoning or tool calling or generating code.

Một số mô hình có thể hoạt động tốt hơn trong các tác vụ như suy luận, gọi công cụ hoặc tạo mã.

Others might have different language strengths than others.

Một số có thể có thế mạnh ngôn ngữ khác với những cái khác.

There are plenty of new models, over 2 million already in model catalogs like Hugging Face that can serve any mix of these different needs that an AI builder might have.

Có rất nhiều mô hình mới, hơn 2 triệu mô hình đã có trong các danh mục mô hình như Hugging Face có thể phục vụ bất kỳ sự kết hợp nào của các nhu cầu khác nhau mà một nhà xây dựng AI có thể có.

Lớp tiếp theo của AI technology stack là dữ liệu.

This breaks up into a few different components, so the first would be data sources themselves to supplement the model's knowledge.

Điều này chia thành một vài thành phần khác nhau, vì vậy đầu tiên sẽ là chính các nguồn dữ liệu để bổ sung kiến thức cho mô hình.

This could also include the pipelines to do any processing, pre processing, post processing of that data, as well as vector databases you may use or retrieval systems.

Điều này cũng có thể bao gồm các pipeline để xử lý, tiền xử lý, hậu xử lý dữ liệu đó, cũng như các vector database bạn có thể sử dụng hoặc các hệ thống truy xuất.

Also known as RAG vector databases is the step where that external data is actually vectorized into embeddings that are saved so your model can retrieve that context more quickly and augment it with this additional knowledge that the base model does not have.

Còn được gọi là RAG, các vector database là bước mà dữ liệu bên ngoài đó thực sự được vector hóa thành các embeddings được lưu lại để mô hình của bạn có thể truy xuất ngữ cảnh đó nhanh hơn và bổ sung nó bằng kiến thức bổ sung mà mô hình cơ sở không có.

That's important because base models are usually trained on publicly available information which might not always be complete.

Điều đó quan trọng vì các mô hình cơ sở thường được huấn luyện trên thông tin công khai có thể không phải lúc nào cũng đầy đủ.

To accomplish the task that you have, you might need to supplement with additional data.

Để hoàn thành tác vụ bạn có, bạn có thể cần bổ sung thêm dữ liệu.

The next layer is orchestration, because building an AI system that does something more complex than just generating text or answering questions requires breaking the initial user input down into smaller tasks.

Lớp tiếp theo là orchestration, vì việc xây dựng một AI system thực hiện điều gì đó phức tạp hơn là chỉ tạo văn bản hoặc trả lời câu hỏi đòi hỏi phải chia nhỏ đầu vào ban đầu của người dùng thành các tác vụ nhỏ hơn.

Those can start with things like thinking, using the model's reasoning ability to plan out how it will tackle the problem.

Chúng có thể bắt đầu bằng những thứ như suy nghĩ, sử dụng khả năng suy luận của mô hình để lên kế hoạch cách nó sẽ giải quyết vấn đề.

That can also include things like execution where the model does tool calling or function calling, as well as steps like reviewing, where an LLM can actually provide its own critique of the initial generated responses and initiate feedback loops to even improve those responses responses.

Điều đó cũng có thể bao gồm những thứ như thực thi, nơi mô hình thực hiện gọi công cụ hoặc gọi hàm, cũng như các bước như xem xét, nơi LLM thực sự có thể đưa ra đánh giá của riêng mình về các phản hồi ban đầu được tạo ra và khởi tạo các vòng lặp phản hồi 

This layer is very quickly evolving with new protocols like MCP and new architectures for how to best orchestrate increasingly complex tasks.

Lớp này đang phát triển rất nhanh với các giao thức mới như MCP và các kiến trúc mới để điều phối tốt nhất các tác vụ ngày càng phức tạp.

So the most widely used AI systems do follow a pretty simple design of text in and text out.

Vì vậy, các AI systems được sử dụng rộng rãi nhất tuân theo một thiết kế khá đơn giản là nhập văn bản và xuất văn bản.

But as we use these tools in our work and life, there are important features that become critical for the actual usability of AI.

Nhưng khi chúng ta sử dụng các công cụ này trong công việc và cuộc sống, có những tính năng quan trọng trở nên quan trọng đối với khả năng sử dụng thực tế của AI.

And these factors make up the application layer.

Và những yếu tố này tạo nên lớp ứng dụng.

The most classic interface is text in and text out.

Giao diện cổ điển nhất là nhập văn bản và xuất văn bản.

But there are other modalities that can be very valuable for certain tasks too, like image, audio, numerical data sets, and

Nhưng cũng có các phương thức khác có thể rất có giá trị cho các tác vụ nhất định, như hình ảnh, âm thanh, tập dữ liệu số và

vô số các định dạng dữ liệu tùy chỉnh khác.

Also in the interface, it's really important to keep in mind the ability to do things like revisions or citations, so that when the user sees what the model comes up with, they have the ability to edit that or inquire on it further.

Và trong giao diện, điều thực sự quan trọng là phải lưu ý đến khả năng thực hiện các thao tác như sửa đổi hoặc trích dẫn, để khi người dùng xem kết quả của Mô hình, họ có thể chỉnh sửa hoặc hỏi thêm về nó.

The second consideration is integrations and and that comes both in the form of integrations of allowing other tools that the user uses to actually send inputs to the AI system, or to take the model outputs and automate how that gets integrated into some of the tools that they use in their day to day work.

Yếu tố thứ hai là tích hợp, và điều này bao gồm cả việc cho phép các công cụ khác mà người dùng sử dụng gửi đầu vào cho AI system, hoặc lấy đầu ra của Mô hình và tự động hóa cách nó được tích hợp vào một số công cụ mà họ sử dụng trong công việc hàng ngày.

Altogether, these layers of the AI stack, from the hardware to the models, the data you use, how you orchestrate it, and

Tóm lại, các lớp của AI technology stack này, từ phần cứng đến các Mô hình, dữ liệu bạn sử dụng, cách bạn điều phối nó, và

the application and the usability of it matter, because when we have a clear understanding of how they fit together, we can see what's truly possible and make practical choices to design AI systems that are reliable, effective and aligned to our real world needs.

ứng dụng cùng khả năng sử dụng của nó đều quan trọng, bởi vì khi chúng ta hiểu rõ cách chúng kết hợp với nhau, chúng ta có thể thấy những gì thực sự có thể và đưa ra những lựa chọn thực tế để thiết kế AI systems đáng tin cậy, hiệu quả và phù hợp với nhu c