Name: Delta Lake là gì? (What is this delta lake thing?)
Uploaded: 2025-12-21T12:45:20.000Z
Duration: 6 min 58 s
Description: Thousands of YouTube videos with English-Chinese subtitles! Now you can learn to understand native speakers, expand your vocabulary, and improve your pronunciation...

And in this video, we're going to talk all about Delta Lake and Delta Tables.

Và trong video này, chúng ta sẽ nói về Delta Lake và Delta Tables.

If you find this for the very first time, be sure to hit that subscribe button to stay up to date from all the videos from both Adam and this guy.

Nếu đây là lần đầu bạn xem kênh, nhớ nhấn nút đăng ký để cập nhật tất cả video từ cả Adam và mình nhé.

All right then, thank you so much for coming back.

Chúng ta đã nhận được nhiều sự quan tâm từ nó.

And in this video we're going to talk about this Delta Lake, these delta tables.

Và trong video này chúng ta sẽ nói về Delta Lake, các Delta Tables này.

Just continuing the video series of building this modern lakehouse data warehouse.

Tiếp tục chuỗi video xây dựng kho dữ liệu lakehouse hiện đại này.

Vậy bạn hãy cho chúng tôi biết, Delta Lake là gì?

So Delta Lake is files that is changeable.

Vậy Delta Lake là các tệp có thể thay đổi được.

While previously you would have a parquet file and that parquet file cannot be changed, a delta table builds a framework around it which allows you to update, insert or delete values to it and make it asset compliant.

Trong khi trước đây bạn có một tệp parquet và tệp parquet đó không thể thay đổi, một Delta Table xây dựng một khung xung quanh nó cho phép bạn cập nhật, chèn hoặc xóa các giá trị và làm cho nó tuân thủ ACID.

Tôi nghĩ mình đã phát âm đúng rồi.

Tính nhất quán, tính cô lập và tính bền vững.

So it brings all of the asset compliancy to a parquet file, like in a relational database.

Vậy là nó mang tất cả sự tuân thủ ACID cho một tệp parquet, giống như trong cơ sở dữ liệu quan hệ.

All right, so why would I use this delta though?

Được rồi, vậy tại sao tôi lại sử dụng cái delta này nhỉ?

So why wouldn't I just sage it up into a file system or into a database and override it and then select from it?

Vậy tại sao tôi không lưu nó vào hệ thống tệp hoặc cơ sở dữ liệu rồi ghi đè và sau đó chọn từ đó?

Why wouldn't I just do it the old school way?

Tại sao tôi không làm theo cách cũ?

If you would like to have incremental changes to your data in a data lake, you need to use delta.

Nếu bạn muốn có những thay đổi tăng dần đối với dữ liệu của mình trong hồ dữ liệu, bạn cần sử dụng delta.

There's a file as such is called immutable.

Có một tệp được gọi là bất biến.

Về cơ bản có nghĩa là bạn không thể thay đổi nó.

You need to do insert updates and deletes against it.

Bạn cần thực hiện chèn, cập nhật và xóa đối với nó.

The framework from Delta allows you to do that.

Khung làm việc từ Delta cho phép bạn làm điều đó.

It allows you to have the full history of any changes that are happening to your table inside that data lake, which allows you to basically look back in time as well.

Nó cho phép bạn xem toàn bộ lịch sử của mọi thay đổi đang diễn ra với bảng của bạn trong hồ dữ liệu đó, điều này cho phép bạn quay ngược thời gian.

If I'm loading a fact table instead of reloading the entire table, I can look at the delta and only pull the changes.

Nếu tôi đang tải một bảng fact thay vì tải lại toàn bộ bảng, tôi có thể xem delta và chỉ lấy các thay đổi.

If I'm loading my dimensions, I could use a delta to say give me the new rows for my dimension.

Nếu tôi đang tải các chiều của mình, tôi có thể sử dụng delta để yêu cầu các hàng mới cho chiều của tôi.

If I'm using the type 2, I can say expire the old row and look what's there and give me this new row and we'll talk about dimensions and facts and what they are and stuff like that in some upcoming videos.

Nếu tôi đang sử dụng loại 2, tôi có thể yêu cầu hết hạn hàng cũ và xem có gì ở đó và cung cấp cho tôi hàng mới này, và chúng ta sẽ nói về các chiều và fact cũng như chúng là gì và những thứ tương tự trong các video sắp tới.

Các bạn biết chúng ta thích làm thế nào rồi đấy.

We need to know how to create these delta tables.

Chúng ta cần biết cách tạo các delta table này.

Được rồi, chúng ta hãy chuyển sang laptop của Stan.

So we're back into our SYNAPSE analytic workspace and we're going to go head over to the Develop tab.

Vậy là chúng ta đã quay lại không gian làm việc phân tích SYNAPSE của mình và chúng ta sẽ chuyển sang tab Phát triển.

You can see this thing called Notebooks and we've got this delta table initialization notebook.

Bạn có thể thấy thứ này gọi là Notebooks và chúng ta có notebook khởi tạo delta table này.

We're going to first load that data frame based upon the data we loaded last time out of that SQL Server, which is our fact movement, data here format parquet.

Chúng ta sẽ tải khung dữ liệu đó dựa trên dữ liệu chúng ta đã tải lần trước từ SQL Server, đó là dữ liệu chuyển động fact của chúng ta, định dạng parquet.

And we're going to load it to a data frame.

Và chúng ta sẽ tải nó vào một khung dữ liệu.

Takes about 1 minute and 26 seconds just to start the session and load that data frame.

Chỉ mất khoảng 1 phút 26 giây để khởi động phiên và tải khung dữ liệu đó.

And so once we've loaded that data frame, we can just use that data frame to write it to a delta table, which is really not that hard.

Và vì vậy, sau khi chúng ta đã tải khung dữ liệu đó, chúng ta có thể sử dụng khung dữ liệu đó để ghi nó vào delta table, điều này thực sự không quá khó.

Bạn chỉ cần nói khung dữ liệu của chúng ta chấm write.

The format is going to be delta mode is override.

Định dạng sẽ là delta, chế độ là override.

Override just basically means if there's already a folder there that is delta, drop it, recreate that folder, and

Override về cơ bản có nghĩa là nếu đã có một thư mục ở đó là delta, hãy xóa nó, tạo lại thư mục đó và

then save it at display specific location.

rồi lưu nó vào một vị trí cụ thể.

And you can see that we're specifying that lake house silver here, Delta table fact movement.

Và bạn có thể thấy chúng ta đang chỉ định ở đây là lake house silver, Delta table fact movement.

If you're not familiar with notebooks and Spark, you should go watch the video we did talking about what's a notebook and what is spark and why you would use Spark, which is some cool stuff.

Nếu bạn chưa quen với notebooks và Spark, bạn nên xem video chúng tôi đã làm nói về notebook là gì và spark là gì và tại sao bạn lại sử dụng Spark, đó là một số thứ hay ho.

But in that bronze layer, Stan, that's our staging.

Nhưng trong lớp bronze đó, Stan, đó là nơi lưu trữ tạm thời của chúng ta.

That's where we just grabbing all the data from our source, we drop it in that bronze layer.

Đó là nơi chúng ta chỉ lấy tất cả dữ liệu từ nguồn của mình, chúng ta thả nó vào lớp bronze đó.

But then just now in your Pyspark script, I saw you, I'm guessing you're initializing the delta, like creating the delta for the first time and then moving that data to the silver layer.

Nhưng ngay bây giờ trong script Pyspark của bạn, tôi thấy bạn, tôi đoán bạn đang khởi tạo delta, giống như tạo delta lần đầu tiên và sau đó di chuyển dữ liệu đó sang lớp silver.

So normally you would do some steps in between where you're going to cleanse and enrich that data to move it to that silver layer.

Vì vậy, thông thường bạn sẽ thực hiện một số bước ở giữa, nơi bạn sẽ làm sạch và làm giàu dữ liệu đó để di chuyển nó sang lớp silver.

We knew that the data was okay, so we're just initializing that delta table there as it is.

Chúng tôi biết rằng dữ liệu đã ổn, vì vậy chúng tôi chỉ khởi tạo delta table đó như hiện tại.

And that basically is in a format called delta, where we can update, insert and delete that values to any data that's coming in.

Và về cơ bản, nó ở một định dạng gọi là delta, nơi chúng ta có thể cập nhật, chèn và xóa các giá trị đó cho bất kỳ dữ liệu nào đang đến.

We're going to push to that same format that we have in Silver.

Chúng ta sẽ đẩy sang cùng một định dạng mà chúng ta có trong Silver.

So everything in Silver will be the same format.

Vì vậy, mọi thứ trong Silver sẽ có cùng định dạng.

Nó có thể là bất cứ thứ gì chúng ta muốn.

And then from that silver layer, we go to that gold layer.

Và sau đó từ lớp silver đó, chúng ta đi đến lớp gold.

And this is the layer that our Power BI users would connect to to consume this data or data scientists will connect to to use all that data.

Và đây là lớp mà người dùng Power BI của chúng ta sẽ kết nối để sử dụng dữ liệu này hoặc các nhà khoa học dữ liệu sẽ kết nối để sử dụng tất cả dữ liệu đó.

So bronze is our raw data, our silver is our delta where we enable it so we can do all of our time travel and stuff.

Vì vậy, bronze là dữ liệu thô của chúng ta, silver của chúng ta là delta nơi chúng ta kích hoạt nó để chúng ta có thể thực hiện tất cả các tính năng du hành thời gian và các thứ khác.

And then we have our goal layer, which is, you know, the serving layer for all of our report consumers.

Và sau đó chúng ta có lớp goal, là lớp phục vụ cho tất cả những người dùng báo cáo của chúng ta.

All right, so I'm not familiar with this Pyspark.

Được rồi, vậy là tôi không quen với Pyspark này.

I'm a SQL guy, and you guys are talking about how flexible SYNAPSE is.

Tôi là người dùng SQL, và các bạn đang nói về mức độ linh hoạt của SYNAPSE.

Is there any way that I could just do SQL instead of learning PySpark?

Có cách nào để tôi chỉ dùng SQL thay vì học PySpark không?

That's a cool thing because that Spark engine can also read SQL.

Đó là một điều hay vì engine Spark đó cũng có thể đọc SQL.

Vậy để tôi cho bạn thấy điều đó.

Okay, so here you see that we created that data frame into a delta table.

Được rồi, ở đây bạn thấy chúng ta đã tạo khung dữ liệu đó thành một Delta Table.

Now, if I want to use the SQL language here, I can basically use SQL language as well to do the same statements I did above.

Bây giờ, nếu tôi muốn sử dụng ngôn ngữ SQL ở đây, tôi về cơ bản có thể sử dụng ngôn ngữ SQL để thực hiện các câu lệnh giống như tôi đã làm ở trên.

So you can write it in PySpark, you can write it in SQL even.

Vậy bạn có thể viết bằng PySpark, thậm chí bạn có thể viết bằng SQL.

Net, there's different languages you can use to write this.

Thật vậy, có nhiều ngôn ngữ khác nhau bạn có thể dùng để viết cái này.

We need a little bit of Pyspark code to turn this data frame that we have here into a temp view.

Chúng ta cần một chút mã Pyspark để biến khung dữ liệu mà chúng ta có ở đây thành một view tạm thời.

And that basically makes it accessible from the SQL language inside Spark.

Và điều đó về cơ bản giúp ngôn ngữ SQL trong Spark có thể truy cập được nó.

Once we've done this, we can now write SQL code.

Sau khi chúng ta làm điều này, bây giờ chúng ta có thể viết mã SQL.

The first thing you need to do is specify percent percent SQL to say, hey, this is a SQL code cell.

Việc đầu tiên bạn cần làm là chỉ định phần trăm phần trăm SQL để nói, này, đây là một ô mã SQL.

If you've already created the table, you can say drop table if exists, drop database if exists, create a database which is called Kyne Cube.

Nếu bạn đã tạo bảng, bạn có thể nói drop table if exists, drop database if exists, tạo một cơ sở dữ liệu có tên là Kyne Cube.

Create that table, add kyemecube with the dot fact movement using delta at this specific location.

Tạo bảng đó, thêm kyemecube với dot fact movement sử dụng delta tại vị trí cụ thể này.

You can see here that we're also specifying that silverware and selecting from fact movement, which is that temp view we created over here.

Bạn có thể thấy ở đây rằng chúng ta cũng đang chỉ định silverware đó và chọn từ fact movement, đó là view tạm thời mà chúng ta đã tạo ở đây.

And once we've done this, you can just say, hey, give me another SQL cell and select from that data.

Và sau khi hoàn thành, bạn chỉ cần nói, này, cho tôi một ô SQL khác và chọn từ dữ liệu đó.

So from that gym Q fact movement, you can see you can read that data inside that notebook.

Vì vậy, từ kyemecube fact movement đó, bạn có thể thấy bạn có thể đọc dữ liệu đó bên trong notebook đó.

And then one more really cool thing is remember that we created a database here.

Và một điều nữa thực sự hay là hãy nhớ rằng chúng ta đã tạo một cơ sở dữ liệu ở đây.

That database will also be underneath your lake databases over here, and

Cơ sở dữ liệu đó cũng sẽ nằm dưới các hồ dữ liệu của bạn ở đây, và

that will contain that table called Fact movements.

nó sẽ chứa bảng có tên là Fact movements.

That metadata is synced across your SYNAPSE workspace, which makes it really easy to work with from there on.

Siêu dữ liệu đó được đồng bộ hóa trên không gian làm việc SYNAPSE của bạn, điều này giúp làm việc từ đó trở đi rất dễ dàng.

So instead of doing all that SSIs and staging and stuff like that, I can use Data Factory to quickly just, you know, dynamically, like we did in the first video, dump all the data into the stage environment.

Vì vậy, thay vì làm tất cả những thứ SSIS, staging và những thứ tương tự, tôi có thể sử dụng Data Factory để nhanh chóng, bạn biết đấy, một cách linh hoạt, như chúng ta đã làm trong video đầu tiên, đổ tất cả dữ liệu vào môi trường staging.

Then I can write some scripts, some pyspark or even some SQL.

Sau đó, tôi có thể viết một số script, một số pyspark hoặc thậm chí một số SQL.