Name: Tổng quan về Unity Catalog (Unity Catalog Overview)
Uploaded: 2025-12-21T12:43:16.000Z
Duration: 6 min 48 s
Description: Thousands of YouTube videos with English-Chinese subtitles! Now you can learn to understand native speakers, expand your vocabulary, and improve your pronunciation...

Let's get a look at some of those features matej has highlighted that we've recently added to Unity Catalog.

Chúng ta hãy xem qua một số tính năng mà matej đã nêu bật mà chúng tôi vừa thêm vào Unity Catalog.

We'll go ahead and start in Data Explorer where we can see all of the objects registered to our Unity catalog.

Chúng ta sẽ bắt đầu trong Data Explorer, nơi chúng ta có thể thấy tất cả các đối tượng được đăng ký trong Unity catalog của mình.

To get us started, I'll open up Retail Prod where I know our team is building a Churn prediction model.

Để bắt đầu, tôi sẽ mở Retail Prod, nơi tôi biết nhóm của chúng ta đang xây dựng Churn prediction model.

What I love about this view is that I can see that Churn prediction model along with previous versions metadata comments right alongside the data that was used to train it.

Điều tôi thích ở chế độ xem này là tôi có thể thấy Churn prediction model cùng với các phiên bản trước, metadata, nhận xét ngay bên cạnh dữ liệu đã được sử dụng để huấn luyện nó.

I can look at sample data history and lineage and I can view non tabular data or files and functions associated with the project as long as they're registered to the same schema.

Tôi có thể xem lịch sử dữ liệu mẫu, lineage và xem dữ liệu không phải dạng bảng hoặc các tệp và hàm liên quan đến dự án, miễn là chúng được đăng ký vào cùng một schema.

You might also notice that with Lakehouse Federation you can now access and external Data systems like MySQL, Postgres, and

Bạn cũng có thể nhận thấy rằng với Lakehouse Federation, bạn hiện có thể truy cập các hệ thống dữ liệu bên ngoài như MySQL, Postgres và

Snowflake from directly within Data Explorer.

Snowflake trực tiếp từ Data Explorer.

This is huge because lots of organizations still have a long tail of sources yet to be ingested into the lakehouse, so you want to be able to permission manage and access that from one place.

Điều này rất quan trọng vì nhiều tổ chức vẫn còn một lượng lớn các nguồn chưa được đưa vào lakehouse, vì vậy bạn muốn có thể permission manage và truy cập nó từ một nơi.

For example, if I want to give my analyst team read access to query this table, all I have to do is click Permissions, highlight that group, hit select and boom.

Ví dụ, nếu tôi muốn cấp cho nhóm analyst team của mình quyền truy cập đọc để truy vấn bảng này, tất cả những gì tôi phải làm là nhấp vào Permissions, chọn nhóm đó, nhấn select và xong.

Now they can query the table with all of the bells and whistles available to Unity Catalog like masking and tagging and in a future version this will push down all the way into the source system itself, in this case postgres.

Giờ đây, họ có thể truy vấn bảng với tất cả các tính năng có sẵn của Unity Catalog như masking và tagging, và trong phiên bản tương lai, tính năng này sẽ được đẩy xuống hệ thống nguồn, trong trường hợp này là postgres.

Vì vậy, hãy hào hứng với điều đó ngay bây giờ.

Data Explorer is great when I know which specific assets I want to work with and I know specifically what I want to do.

Data Explorer rất tuyệt khi tôi biết tài sản cụ thể nào tôi muốn làm việc và tôi biết chính xác mình muốn làm gì.

But if what I am really looking to get is a high level understanding of the health of my data estate, I want to open up this Unity Catalog governance portal.

Nhưng nếu điều tôi thực sự muốn có được là hiểu biết tổng quan về tình trạng của data estate của tôi, tôi muốn mở governance portal của Unity Catalog này.

This will give me a sense of what all is inside my data ecosystem and how we're doing against governance and monitoring against them.

Điều này sẽ cho tôi biết mọi thứ có trong data ecosystem của tôi và chúng ta đang hoạt động như thế nào đối với governance và giám sát chúng.

For example, of my 143,000 tables I can see that about 60% of them are monitored.

Ví dụ, trong số 143.000 bảng của tôi, tôi có thể thấy khoảng 60% trong số chúng đang được giám sát.

They have Lakehouse Monitoring enabled which is AI for governance.

Chúng đã bật Lakehouse Monitoring, đó là AI cho governance.

With Lakehouse Monitoring you can set up alerts and dashboards to automatically detect and automatically correct lots of issues with respect to potential PII leakage, data quality, data drift and more.

Với Lakehouse Monitoring, bạn có thể thiết lập cảnh báo và bảng điều khiển để tự động phát hiện và tự động sửa nhiều vấn đề liên quan đến rò rỉ PII tiềm ẩn, chất lượng dữ liệu, data drift và hơn thế nữa.

So this dashboard gives us a view of how our data estate changes over time, how we're doing on our governance and monitoring coverage, which of my catalogs might need attention based on some high level health metrics and one of the features I'm most excited about this surfaces some of those Auto detected issues for your review.

Vì vậy, bảng điều khiển này cho chúng ta thấy cách data estate của chúng ta thay đổi theo thời gian, chúng ta đang hoạt động như thế nào về phạm vi bao phủ governance và giám sát, danh mục nào của tôi có thể cần chú ý dựa trên một số chỉ số sức khỏe tổng 

Now, if you remember, Retail Prod is my team's project, so I'm definitely concerned that there's some potential personally identifiable information leaking into this table.

Bây giờ, nếu bạn nhớ, Retail Prod là dự án của nhóm tôi, vì vậy tôi chắc chắn lo ngại rằng có thể có thông tin nhận dạng cá nhân bị rò rỉ vào bảng này.

Let's go ahead and open up the lakehouse monitoring dashboard for this table to get a better sense of what's going on.

Chúng ta hãy mở bảng điều khiển Lakehouse Monitoring cho bảng này để hiểu rõ hơn về những gì đang diễn ra.

What's special about this view, where we can see this one active alert, is that we can actually see how this table has evolved over time.

Điểm đặc biệt của chế độ xem này, nơi chúng ta có thể thấy cảnh báo đang hoạt động này, là chúng ta thực sự có thể thấy bảng này đã phát triển như thế nào theo thời gian.

Vì vậy, tôi biết có một cảnh báo, nhưng

I can also see that that alert only started as of today, which is great.

Tôi cũng có thể thấy rằng cảnh báo đó chỉ bắt đầu từ hôm nay, điều này thật tuyệt.

Hopefully that gives us enough time to contain anything that might have been impacted.

Hy vọng điều đó cho chúng ta đủ thời gian để kiểm soát bất cứ điều gì có thể bị ảnh hưởng.

So if we scroll down, we can get a bit more information about what the system saw.

Vì vậy, nếu chúng ta cuộn xuống, chúng ta có thể nhận được thêm thông tin về những gì hệ thống đã phát hiện.

Like this PII appeared in user attributes.

Như PII xuất hiện trong các thuộc tính người dùng.

It looks like 7.8% of the rows may have a first or last name in that column.

Có vẻ như 7,8% các hàng có thể có tên hoặc họ trong cột đó.

Let's look at one of the sample values to better validate.

Hãy xem một trong các giá trị mẫu để xác thực tốt hơn.

Yep, it looks like User attributes is a JSON string, so it's easy for additional attributes to get added that do in fact look like names.

Ừm, có vẻ như Thuộc tính người dùng là một chuỗi JSON, nên rất dễ để thêm các thuộc tính bổ sung trông giống như tên.

So we'll want to make sure that this is getting masked and we'll want to figure out how this got here in the first place.

Vì vậy, chúng ta sẽ muốn đảm bảo rằng điều này đang được che giấu và chúng ta sẽ muốn tìm hiểu xem điều này đã xảy ra ở đây ngay từ đầu như thế nào.

To do that, I'll open up this table back in our Data Explorer view.

Để làm điều đó, tôi sẽ mở lại bảng này trong chế độ xem Data Explorer của chúng ta.

Ở đây bạn có thể thấy cảnh báo đó.

Again, we can validate that this column is being properly masked and we can open up our lineage graph to see where it came from in the first place.

Một lần nữa, chúng ta có thể xác nhận rằng cột này đang được che giấu đúng cách và chúng ta có thể mở biểu đồ lineage của mình để xem nó đến từ đâu ngay từ đầu.

Here's the table in question, as we can see by the red markings and the monitoring alert.

Đây là bảng đang được đề cập, như chúng ta có thể thấy qua các dấu màu đỏ và cảnh báo giám sát.

But it's joining a lot of different tables from different systems.

Nhưng nó đang kết hợp rất nhiều bảng khác nhau từ các hệ thống khác nhau.

So let's expand this to see where the User Attributes column came from.

Vì vậy, hãy mở rộng điều này để xem cột Thuộc tính người dùng đến từ đâu.

So now I know to reach out to the team that owns Postgres to see if this is expected or if further mitigation is needed.

Vì vậy, bây giờ tôi biết phải liên hệ với nhóm sở hữu Postgres để xem liệu điều này có được mong đợi hay không hoặc liệu cần phải giảm thiểu thêm hay không.

I can also follow the table downstream and see this floats into a feature store which powers our churn prediction model.

Tôi cũng có thể theo dõi bảng này và xem nó chảy vào feature store, nơi cung cấp năng lượng cho churn prediction model của chúng ta.

If PII gets into that model, we are out of compliance.

Nếu PII lọt vào mô hình đó, chúng ta sẽ vi phạm quy định.

So I really want to roll this back to a version that was trained before the PII was introduced.

Vì vậy, tôi thực sự muốn quay lại một phiên bản đã được huấn luyện trước khi PII được đưa vào.

And to do that I'll just look at that model in Data Explorer.

Và để làm điều đó, tôi sẽ xem mô hình đó trong Data Explorer.

So I'll definitely want to roll back the churn prediction model to a version that was trained before PII was introduced.

Vì vậy, tôi chắc chắn sẽ muốn quay lại churn prediction model về một phiên bản đã được huấn luyện trước khi PII được đưa vào.

In this case, we can see the latest version was trained after PII was introduced.

Trong trường hợp này, chúng ta có thể thấy phiên bản mới nhất được huấn luyện sau khi PII được đưa vào.

So we'll want to go back to version one in our system, we're set up to serve the model that's Alias as Champion.

Vì vậy, chúng ta sẽ quay lại phiên bản một trong hệ thống của mình, chúng ta được thiết lập để phục vụ mô hình được gọi là Champion.

So all we have to do to serve the previous version is Alias version one as champion.

Vì vậy, tất cả những gì chúng ta phải làm để phục vụ phiên bản trước là gọi phiên bản một là Champion.

Now we know we've successfully mitigated the model that we're serving, and we're now serving the SAFE model.

Bây giờ chúng ta biết mình đã giảm thiểu thành công mô hình mà chúng ta đang phục vụ, và giờ chúng ta đang phục vụ mô hình AN TOÀN.

All in all, in the last couple of minutes, what we saw was that the system detected potential PII leakage.

Tóm lại, trong vài phút vừa rồi, chúng ta đã thấy hệ thống phát hiện rò rỉ PII tiềm ẩn.

It automatically masked and mitigated any potential leakage to end users, and

Nó tự động che giấu và giảm thiểu mọi rò rỉ tiềm ẩn cho người dùng cuối, và

it made it easy for us to understand where the PII was coming from and what potential systems and models were impacted downstream.

nó giúp chúng ta dễ dàng hiểu PII đến từ đâu và những hệ thống, mô hình nào có khả năng bị ảnh hưởng ở phía sau.

Now that we've aliased the previous version as the champion, we know we're serving the SAFE model.

Giờ chúng ta đã đặt bí danh cho phiên bản trước là Champion, chúng ta biết mình đang phục vụ mô hình AN TOÀN.

In the last few minutes, we saw Enterprise Wide Reach with LakeHouse Federation with MySQL PostgreSQL and Snowflake available to access, manage and permission from within Unity Catalog.

Trong vài phút vừa rồi, chúng ta đã thấy Phạm vi Tiếp cận Toàn Doanh nghiệp với LakeHouse Federation với MySQL, PostgreSQL và Snowflake có sẵn để truy cập, quản lý và cấp quyền từ bên trong Unity Catalog.

We saw Governance for AI with our model Feature store and volumes directly available within Data Explorer.

Chúng ta đã thấy Quản trị cho AI với kho tính năng mô hình và các volume của chúng ta có sẵn trực tiếp trong Data Explorer.

We also saw AI for Governance with Lakehouse Monitoring automatically detecting and resolving that potential PII issue.

Chúng ta cũng đã thấy AI cho Quản trị với Lakehouse Monitoring tự động phát hiện và giải quyết vấn đề PII tiềm ẩn đó.

This workflow has saved me tons of time compared to what it used to look like, and

Quy trình làm việc này đã tiết kiệm cho tôi rất nhiều thời gian so với trước đây, và

with that, I think maybe I deserve an extra long lunch.

với điều đó, tôi nghĩ có lẽ tôi xứng đáng được nghỉ trưa dài hơn.