Chiến Lược Phát Triển Bản Đồ Nguồn Dữ Liệu Cho AI

AI đang được doanh nghiệp ứng dụng vào nhiều hoạt động như phân tích dữ liệu, chăm sóc khách hàng, tìm kiếm thông tin nội bộ, tự động hóa quy trình và hỗ trợ ra quyết định. Tuy nhiên, để AI tạo ra kết quả có giá trị, doanh nghiệp không chỉ cần một mô hình AI mạnh mà còn phải biết dữ liệu đang nằm ở đâu, thuộc về ai, có nguồn gốc từ đâu và có thể sử dụng trong trường hợp nào.

Đây là lý do bản đồ nguồn dữ liệu ngày càng trở thành một thành phần quan trọng trong chiến lược dữ liệu và AI doanh nghiệp. Thay vì để dữ liệu phân tán trong nhiều hệ thống, bản đồ giúp doanh nghiệp hình dung và quản lý mối quan hệ giữa nguồn dữ liệu, người sở hữu, quy trình xử lý, quyền truy cập và các ứng dụng sử dụng dữ liệu.

01. Bản đồ nguồn dữ liệu là gì?

Bản đồ nguồn dữ liệu có thể hiểu là một cách trực quan hóa hoặc hệ thống hóa các nguồn dữ liệu của doanh nghiệp, cho biết dữ liệu nằm ở đâu, thuộc về ai, có đặc điểm gì, được xử lý ra sao và đang được sử dụng ở những đâu.

Trong thực tế, một doanh nghiệp có thể sở hữu dữ liệu từ rất nhiều nguồn:

• CRM và hệ thống quản lý khách hàng.
• ERP và phần mềm kế toán.
• Website và ứng dụng.
• Hệ thống bán hàng, POS hoặc thương mại điện tử.
• Email, tài liệu nội bộ và kho lưu trữ.
• Dữ liệu từ bộ phận marketing, chăm sóc khách hàng và vận hành.
• Cơ sở dữ liệu, data warehouse hoặc data lake.
• Các nguồn dữ liệu bên thứ ba.

AWS mô tả Data Catalog là một thành phần giúp doanh nghiệp quản lý tài sản dữ liệu thông qua metadata, trong đó metadata kỹ thuật có thể bao gồm nguồn, thời gian tạo, thời gian chỉnh sửa và kích thước dữ liệu; metadata nghiệp vụ bổ sung thông tin về phân loại, cấu trúc, thời hạn lưu giữ và các thuộc tính liên quan.

Vì vậy, bản đồ nguồn dữ liệu không đơn giản là danh sách tên các file hoặc phần mềm. Nó cần cung cấp ngữ cảnh để doanh nghiệp hiểu dữ liệu và sử dụng dữ liệu đúng mục đích.

02. Vì sao bản đồ nguồn dữ liệu quan trọng với AI doanh nghiệp?

a. Tăng khả năng truy xuất nguồn gốc dữ liệu

Khi hệ thống AI được kết nối với metadata và data lineage, đội ngũ có thể dễ dàng hơn trong việc xác định dữ liệu nền tảng đến từ hệ thống nào và đã trải qua những bước xử lý nào.

b. Hỗ trợ kiểm soát quyền truy cập

Không phải dữ liệu nào trong doanh nghiệp cũng có thể cung cấp cho mọi ứng dụng AI. Việc xác định chủ sở hữu và chính sách truy cập giúp hạn chế sử dụng dữ liệu sai phạm vi.

c. Nhận diện dữ liệu trùng lặp và phân mảnh

Một thông tin khách hàng có thể xuất hiện ở CRM, hệ thống bán hàng và file Excel của bộ phận kinh doanh. Bản đồ giúp doanh nghiệp nhận diện các nguồn dữ liệu liên quan, hiểu mối quan hệ giữa chúng và xác định nguồn phù hợp cho từng mục đích sử dụng.

d. Tạo nền tảng cho AI có ngữ cảnh

Google Cloud hiện định hướng Knowledge Catalog như một lớp quản trị và ngữ cảnh cho dữ liệu và AI, kết nối tài sản dữ liệu với metadata, ngữ nghĩa nghiệp vụ, quy tắc quản trị và các mối quan hệ.

03. Bản đồ nguồn dữ liệu nên có những thành phần nào?

Một bản đồ hữu ích không nhất thiết phải phức tạp ngay từ đầu. Doanh nghiệp có thể bắt đầu bằng một số trường thông tin cốt lõi.

a. Tên và loại nguồn dữ liệu

Ghi rõ dữ liệu đến từ CRM, ERP, website, database, file, API, hệ thống bán hàng hay nguồn bên ngoài.

b. Chủ sở hữu dữ liệu

Mỗi nguồn dữ liệu nên có bộ phận hoặc cá nhân chịu trách nhiệm. AWS cũng nhấn mạnh vai trò của data ownership trong việc xác định trách nhiệm đối với nguồn gốc, định nghĩa, thuộc tính và mối quan hệ của dữ liệu.

c. Mục đích sử dụng

Doanh nghiệp cần ghi rõ dữ liệu được sử dụng cho báo cáo, vận hành, phân tích, chăm sóc khách hàng hay ứng dụng AI nào.

d. Metadata

Metadata giúp mô tả dữ liệu thay vì chỉ lưu trữ dữ liệu. Có thể bao gồm định dạng, thời gian cập nhật, nguồn gốc, trường dữ liệu, mức độ nhạy cảm và các thông tin nghiệp vụ liên quan.

e. Quyền truy cập và phân loại

Cần xác định dữ liệu nào có thể chia sẻ rộng rãi, dữ liệu nào chỉ dành cho một bộ phận và dữ liệu nào cần kiểm soát chặt chẽ.

f. Data lineage

Data lineage thể hiện hành trình của dữ liệu từ nguồn ban đầu qua các bước xử lý đến nơi tiêu thụ. Đây là thành phần quan trọng khi doanh nghiệp cần phân tích tác động của việc thay đổi một nguồn dữ liệu.

AWS cho biết Data Catalog có thể cung cấp lineage về hành trình dữ liệu từ nguồn đến nơi sử dụng, hỗ trợ phân tích tác động khi hệ thống nguồn thay đổi.

g. Chất lượng và độ tin cậy của dữ liệu

Bản đồ hoặc catalog nên ghi nhận những thông tin liên quan đến chất lượng dữ liệu như tần suất cập nhật, thời điểm kiểm tra gần nhất, mức độ đầy đủ, tình trạng dữ liệu và các cảnh báo liên quan. Những thông tin này giúp người dùng đánh giá liệu một nguồn dữ liệu có phù hợp với trường hợp sử dụng cụ thể hay không.

04. 06 bước xây dựng bản đồ nguồn dữ liệu cho AI

a. Xác định các trường hợp sử dụng AI

Không nên lập bản đồ toàn bộ dữ liệu doanh nghiệp một cách dàn trải ngay từ đầu. Hãy xác định AI sẽ được dùng để giải quyết vấn đề gì.

Ví dụ:

• Trợ lý AI trả lời câu hỏi nội bộ.
• AI phân tích dữ liệu khách hàng.
• AI hỗ trợ nhân viên chăm sóc khách hàng.
• AI tổng hợp báo cáo kinh doanh.
• AI hỗ trợ tìm kiếm tài liệu.

Từ từng trường hợp sử dụng, doanh nghiệp xác định loại dữ liệu cần thiết.

b. Kiểm kê các nguồn dữ liệu

Lập danh sách các hệ thống, cơ sở dữ liệu, tài liệu và nguồn dữ liệu bên ngoài đang tồn tại. Ở giai đoạn này, doanh nghiệp nên ghi nhận cả dữ liệu có cấu trúc và phi cấu trúc. Microsoft Purview hiện sử dụng Data Map như lớp kỹ thuật để đăng ký và quét các nguồn dữ liệu, thu thập metadata. Unified Catalog cung cấp lớp khám phá và quản trị dữ liệu hướng tới người dùng nghiệp vụ.

c. Gắn chủ sở hữu và trách nhiệm

Mỗi nguồn dữ liệu cần có người hoặc bộ phận chịu trách nhiệm. Điều này giúp doanh nghiệp biết ai có thể xác nhận định nghĩa dữ liệu, chất lượng dữ liệu và quyền sử dụng.

AWS cũng khuyến nghị đội ngũ xây dựng Data Catalog nên kết hợp chuyên môn kỹ thuật với kiến thức nghiệp vụ để đảm bảo catalog phản ánh đúng nhu cầu của tổ chức.

d. Mô tả mối quan hệ giữa các nguồn

Đây là bước biến danh sách dữ liệu thành bản đồ nguồn dữ liệu thực sự.

Ví dụ 1:

CRM → dữ liệu khách hàng → Data Warehouse → báo cáo kinh doanh → AI phân tích khách hàng.

Ví dụ 2:

Website → hành vi người dùng → hệ thống phân tích → kho dữ liệu → AI hỗ trợ marketing.

Khi thể hiện được các mối quan hệ này, doanh nghiệp dễ xác định dữ liệu nào là nguồn gốc và dữ liệu nào đã qua biến đổi.

e. Đánh giá chất lượng và mức độ phù hợp

Không phải nguồn dữ liệu nào cũng phù hợp để đưa vào AI.

Doanh nghiệp cần kiểm tra:

• Dữ liệu có đầy đủ không?
• Có bị trùng lặp không?
• Có thường xuyên được cập nhật không?
• Định nghĩa dữ liệu có rõ ràng không?
• Nguồn dữ liệu có đáng tin cậy không?
• Có chứa thông tin nhạy cảm không?
• Có phù hợp với mục đích sử dụng AI không?

NIST lưu ý rằng AI có sự phụ thuộc đáng kể vào dữ liệu và phương pháp huấn luyện, đồng thời chất lượng và tính đại diện của dữ liệu có liên quan trực tiếp đến các rủi ro của hệ thống AI.

f. Duy trì bản đồ theo thời gian

Bản đồ nguồn dữ liệu không nên được tạo một lần rồi bỏ quên. Khi doanh nghiệp triển khai phần mềm mới, thay đổi database, thêm nguồn dữ liệu hoặc thay đổi quy trình nghiệp vụ, bản đồ cũng cần được cập nhật.

Microsoft mô tả mô hình quản trị liên kết (federated) như một cách tiếp cận kết hợp giám sát tập trung với trách nhiệm quản trị dữ liệu được phân bổ cho các đơn vị phù hợp.

05. Bản đồ nguồn dữ liệu là nền móng cho AI doanh nghiệp

Triển khai AI không chỉ là lựa chọn mô hình, mua công cụ hay kết nối API. Một hệ thống AI doanh nghiệp cần biết dữ liệu nào tồn tại, dữ liệu nào đáng tin cậy, dữ liệu thuộc về ai, được phép sử dụng ra sao và liên quan đến những hệ thống nào.

Vì vậy, bản đồ nguồn dữ liệu nên được xem như một lớp nền của chiến lược dữ liệu và AI. Khi doanh nghiệp xây dựng được bản đồ rõ ràng, việc quản trị dữ liệu, kiểm soát quyền truy cập, theo dõi nguồn gốc và cung cấp ngữ cảnh cho AI cũng trở nên có hệ thống hơn.

NIST AI RMF 1.0 sử dụng bốn nhóm chức năng Govern – Map – Measure – Manage để hỗ trợ tổ chức quản lý rủi ro AI. Đây cũng là một cách tiếp cận hữu ích để doanh nghiệp không chỉ lập bản đồ dữ liệu mà còn tiếp tục quản trị, đo lường và cải thiện hệ thống theo thời gian.

06. Giải đáp thắc mắc về bản đồ nguồn dữ liệu

a. Bản đồ nguồn dữ liệu có giống Data Catalog không?

Không hoàn toàn. Bản đồ nguồn dữ liệu tập trung vào việc mô tả các nguồn và mối quan hệ giữa chúng. Data Catalog là hệ thống quản lý và khám phá metadata của tài sản dữ liệu, trong khi bản đồ nguồn dữ liệu nhấn mạnh việc thể hiện các nguồn dữ liệu và mối quan hệ giữa chúng. Trên thực tế, một Data Catalog có thể chứa hoặc hỗ trợ nhiều thành phần của bản đồ dữ liệu như metadata, ownership, lineage và relationships.

b. Doanh nghiệp nhỏ có cần xây dựng bản đồ nguồn dữ liệu không?

Có thể bắt đầu ở quy mô nhỏ. Doanh nghiệp có thể lập danh sách các nguồn dữ liệu quan trọng, chủ sở hữu, mục đích sử dụng và quyền truy cập trước khi triển khai hệ thống Data Catalog chuyên dụng.

c. Bản đồ nguồn dữ liệu có giúp giảm hiện tượng AI trả lời sai không?

Bản đồ không tự động loại bỏ lỗi của AI. Tuy nhiên, việc xác định nguồn dữ liệu, metadata, lineage, quyền truy cập và ngữ cảnh nghiệp vụ có thể hỗ trợ xây dựng hệ thống AI dựa trên nguồn dữ liệu được quản trị tốt hơn. Google Cloud cũng mô tả việc cung cấp ngữ cảnh được quản trị cho AI agents là một thành phần nhằm giúp chúng dựa trên thông tin doanh nghiệp đã được kiểm chứng.

07. Kết

Bản đồ nguồn dữ liệu là nền tảng giúp doanh nghiệp hiểu rõ dữ liệu đang ở đâu, thuộc về ai, được sử dụng như thế nào và có phù hợp cho AI hay không. Thay vì triển khai AI trên một hệ thống dữ liệu thiếu kiểm soát, doanh nghiệp nên bắt đầu từ việc xác định nguồn dữ liệu, metadata, quyền truy cập và mối quan hệ giữa các hệ thống. Đây là bước quan trọng để xây dựng nền tảng dữ liệu minh bạch, có tổ chức và sẵn sàng cho quá trình ứng dụng AI lâu dài.