Chuyển Đổi AI: Thách Thức và Giải Pháp từ Confluent
Trong vòng sáu tháng qua, nhiều khách hàng của Confluent đã bắt đầu đưa các dự án trí tuệ nhân tạo (AI) từ giai đoạn thử nghiệm (PoCs) vào sản xuất. Tuy nhiên, theo Andrew Sellers, Phó Giám đốc Chiến lược Công nghệ và Tư vấn của công ty, họ thường gặp phải nhiều khó khăn khi triển khai các dự án này vào thực tiễn.
Các tổ chức cần phải thực tế về công nghệ AI, nhưng ngay cả khi một mô hình đạt được mục tiêu đề ra, vẫn có nhiều yếu tố khác cần xem xét để đảm bảo thành công. “Các khuôn khổ AI hiện có đã giúp việc bắt đầu với các AI Agent dễ dàng hơn, nhưng thử thách thực sự nằm ở việc làm cho chúng sẵn sàng cho sản xuất,” Sellers chia sẻ. “Thời gian trước đây, các nguyên mẫu thường gặp khó khăn vì không thể truy cập vào ngữ cảnh theo thời gian thực hoặc tích hợp đáng tin cậy với các công cụ và dữ liệu cần thiết. Hậu quả là dẫn đến một mớ hỗn độn của các hệ thống và cơ sở dữ liệu, biến các quy trình đa tác nhân thành những khối đơn rất yếu kém và không thể mở rộng.”
Dữ liệu chất lượng cao, có thể truy cập và thuộc về miền ứng dụng là rất cần thiết, cùng với khả năng theo dõi và tái lập. Một vấn đề phát sinh khi các cuộc gọi giao thức ngữ cảnh mô hình (MCP) bị “quên” ngay khi phản hồi được trả về. Sellers nhấn mạnh rằng những bài học từ việc sử dụng microservices để gọi các mô hình ngôn ngữ lớn (LLMs) có thể áp dụng trong tình huống này, với kiến trúc theo sự kiện giúp tăng cường khả năng nhìn nhận các sự kiện mà các đại lý phản ứng.
Mặc dù các LLM có thể tạo ra kết quả “ảo tưởng,” Sellers cho biết điều này có thể được ngăn chặn nếu chúng được đưa vào trong các câu hỏi cụ thể và dữ liệu thuộc miền. “Đó là vấn đề dữ liệu và niềm tin hơn là vấn đề mô hình,” ông gợi ý.
Khó khăn này càng gia tăng khi các ứng dụng hiện đại cần tích hợp dữ liệu theo thời gian thực một cách ngày càng nhiều. Trước đây, các hệ thống giao dịch hoạt động theo thời gian thực, trong khi việc phân tích thường được thực hiện theo yêu cầu hoặc theo báo cáo cuối ngày. Ngày nay, các lãnh đạo doanh nghiệp đang rút ngắn chu kỳ ra quyết định, và Sellers cảnh báo rằng “có rủi ro khi không hành động” để hỗ trợ sự thay đổi này.
Vì vậy, xử lý giao dịch và phân tích cần phải được kết hợp để cho phép phân tích nhanh chóng, với kết quả được đưa ngược vào các hệ thống hoạt động. Chẳng hạn, trong lĩnh vực bán lẻ Online, khách hàng hiện nay kỳ vọng vào sự cá nhân hóa cực cao, điều này không thể đạt được nếu không có quyền truy cập vào dữ liệu chính xác theo thời gian thực.
Để giải quyết những vấn đề này, Confluent đã giới thiệu Streaming Agents. Sellers giải thích rằng chúng cho phép các đội ngũ xây dựng, triển khai và tổ chức các đại lý theo sự kiện một cách bản địa trên Apache Flink. Các đại lý này có thể giám sát và hành động ngay lập tức trên các sự kiện kinh doanh, mang lại tự động hóa thông minh với khả năng quản lý trạng thái và khả năng phát lại.
Khả năng phát lại đến từ việc mọi thông tin mà đại lý tiếp nhận đều nằm trong một nhật ký sự kiện không thay đổi. “Các đội ngũ có thể quay lại dòng sự kiện, bất kể là để phục hồi sau sự cố, kiểm tra logic mới, hay kiểm toán các quyết định của đại lý sau này,” ông nói.
Trong lĩnh vực an ninh, ví dụ, Streaming Agents có thể thực hiện phát hiện bất thường theo thời gian thực bằng cách sử dụng Machine Learning tích hợp trên các dòng dữ liệu có tốc độ cao, như số liệu hệ thống, lưu lượng mạng và dữ liệu cảm biến. Thêm vào đó, việc tích hợp metadata từ các hồ sơ sự cố và nguồn tin về mối đe dọa có thể xác định các nhóm sự kiện liên quan, sau đó được đưa vào quy trình làm việc có sự trợ giúp của LLM để xác định nguyên nhân gốc rễ và chuyển hướng cảnh báo đến các nhóm liên quan, giảm thiểu thời gian giải quyết.
Về vấn đề niềm tin, Sellers khuyến nghị nên thực hiện quy trình và quản lý càng gần đến nguồn dữ liệu càng tốt. “Những người hiểu rõ dữ liệu nhất thường là những người tạo ra nó,” ông nói, đồng thời nhấn mạnh rằng “quản lý chủ yếu là vấn đề tạo ra metadata.” Cách tiếp cận này cho phép các AI Agent và phân tích được áp dụng vào dữ liệu ở bất kỳ nơi nào phù hợp nhất.
Điều này khác với việc sử dụng hồ dữ liệu, mà theo ông thường trở thành “hố đen.” Sellers cũng nhấn mạnh rằng việc ETL ngược (trích xuất, biến đổi, tải) thường không hoạt động tốt. Ông cho rằng việc phát Online dữ liệu cho phép tích hợp hiệu quả hơn và cho phép người dùng đặt ra những câu hỏi tùy ý, không bị giới hạn bởi mục đích chính mà dữ liệu được thu thập.
Một rào cản khác để phát triển AI đại lý là việc xây dựng ứng dụng xung quanh LLM là một bước ngoặt so với phát triển phần mềm truyền thống. Điều này yêu cầu những kỹ năng, công cụ và quy trình khác nhau, đặc biệt là trong lĩnh vực đảm bảo chất lượng.
Ông cũng lưu ý rằng một số ngành nghề như dịch vụ tài chính và viễn thông đã quen thuộc hơn với các hệ thống “hộp đen” và do đó đang tiến bộ hơn với AI đại lý. “Phần còn lại trong chúng ta cần phải quen với điều này,” ông nói.
Tuy nhiên, việc kiểm tra trở nên ít quan trọng hơn khi AI đại lý được sử dụng để hỗ trợ con người thay vì thay thế. Sellers dẫn chứng ví dụ về các ngân hàng sử dụng các đại lý để tạo báo cáo phòng chống rửa tiền. Đầu ra không được sử dụng như một sản phẩm hoàn chỉnh, mà là điểm khởi đầu cho một báo cáo do con người viết. Cách tiếp cận này cho phép thực hiện 70% số báo cáo nhiều hơn trong cùng một khoảng thời gian, và những báo cáo tốt nhất được sử dụng để đào tạo lại mô hình. Mặc dù công việc này có thể không bao giờ hoàn toàn tự động trong các ngành có quy định, vai trò của con người có thể được giảm xuống còn đối chiếu các báo cáo do AI tạo ra.
Cuối cùng, các tổ chức vẫn có ba lựa chọn cơ bản cho việc kiểm tra. Một là tiến hành nhiều lần kiểm tra hơn so với trước đây. Hai là giữ một “nhân sự hiện diện” trong quy trình. Lựa chọn thứ ba là chấp nhận rằng một mô hình có thể đủ tốt ngay cả khi nó chỉ đúng 90% thời gian.
Lựa chọn thứ ba không khả thi trong những tình huống cao cấp, nhưng có thể chấp nhận được khi đề xuất hành động tiếp theo cho một nhân viên bán hàng. Thực tế, hầu hết các dự án AI đại lý hiện tại đều ở mức tạo ra khách hàng tiềm năng hơn là hoàn tất giao dịch.
Tuy nhiên, những dự án tinh vi hơn đang được triển khai. Sellers chỉ ra rằng các công ty bảo hiểm đang sử dụng AI đại lý để bảo hiểm một số rủi ro và xử lý yêu cầu bồi thường, các nhà viễn thông đang triển khai định tuyến cuộc gọi dự đoán, và các công ty công nghệ y tế đang nâng cao hồ sơ sức khỏe điện tử để làm cho chúng dễ hiểu hơn cho nhiều chuyên gia hơn.
Cuối cùng, Sellers khẳng định rằng các tổ chức đã sắp xếp dữ liệu của mình sẽ có lợi thế nhất trong việc áp dụng AI đại lý. Ông nhấn mạnh rằng chất lượng và khả năng truy cập dữ liệu phải được đặt lên hàng đầu, trước khi lựa chọn bất kỳ mô hình nào, để tổ chức có thể tận dụng mọi mô hình phù hợp xuất hiện trong tương lai.
Cuối cùng, ông kêu gọi các tổ chức chú ý nhiều hơn đến AI đạo đức, bao gồm cách sử dụng thông tin cá nhân một cách hợp lý và đảm bảo rằng các mô hình không bỏ qua những yếu tố mà con người sẽ xem xét khi đưa ra quyết định.
