PayPal tăng độ chính xác AI từ 43% lên 95% mà không cần đổi mô hình

Trong cuộc đua trí tuệ nhân tạo, nhiều doanh nghiệp đang nghĩ rằng muốn AI thông minh hơn thì phải mua mô hình lớn hơn, đầu tư thêm GPU hoặc trả nhiều tiền hơn cho nhà cung cấp công nghệ.

PayPal sử dụng 18 tác nhân AI trong quy trình đánh giá an ninh

PayPal vừa đưa ra một bài học hoàn toàn khác.

Công ty cho biết đã nâng độ chính xác của trợ lý AI nội bộ từ 43% lên 95% mà không thay đổi mô hình ngôn ngữ lớn đang sử dụng.

Bí quyết không nằm ở việc tăng kích thước mô hình. PayPal bổ sung một lớp tri thức doanh nghiệp, bao gồm định nghĩa dữ liệu, cách truy vấn, quy trình phân tích và kinh nghiệm vận hành.

Đây là một thay đổi quan trọng trong cách doanh nghiệp triển khai AI. Giá trị lớn nhất không nhất thiết nằm ở mô hình mà nằm ở kiến thức riêng mà doanh nghiệp tích lũy trong nhiều năm.

AI có dữ liệu nhưng vẫn không hiểu doanh nghiệp

Theo Ren Zhang, lãnh đạo sản phẩm AI toàn cầu của PayPal, trợ lý phân tích dữ liệu nội bộ đã có quyền truy cập vào những nguồn dữ liệu chất lượng cao và được kiểm chứng.

Nhưng điều đó không đảm bảo AI trả lời đúng.

Ví dụ, khi nhân viên hỏi về số lượng tài khoản mới, AI có thể truy xuất chính xác dữ liệu tài khoản nhưng vẫn áp dụng sai định nghĩa về thế nào là một tài khoản mới.

Đây là khác biệt giữa tìm thấy dữ liệu và hiểu dữ liệu.

Một doanh nghiệp có thể có hàng triệu bản ghi khách hàng, nhưng chỉ nhân viên hiểu rõ quy định nội bộ mới biết tài khoản nào được tính là mới, giao dịch nào được xem là thành công và hành vi nào cần đưa vào báo cáo.

AI không tự động biết những quy ước đó chỉ vì được cấp quyền truy cập cơ sở dữ liệu.

Lớp tri thức giúp PayPal tăng độ chính xác lên 95%

PayPal xây dựng một lớp tri thức riêng, tách biệt khỏi mô hình AI.

Lớp này có hai thành phần đáng chú ý.

Thứ nhất là các truy vấn chuẩn. Đây là những câu lệnh truy vấn đã được kiểm chứng, xác định cách lấy dữ liệu cho từng mục đích kinh doanh.

Thứ hai là sổ tay phân tích. Nó hướng dẫn AI cần kiểm tra những nhóm khách hàng, sản phẩm hoặc hành vi nào để trả lời một vấn đề.

Chẳng hạn, khi phân tích lỗi đăng nhập, hệ thống có thể được hướng dẫn xem xét việc sử dụng khóa truy cập và những hành vi liên quan.

Nhờ bổ sung kiến thức này, độ chính xác được công bố tăng từ 43% lên 95%, trong khi mô hình nền tảng vẫn giữ nguyên.

Đây là con số đáng chú ý, nhưng cần hiểu đúng: kết quả được báo cáo cho trợ lý phân tích dữ liệu nội bộ, không có nghĩa mọi sản phẩm AI của PayPal đều đạt độ chính xác 95%.

Tri thức doanh nghiệp có giá trị lâu dài hơn mô hình AI

Điểm kiến trúc quan trọng nhất là PayPal không muốn gắn kiến thức nội bộ với một mô hình cụ thể.

Khi có mô hình mới tốt hơn, công ty có thể thay thế mô hình mà không phải xây dựng lại toàn bộ quy trình và kiến thức kinh doanh.

Điều này giải quyết một vấn đề lớn của doanh nghiệp.

Các mô hình AI liên tục thay đổi. Nếu mỗi lần nâng cấp đều phải huấn luyện lại, điều chỉnh lại và xây dựng lại toàn bộ kiến thức, chi phí duy trì sẽ tăng nhanh.

PayPal từng thử nghiệm nhiều mô hình cho trợ lý thương mại hướng tới khách hàng. Một mô hình lớn có năng lực tốt nhưng thời gian phản hồi ban đầu khoảng 15 giây.

Công ty chuyển sang mô hình nhỏ hơn với 8 tỷ tham số để cải thiện tốc độ, nhưng độ chính xác giảm.

Việc tinh chỉnh mô hình giúp cải thiện kết quả, tuy nhiên đội ngũ nhận ra rằng phải liên tục tinh chỉnh theo từng phiên bản mới sẽ rất tốn kém.

Bài học là không phải vấn đề nào cũng cần giải quyết bằng cách huấn luyện lại mô hình.

Bảy tác nhân AI giám sát hơn 33.000 dịch vụ

PayPal còn triển khai một hệ thống nhiều tác nhân AI để hỗ trợ điều tra sự cố công nghệ.

Hệ thống kết hợp dữ liệu từ Datadog, ServiceNow và nhật ký nội bộ.

Mỗi tác nhân đảm nhận một nhiệm vụ riêng như thu thập thông tin, phân biệt tín hiệu quan trọng với nhiễu, tổng hợp bối cảnh và phân tích nguyên nhân.

Tuy nhiên, chia công việc cho nhiều tác nhân không đồng nghĩa loại bỏ được rủi ro.

Nếu một tác nhân đưa ra chẩn đoán sai và hệ thống tự động thực hiện biện pháp khắc phục, hậu quả có thể nghiêm trọng hơn lỗi ban đầu.

Vì vậy, PayPal yêu cầu các quyết định được đề xuất phải đối chiếu với nguồn dữ liệu có thẩm quyền. Nhiều quyết định vẫn cần con người xác minh.

AI phải biết khi nào cần hỏi con người

Một vấn đề quan trọng trong hệ thống tác nhân là không thể để AI tự quyết định mọi thứ.

PayPal kết hợp nguồn dữ liệu được chứng nhận, quy trình vận hành chuẩn, chính sách và đánh giá rủi ro.

Công ty cũng phát hiện rằng cách lưu trữ hướng dẫn ảnh hưởng trực tiếp đến độ chính xác.

Một công cụ trả lời câu hỏi nhân sự từng gặp khó khăn vì các bước quy trình bị chia nhỏ, khiến AI không hiểu được thứ tự thực hiện.

Sau đó, đội ngũ thay đổi cách lưu trữ, giữ các bước hướng dẫn liên quan trong cùng một cấu trúc.

Đối với một số quy trình, PayPal còn buộc tác nhân phải truy cập bộ nhớ tại thời điểm cụ thể thay vì để AI tự lựa chọn.

Đây là nguyên tắc quan trọng: quyền tự chủ của AI phải tương ứng với mức độ rủi ro của hành động.

42% doanh nghiệp từng gặp sự cố dù AI đã vượt qua kiểm thử

Một khảo sát tháng 10 của VB Pulse cho thấy 42% doanh nghiệp có đánh giá AI trước triển khai cho biết ít nhất một tính năng AI hoặc tác nhân AI đã vượt qua kiểm thử nội bộ nhưng sau đó vẫn gặp lỗi trong năm trước đó.

Trong nhóm doanh nghiệp ghi nhận sự cố, 49% cho biết sự cố nghiêm trọng nhất đã ảnh hưởng đến khách hàng.

Đáng chú ý, 39% người tham gia khảo sát không xác định được các công cụ kiểm tra tự động hoặc cảnh báo giám sát là phương thức đầu tiên giúp phát hiện kết quả AI sai hoặc kém chất lượng.

Điều này cho thấy khoảng cách giữa phòng thử nghiệm và môi trường thực tế rất lớn.

PayPal đang mở rộng kiểm thử bằng cách tạo câu hỏi mô phỏng, thử nghiệm nhiều lượt hội thoại và kết hợp đánh giá tự động với con người.

Công ty cũng sử dụng phản hồi của nhân viên để phát hiện những lỗi xuất hiện sau triển khai.

Điểm yếu lớn nhất là dữ liệu kiểm thử không giống nhu cầu thực tế

Một hệ thống có thể trả lời đúng gần như toàn bộ câu hỏi trong phòng thử nghiệm nhưng vẫn thất bại khi người dùng thực tế đặt những câu hỏi khác.

Ví dụ, doanh nghiệp kiểm thử 1.000 câu hỏi được chuẩn bị sẵn, nhưng khách hàng thường xuyên hỏi những vấn đề nằm ngoài nhóm đó.

Điểm đánh giá cao không phản ánh đúng trải nghiệm thực tế.

Đây là điểm yếu mà doanh nghiệp cần đặc biệt quan tâm.

AI không chỉ cần được kiểm tra trước khi triển khai. Nó cần được theo dõi liên tục sau khi triển khai, với dữ liệu phản hồi từ chính người sử dụng.

PayPal báo cáo trợ lý nội bộ đã xử lý hơn 1.000 câu hỏi và tiết kiệm ước tính 1.600 giờ trong 10 tuần. Tuy nhiên, chính công ty cũng cảnh báo không nên lấy số lượng câu hỏi làm bằng chứng duy nhất cho năng suất.

Doanh nghiệp Việt Nam có thể học gì từ PayPal?

Đối với doanh nghiệp nhỏ và vừa, việc tự xây dựng mô hình AI riêng thường quá tốn kém.

Nhưng xây dựng lớp tri thức doanh nghiệp lại thực tế hơn nhiều.

Nếu điều hành một doanh nghiệp tại Việt Nam, tôi sẽ bắt đầu bằng việc tập hợp những kiến thức đang nằm rải rác trong đầu nhân viên và các tài liệu nội bộ.

Chẳng hạn:

• Doanh nghiệp giao hàng cần chuẩn hóa quy trình xử lý đơn thất lạc, giao hàng thất bại và hoàn tiền.

• Doanh nghiệp du lịch cần xây dựng quy tắc đặt phòng, hủy dịch vụ và xử lý khiếu nại.

• Doanh nghiệp thương mại điện tử cần chuẩn hóa cách tính doanh thu, đơn hàng mới, khách hàng quay lại và hàng tồn kho.

• Doanh nghiệp dịch vụ cần biến kinh nghiệm chăm sóc khách hàng thành hướng dẫn có thể sử dụng lại.

Sau đó, kết nối những kiến thức này với mô hình AI phù hợp.

Không nhất thiết phải sử dụng mô hình đắt nhất. Có thể kết hợp dịch vụ AI từ Mỹ, Trung Quốc và các nhà cung cấp khác, nhưng phải kiểm soát quyền truy cập dữ liệu, bảo mật và khả năng chuyển đổi.

Lợi thế cạnh tranh mới nằm trong tri thức riêng của doanh nghiệp

PayPal đang cho thấy một hướng phát triển đáng chú ý của AI doanh nghiệp.

Mô hình có thể được thay thế. Phần cứng có thể nâng cấp. Nhà cung cấp có thể thay đổi.

Nhưng kiến thức về khách hàng, quy trình, sản phẩm và cách doanh nghiệp tạo ra lợi nhuận mới là tài sản khó sao chép.

Doanh nghiệp nào biết biến kinh nghiệm của nhân viên thành tri thức có cấu trúc, doanh nghiệp đó có thể sử dụng AI hiệu quả hơn mà không phải liên tục chạy theo những mô hình mới đắt tiền.

Cuộc đua AI tiếp theo không chỉ thuộc về người sở hữu mô hình thông minh nhất. Nó thuộc về doanh nghiệp biết dạy AI cách làm việc theo chính những quy tắc đã giúp doanh nghiệp tồn tại và phát triển.

PayPal AI, trí tuệ nhân tạo doanh nghiệp, lớp tri thức AI, dữ liệu doanh nghiệp, tác nhân AI, mô hình ngôn ngữ lớn, tự động hóa doanh nghiệp, AI phân tích dữ liệu, quản trị AI, độ chính xác AI, AI cho doanh nghiệp nhỏ, chuyển đổi số Việt Nam, bảo mật dữ liệu, năng suất doanh nghiệp