Chi phí AI agent đang trở thành bài toán khó đoán với doanh nghiệp

Ảnh minh họa

Chi phí AI agent hiện chưa có công thức tính toán đáng tin cậy, khiến người dùng doanh nghiệp rơi vào thế bị động khi triển khai công nghệ này vào công việc thực tế. Các hãng lớn như OpenAI, Google và Anthropic đều công bố bảng giá theo token, nhưng không có mức giá nào trong số đó cho người dùng biết tổng chi phí cuối cùng để thực sự giải quyết một vấn đề.

Đại học Michigan cùng nhóm nghiên cứu từ Stanford, All Hands AI, DeepMind của Google, Microsoft và MIT vừa công bố một nghiên cứu chỉ rõ vấn đề đó. Nhóm nghiên cứu gọi đây là công trình đầu tiên khảo sát một cách hệ thống mức tiêu thụ token của AI agent trong các tác vụ lập trình. Đáng chú ý, một trong các đồng tác giả là nhà kinh tế học Erik Brynjolfsson của Stanford, người đã có nhiều công bố về tác động của trí tuệ nhân tạo tới năng suất lao động.

Tương quan giữa chi phí token và độ chính xác. Ảnh: Đại học Michigan

Phát hiện đầu tiên của nhóm nghiên cứu khiến nhiều người bất ngờ. AI agent tiêu tốn lượng token cao hơn gấp nhiều lần so với việc trò chuyện thông thường theo từng lượt hỏi đáp. Con số chênh lệch được ghi nhận lên tới 3.500 lần so với một phiên chat đơn giản dùng ChatGPT. Token ở đây được hiểu là đơn vị dữ liệu nhỏ nhất mà mô hình xử lý, có thể là một phần của từ, một từ trọn vẹn hoặc một dấu câu, tùy theo cách mô hình chia nhỏ văn bản đầu vào.

Cùng một mô hình, hai lần chạy hai mức giá khác nhau

Sự khác biệt giữa các mô hình đã đủ gây lo ngại, nhưng điều khiến giới chuyên môn bất ngờ hơn nằm ở chỗ ngay cả cùng một mô hình xử lý cùng một bài toán cũng cho ra chi phí không giống nhau. Nhóm nghiên cứu dùng nền tảng mã nguồn mở OpenHands, do các nhà khoa học Đại học Illinois Urbana Champaign phát triển, để xây dựng agent và kiểm tra trên bộ đề chuẩn SWE Bench, tập hợp từ các vấn đề thực tế được báo cáo trên GitHub. Kết quả cho thấy phiên chạy tốn kém nhất có thể gấp đôi lượng token và chi phí tiền bạc so với phiên chạy tiết kiệm nhất trên cùng một bài toán. Nhóm tác giả viết rằng mức tiêu thụ token của agent có phương sai lớn ngay cả khi xử lý chính xác cùng một vấn đề.

Xét về hiệu quả giữa các mô hình, GPT 5 và phiên bản 5.2 của OpenAI đạt độ chính xác cao với chi phí thấp, dù không phải mô hình chính xác nhất trong nhóm thử nghiệm. Claude Sonnet 4.5 của Anthropic đứng đầu về độ chính xác nhưng đi kèm chi phí token cao hơn. Gemini 3 Pro của Google nằm ở mức trung bình. Riêng mô hình Kimi K2 của phòng thí nghiệm Moonshot bên Trung Quốc rơi vào tình huống bất lợi nhất, tiêu tốn nhiều token nhất nhưng cho độ chính xác thấp nhất. Nhóm nghiên cứu nhận định khoảng cách này không đến từ độ khó của bài toán hay việc mô hình cố xử lý vấn đề phức tạp hơn, mà phản ánh một xu hướng hành vi gắn liền với kiến trúc riêng của từng mô hình.

Biến động chi phí giữa các lần chạy cùng một mô hình. Ảnh: Đại học Michigan

Một phát hiện khác cũng đáng quan tâm không kém. Tiêu tốn nhiều token hơn không đồng nghĩa với kết quả tốt hơn. Nhóm tác giả ghi nhận độ chính xác thường đạt đỉnh ở mức chi phí trung bình rồi chững lại khi chi phí tăng cao, đồng thời hành vi của agent trở nên bất ổn hơn khi đối mặt các tác vụ phức tạp. Nhiều mô hình tiếp tục dò tìm lời giải ngay cả khi hướng đi đã bế tắc, do thiếu cơ chế nhận biết khi nào một tác vụ không thể giải quyết được để dừng lại sớm. Hệ quả là mô hình liên tục thử lại, đọc lại ngữ cảnh, tích lũy chi phí mà không tạo thêm tiến triển nào.

Mô hình tự dự đoán chi phí cũng sai lệch lớn

Nhóm nghiên cứu còn thử một cách tiếp cận táo bạo hơn, yêu cầu chính agent tự ước tính số token cần dùng trước khi bắt tay xử lý một vấn đề cụ thể, chẳng hạn sửa lỗi trong một hàm so sánh của mã nguồn Python. Kết quả cho thấy các mô hình có khả năng ước lượng ở mức thô nhưng liên tục đưa ra con số thấp hơn thực tế, đặc biệt với token đầu vào. Độ lệch càng lớn khi giá trị thực tế tăng lên tới hàng triệu token trong khi dự đoán vẫn giữ ở mức thấp và bị nén lại.

Yếu tố then chốt được nhóm tác giả nhấn mạnh là token đầu vào, chứ không phải token đầu ra, mới là nguồn chi phí chính trong các tác vụ lập trình dùng agent. Nguyên nhân nằm ở cách agent liên tục gom thông tin từ nhiều nguồn khác nhau rồi đưa cùng một ngữ cảnh trở lại mô hình nhiều lần trong quá trình xử lý. Trong đó, phần token đọc lại từ bộ nhớ đệm chiếm tỷ trọng lớn nhất cả về khối lượng lẫn chi phí tính bằng tiền, phản ánh việc tái sử dụng liên tục ngữ cảnh cũ qua từng bước xử lý.

Người dùng cần cơ chế minh bạch và cam kết kết quả

Từ những dữ liệu trên, nhóm tác giả thừa nhận chưa có giải pháp đơn giản cho bài toán chi phí AI agent. Đề xuất khả dĩ nhất hiện nay là để agent đưa ra ước tính ở mức thô trước khi bắt đầu tác vụ tốn kém, qua đó hỗ trợ cảnh báo ngân sách sớm dù không đảm bảo độ chính xác ở cấp độ từng token. Người dùng cũng có thể chủ động kiểm soát một phần chi phí thông qua việc rút gọn độ dài yêu cầu đầu vào, giới hạn phạm vi ngữ cảnh mà agent được phép sử dụng và hạn chế số lượng công cụ bên ngoài mà agent gọi tới trong quá trình xử lý.

Tuy vậy, phần việc còn lại vượt quá khả năng của từng cá nhân người dùng và cần một sự thay đổi ở quy mô toàn ngành. Việc thiếu minh bạch về chi phí khiến các doanh nghiệp gặp khó khi lập kế hoạch đầu tư cho phần mềm, buộc họ phải tự chạy thử nghiệm nhiều lần chỉ để ước tính một con số chi phí trung bình mang tính tham khảo. Đáng lo ngại hơn cả là việc không có cam kết thành công ngay cả sau khi agent đã tiêu tốn lượng token lớn, đồng nghĩa doanh nghiệp có thể mất tiền cho những tác vụ không đi đến đâu. Theo nhóm nghiên cứu, người dùng cần cùng nhau lên tiếng với các hãng như OpenAI, Google và Anthropic để đòi hỏi bảng giá minh bạch hơn cùng một hình thức cam kết về khả năng hoàn thành tác vụ, nếu không toàn bộ làn sóng ứng dụng AI agent có nguy cơ chìm trong chi phí vượt kiểm soát và những dự án triển khai dang dở.

Theo tạp chí Điện tử và Ứng dụng