Giải pháp Agent AI dựa trên đồ thị: Tối ưu độ tin cậy LLM trong tài chính

Tối ưu hóa độ tin cậy của LLM trong tính toán tài chính sử dụng kiến trúc agent bốn giai đoạn

Phân tích số học trong lĩnh vực tài chính đòi hỏi độ chính xác và tính minh bạch cao. Tuy nhiên, việc nhắc lệnh trực tiếp các Mô hình Ngôn ngữ Lớn (LLMs) để thực hiện các phép tính số học đa bước thường không đáng tin cậy và thiếu sự minh bạch cần thiết cho các ứng dụng tài chính quan trọng. Các tài liệu tài chính phức tạp và có khối lượng lớn đặt ra những thách thức đáng kể về mặt lý luận.

Để giải quyết vấn đề này, nhóm kỹ sư tại VNPT AI đề xuất một quy trình agent AI có cấu trúc, chỉ tập trung vào suy luận (inference-only). Phương pháp này hệ thống hóa việc giải quyết các vấn đề Hỏi đáp Lý luận Số học Tài chính (Numerical Reasoning QA) phức tạp bằng cách mô hình hóa quá trình lý luận thành một đồ thị chu trình phi hướng (directed acyclic graph), nhằm đảm bảo luồng thực thi có cấu trúc và minh bạch.

Kiến Trúc Agent Bốn Giai Đoạn và Cơ chế Lập Kế Hoạch Đa Đường dẫn

Generator), Bộ trả lời Truy vấn Con (Subquery Answerer), Bộ lập Kế hoạch và Lịch trình (Plan and Scheduler), và Bộ trích xuất Phương trình (Equation Extractor, tương ứng với Giai đoạn Lựa chọn và Thực thi Chương trình Tối ưu).

1. Phân rã Câu hỏi (Question Decomposition): Chiến lược "chia để trị" được áp dụng để phân rã câu hỏi chính thành các truy vấn con tìm kiếm sự kiện cơ bản. Điều này tách biệt nhiệm vụ xác định bằng chứng số học với nhiệm vụ tính toán phức tạp sau đó, nhằm giảm thiểu rủi ro lỗi suy luận và tăng cường độ tin cậy của dữ liệu đầu vào.
2. Trích xuất Dữ liệu Có cơ sở (Grounded Data Extraction): Mỗi truy vấn con được thực thi độc lập đối với bối cảnh tài chính để trích xuất các giá trị số học cần thiết. Tập hợp các giá trị này cung cấp các đối số cụ thể cho giai đoạn tổng hợp chương trình.
3. Lập kế hoạch Đa đường dẫn (Multi-Path Program Generation): Đây là đóng góp cốt lõi của phương pháp. Kỹ thuật n-sampling (với $n=15$ ứng viên trong thí nghiệm) được sử dụng để tạo ra một tập hợp các chương trình lý luận tiềm năng. Việc khám phá không gian giải pháp đa dạng này giúp tăng cường tính mạnh mẽ chống lại các lỗi suy luận phổ biến.
4. Lựa chọn và Thực thi Chương trình Tối ưu (Optimal Program Selection and Execution): Chương trình tối ưu được chọn dựa trên phương pháp bỏ phiếu đa số (majority voting) đối với cấu trúc chương trình được chuẩn hóa. Chương trình được tạo ra thường xuyên nhất sẽ được chọn, với độ phức tạp thấp hơn được sử dụng làm tiêu chí phá vỡ sự cân bằng. Sau đó, chương trình này được thực thi để tạo ra câu trả lời số học cuối cùng.

Hiệu suất và Phân tích Kết quả Cạnh tranh

Quy trình agent được kiểm chứng trong cuộc thi VLSP 2025 Numerical Reasoning QA, sử dụng mô hình Qwen3-8B cho Subtask 1 và Qwen3-32B cho Subtask 2.

Trên bộ dữ liệu kiểm tra riêng tư VLSP 2025, phương pháp agent dựa trên đồ thị (MPR-Agent) đã đạt được những kết quả nổi bật:

• Subtask 2: Đạt được Độ chính xác Thực thi (Execution Accuracy - EA) cao nhất là 84.00% trong số tất cả các đối thủ. EA là chỉ số đo lường sự trùng khớp chính xác của câu trả lời số học cuối cùng.
• Subtask 1: Đạt vị trí top-3 với EA là 79.14% và Độ chính xác Chương trình (Program Accuracy - PA) là 69.82%. PA đo lường phần trăm các chương trình dự đoán tương đương logic với chương trình chuẩn sau khi chuẩn hóa cấu trúc.

Kết quả thực nghiệm cho thấy phương pháp agent có cấu trúc mang lại sự cải thiện tuyệt đối đáng kể so với phương pháp nhắc lệnh trực tiếp (direct-prompting baseline), khẳng định rằng các quy trình công việc agent có cấu trúc vượt trội hơn so với việc nhắc lệnh LLM trực tiếp đối với các tác vụ lý luận phức tạp.

Ưu tiên Tính Đúng đắn Chức năng

Phân tích hiệu suất cho thấy agent này đặc biệt tối ưu hóa để tìm ra các giải pháp đúng đắn về mặt chức năng, ưu tiên độ chính xác của câu trả lời số học cuối cùng (EA cao). Điểm EA dẫn đầu trong Subtask 2, cùng với điểm PA cạnh tranh, chỉ ra rằng hệ thống luôn xác định được các giải pháp toán học hợp lý. Sự khác biệt về cấu trúc cú pháp của chương trình so với chương trình tham chiếu chuẩn (ví dụ, thêm bước chuyển đổi phần trăm tường minh trước khi chia) được coi là một tính năng thể hiện khả năng giải quyết vấn đề mạnh mẽ, linh hoạt.

Hạn chế và Hướng Phát triển

Mặc dù có hiệu suất cao, quy trình này vẫn có những hạn chế:

1. Sự phụ thuộc vào cơ chế đồng thuận: Phương pháp lựa chọn dựa trên bỏ phiếu đa số có thể thất bại khi mô hình LLM cơ bản mắc lỗi lý luận có hệ thống, khiến phần lớn các chương trình được tạo ra đều hội tụ về một lộ trình sai.
2. Chi phí tính toán: Cơ chế lập kế hoạch đa đường dẫn thông qua n-sampling (với $n=15$) làm tăng đáng kể chi phí và thời gian suy luận.

Tuy nhiên, phương pháp agent dựa trên đồ thị này đã thiết lập một tiêu chuẩn mới về độ tin cậy trong lý luận số học tài chính. Việc tập trung vào các quy trình agent có cấu trúc là hướng đi chiến lược để phát triển AI minh bạch và đáng tin cậy trong lĩnh vực tài chính.

Kết luận

Giải pháp Agent AI dựa trên đồ thị đã chứng minh tính ưu việt đáng kể trong lĩnh vực lý luận số học tài chính thông qua việc sử dụng phương pháp phân rã câu hỏi và lập kế hoạch đa đường dẫn (n-sampling). Phương pháp này đạt Độ chính xác Thực thi EA cao nhất là 84.00% trong Subtask 2 tại cuộc thi VLSP 2025 Numerical Reasoning QA, vượt trội so với baseline nhắc lệnh trực tiếp,,. Kết quả này nhấn mạnh khả năng của agent trong việc ưu tiên tính đúng đắn chức năng (functional correctness), cung cấp các câu trả lời số học chính xác ngay cả khi cấu trúc chương trình lý luận khác biệt về mặt cú pháp so với chương trình tham chiếu chuẩn,. Việc áp dụng các quy trình agent có cấu trúc là hướng đi chiến lược để phát triển AI đáng tin cậy và minh bạch hơn cho ngành tài chính.