Một nghiên cứu mới từ nhà khoa học AI của Samsung đã chỉ ra cách một mạng lưới nhỏ có thể vượt qua những mô hình ngôn ngữ lớn (Large Language Models – LLMs) khổng lồ trong các bài toán suy luận phức tạp.
Trong cuộc đua giành vị thế hàng đầu về AI, câu thần chú “to hơn thì tốt hơn” đã được ngành công nghệ áp dụng rộng rãi. Các ông lớn công nghệ đã đầu tư hàng tỷ đô la để tạo ra các mô hình ngày càng lớn hơn. Tuy nhiên, theo Alexia Jolicoeur-Martineau từ Samsung SAIL Montréal, một hướng đi hoàn toàn mới và hiệu quả hơn đang mở ra với Tiny Recursive Model (TRM).
Chỉ với 7 triệu tham số, bằng chưa đến 0,01% kích thước của các LLM hàng đầu, TRM đạt được kết quả đột phá trên các bộ dữ liệu thử thách như bài kiểm tra trí tuệ ARC-AGI. Công trình của Samsung đặt dấu hỏi lớn đối với giả định phổ biến rằng chỉ có mở rộng quy mô mới có thể nâng cao năng lực AI, đồng thời mang đến một giải pháp bền vững và tiết kiệm tham số hơn.
Vượt qua giới hạn về quy mô
Mặc dù các LLM sở hữu khả năng tạo ra văn bản giống như con người một cách ấn tượng, khả năng thực hiện suy luận nhiều bước phức tạp của chúng lại khá mong manh. Bởi vì LLM tạo câu trả lời từng token một, chỉ một sai sót nhỏ ở bước đầu có thể phá hủy toàn bộ lời giải và dẫn đến kết quả cuối cùng không chính xác.
Các kỹ thuật như Chain-of-Thought, cho phép mô hình “suy nghĩ thành tiếng” để phân tích vấn đề, đã được phát triển nhằm giảm thiểu lỗi này. Tuy nhiên, những phương pháp này tiêu tốn nhiều tài nguyên tính toán, thường đòi hỏi lượng lớn dữ liệu suy luận chất lượng cao mà không phải lúc nào cũng có sẵn, và vẫn có thể tạo ra các lý luận sai sót. Ngay cả với những cải tiến đó, LLM vẫn gặp khó khăn với các bài toán cần thực hiện logic hoàn hảo.
Công trình của Samsung dựa trên mô hình AI mới mang tên Hierarchical Reasoning Model (HRM). HRM giới thiệu phương pháp sử dụng hai mạng nơ-ron nhỏ làm việc đệ quy ở các tần số khác nhau để dần hoàn thiện câu trả lời. Mô hình này đầy hứa hẹn nhưng lại khá phức tạp, dựa trên các lý thuyết sinh học không chắc chắn và định lý điểm cố định phức tạp không được đảm bảo áp dụng trong mọi trường hợp.
Thay vì dùng hai mạng như HRM, TRM chỉ sử dụng một mạng cực nhỏ duy nhất, có khả năng đệ quy để cải thiện cả “suy luận” nội bộ lẫn “câu trả lời” dự kiến.
Mô hình nhận vào câu hỏi, một dự đoán ban đầu về câu trả lời và một đặc trưng suy luận ẩn. Nó thực hiện một chu trình qua nhiều bước để tinh chỉnh đặc trưng suy luận dựa trên ba đầu vào này. Sau đó, dựa vào suy luận đã cải thiện, TRM cập nhật dự đoán cho câu trả lời cuối cùng. Toàn bộ quá trình này có thể lặp lại lên đến 16 lần, giúp mô hình tự điều chỉnh lỗi một cách hiệu quả với rất ít tham số.
Đáng ngạc nhiên, nghiên cứu cho thấy một mạng nhỏ chỉ gồm hai lớp lại có khả năng khái quát hóa tốt hơn nhiều so với phiên bản bốn lớp. Việc giảm số lớp này giúp tránh hiện tượng quá khớp – một vấn đề phổ biến khi huấn luyện trên những bộ dữ liệu nhỏ, chuyên biệt.
TRM cũng bỏ qua những lý giải toán học phức tạp mà HRM từng sử dụng. Trong khi HRM cần giả định rằng các hàm của nó hội tụ đến một điểm cố định để biện minh cho phương pháp huấn luyện, TRM thay vào đó chỉ đơn giản là thực hiện lan truyền ngược qua toàn bộ quá trình đệ quy. Thay đổi này đã giúp cải thiện hiệu suất đáng kể, nâng độ chính xác trên bộ dữ liệu Sudoku-Extreme từ 56,5% lên 87,4% trong nghiên cứu phân tích thành phần.
Mô hình của Samsung phá vỡ các chuẩn mực AI với ít tài nguyên hơn
Kết quả tự nói lên tất cả. Trên bộ dữ liệu Sudoku-Extreme với chỉ 1.000 ví dụ huấn luyện, TRM đạt độ chính xác 87,4%, vượt xa con số 55% của HRM. Ở Maze-Hard, bài toán tìm đường đi dài trong mê cung 30×30, TRM đạt 85,3% so với 74,5% của HRM.
Đặc biệt, TRM ghi dấu ấn sâu sắc trên Abstraction and Reasoning Corpus (ARC-AGI) – bộ dữ liệu đánh giá trí thông minh linh hoạt thực sự của AI. Với chỉ 7 triệu tham số, TRM đạt 44,6% độ chính xác trên ARC-AGI-1 và 7,8% trên ARC-AGI-2, vượt qua HRM với 27 triệu tham số và cả nhiều mô hình LLM lớn nhất thế giới. Ví dụ, Gemini 2.5 Pro chỉ đạt 4,9% trên ARC-AGI-2.
Quá trình huấn luyện TRM cũng được tối ưu hơn. Cơ chế thích ứng gọi là ACT – quyết định khi nào mô hình đã cải thiện đủ câu trả lời để chuyển sang mẫu dữ liệu mới – đã được đơn giản hóa, loại bỏ nhu cầu tính toán bước đi qua mạng lần hai trong mỗi bước huấn luyện. Điều này được thực hiện mà không làm giảm khả năng khái quát cuối cùng của mô hình.
Nghiên cứu từ Samsung mang đến một quan điểm đáng chú ý, phản biện xu hướng phát triển mô hình AI ngày càng lớn hơn. Nó chứng minh rằng chỉ cần thiết kế kiến trúc có khả năng suy luận đệ quy và tự sửa lỗi, AI có thể giải quyết những bài toán vô cùng khó chỉ với một phần nhỏ tài nguyên tính toán.
Nguồn : https://www.artificialintelligence-news.com/
