OpenAI và các công ty AI hàng đầu khác đang phát triển các kỹ thuật đào tạo mới để khắc phục những hạn chế của các phương pháp hiện tại. Giải quyết những sự chậm trễ và phức tạp không mong muốn trong quá trình phát triển các mô hình ngôn ngữ lớn hơn, mạnh mẽ hơn, những kỹ thuật mới này tập trung vào hành vi giống con người để dạy các thuật toán ‘suy nghĩ’.
Được biết, được dẫn dắt bởi hàng chục nhà nghiên cứu, nhà khoa học và nhà đầu tư AI, các kỹ thuật đào tạo mới, nền tảng cho sự phát triển gần đây của OpenAI. mô hình ‘o1’ (trước đây là Q* và Strawberry), có tiềm năng thay đổi cục diện phát triển AI. Những tiến bộ được báo cáo có thể ảnh hưởng đến loại hoặc số lượng tài nguyên mà các công ty AI cần liên tục, bao gồm phần cứng và năng lượng chuyên dụng để hỗ trợ phát triển các mô hình AI.
Mô hình o1 được thiết kế để tiếp cận vấn đề theo cách mô phỏng lý luận và suy nghĩ của con người, chia nhỏ nhiều nhiệm vụ thành các bước. Mô hình này cũng sử dụng dữ liệu chuyên biệt và phản hồi do các chuyên gia trong ngành AI cung cấp để nâng cao hiệu suất của nó.
Kể từ khi ChatGPT được OpenAI ra mắt vào năm 2022, đã có làn sóng đổi mới về AI và nhiều công ty công nghệ cho rằng các mô hình AI hiện tại cần được mở rộng, thông qua số lượng dữ liệu lớn hơn hoặc tài nguyên máy tính được cải thiện. Chỉ khi đó các mô hình AI mới có thể cải thiện một cách nhất quán.
Giờ đây, các chuyên gia AI đã báo cáo những hạn chế trong việc mở rộng quy mô các mô hình AI. Những năm 2010 là thời kỳ mang tính cách mạng trong việc mở rộng quy mô, nhưng Ilya Sutskever, đồng sáng lập phòng thí nghiệm AI Siêu trí tuệ an toàn (SSI) và OpenAI, nói rằng việc đào tạo các mô hình AI, đặc biệt là về khả năng hiểu cấu trúc và mẫu ngôn ngữ, đã chững lại.
“Những năm 2010 là thời đại mở rộng quy mô, giờ đây chúng ta lại quay trở lại thời kỳ kỳ diệu và khám phá. Họ nói: “Việc mở rộng quy mô đúng đắn giờ đây quan trọng hơn”.
Trong thời gian gần đây, các nhà nghiên cứu trong phòng thí nghiệm AI đã gặp phải sự chậm trễ và thách thức trong việc phát triển và phát hành các mô hình ngôn ngữ lớn (LLM) mạnh hơn mô hình GPT-4 của OpenAI.
Đầu tiên, đó là chi phí đào tạo các mô hình lớn, thường lên tới hàng chục triệu USD. Và do những vấn đề phức tạp phát sinh, chẳng hạn như lỗi phần cứng do độ phức tạp của hệ thống, nên việc phân tích cuối cùng về cách các mô hình này chạy có thể mất vài tháng.
Ngoài những thách thức này, hoạt động huấn luyện còn đòi hỏi lượng năng lượng đáng kể, thường dẫn đến tình trạng thiếu điện, có thể làm gián đoạn các quy trình và ảnh hưởng đến lưới điện rộng hơn. Một vấn đề khác là lượng dữ liệu khổng lồ mà các mô hình ngôn ngữ lớn sử dụng, đến mức các mô hình AI được cho là đã sử dụng hết tất cả dữ liệu có thể truy cập được trên toàn thế giới.
Các nhà nghiên cứu đang khám phá một kỹ thuật được gọi là ‘tính toán thời gian thử nghiệm’ để cải thiện các mô hình AI hiện tại khi được đào tạo hoặc trong các giai đoạn suy luận. Phương pháp này có thể liên quan đến việc tạo ra nhiều câu trả lời trong thời gian thực để quyết định một loạt giải pháp tốt nhất. Do đó, mô hình có thể phân bổ nguồn lực xử lý lớn hơn cho các nhiệm vụ khó đòi hỏi khả năng ra quyết định và suy luận giống con người. Mục đích – làm cho mô hình chính xác hơn và có khả năng hơn.
Noam Brown, nhà nghiên cứu tại OpenAI, người đã giúp phát triển mô hình o1, đã chia sẻ một ví dụ về cách một phương pháp mới có thể đạt được những kết quả đáng ngạc nhiên. Tại hội nghị TED AI ở San Francisco vào tháng trước, Brown giải thích rằng “việc cho một bot suy nghĩ chỉ trong 20 giây trong một ván bài poker sẽ có hiệu suất tăng cường tương tự như việc nhân rộng mô hình lên 100.000 lần và huấn luyện nó lâu hơn 100.000 lần”.
Thay vì chỉ tăng quy mô mô hình và thời gian đào tạo, điều này có thể thay đổi cách các mô hình AI xử lý thông tin và dẫn đến các hệ thống mạnh mẽ, hiệu quả hơn.
Có thông tin cho rằng các phòng thí nghiệm AI khác đang phát triển các phiên bản của kỹ thuật o1. Bao gồm xAI, Google DeepMindVà nhân loại. Cạnh tranh trong thế giới AI không có gì mới, nhưng chúng ta có thể thấy tác động đáng kể đến thị trường phần cứng AI nhờ các kỹ thuật mới. Các công ty như Nvidiahiện đang thống trị nguồn cung cấp chip AI do nhu cầu cao đối với sản phẩm của họ, có thể bị ảnh hưởng đặc biệt bởi các kỹ thuật đào tạo AI cập nhật.
Nvidia đã trở thành công ty có giá trị nhất thế giới vào tháng 10 và sự gia tăng vận may của công ty này phần lớn nhờ vào việc sử dụng chip trong mảng AI. Các kỹ thuật mới có thể tác động đến vị thế thị trường của Nvidia, buộc công ty phải điều chỉnh sản phẩm của mình để đáp ứng nhu cầu phần cứng AI ngày càng tăng. Có khả năng, điều này có thể mở ra nhiều cơ hội hơn cho các đối thủ cạnh tranh mới trên thị trường suy luận.
Một thời đại mới về phát triển AI có thể sắp đến, được thúc đẩy bởi nhu cầu phần cứng ngày càng tăng và các phương pháp đào tạo hiệu quả hơn, chẳng hạn như các phương pháp được triển khai trong mô hình o1. Tương lai của cả mô hình AI và các công ty đằng sau chúng có thể được định hình lại, mở ra những khả năng chưa từng có và sự cạnh tranh lớn hơn.
Xem thêm: Anthropic kêu gọi quy định về AI để tránh thảm họa
Bạn muốn tìm hiểu thêm về AI và dữ liệu lớn từ các nhà lãnh đạo ngành? Kiểm tra Triển lãm AI & Dữ liệu lớn diễn ra ở Amsterdam, California và London. Sự kiện toàn diện này được tổ chức cùng với các sự kiện hàng đầu khác bao gồm Hội nghị tự động hóa thông minh, BlockX, Tuần lễ Chuyển đổi sốMột
