Nhà cung cấp nền tảng trí tuệ nhân tạo Clarifai đã tiết lộ khả năng điều phối điện toán mới hứa hẹn giúp các doanh nghiệp tối ưu hóa khối lượng công việc AI của họ trong bất kỳ môi trường điện toán nào, giảm chi phí và tránh bị ràng buộc bởi nhà cung cấp.
Được công bố vào ngày 3 tháng 12 năm 2024, bản xem trước công khai cho phép các tổ chức điều phối khối lượng công việc AI thông qua một mặt phẳng điều khiển thống nhất, cho dù những khối lượng công việc đó đang chạy trên Cloud, tại chỗ hay trong cơ sở hạ tầng không có mạng. Nền tảng này có thể hoạt động với mọi mô hình AI và bộ tăng tốc phần cứng bao gồm GPU, CPU và TPU.
“Clarifai luôn dẫn đầu xu hướng, với hơn một thập kỷ kinh nghiệm hỗ trợ các doanh nghiệp lớn và các nhu cầu quan trọng của chính phủ với đầy đủ các công cụ AI để tạo khối lượng công việc AI tùy chỉnh,” nói Matt Zeiler, người sáng lập và CEO của Clarifai. “Giờ đây, chúng tôi đang mở rộng các khả năng mà chúng tôi đã xây dựng nội bộ để tối ưu hóa chi phí điện toán khi chúng tôi mở rộng quy mô để phục vụ hàng triệu mô hình cùng lúc.”
Công ty tuyên bố nền tảng của họ có thể giảm mức sử dụng điện toán xuống 3,7 lần thông qua tối ưu hóa việc đóng gói mô hình đồng thời hỗ trợ hơn 1,6 triệu yêu cầu suy luận mỗi giây với độ tin cậy 99,9997%. Theo Clarifai, việc tối ưu hóa có thể cắt giảm chi phí từ 60-90%, tùy thuộc vào cấu hình.
Các khả năng của nền tảng điều phối điện toán bao gồm:
- Tối ưu hóa chi phí thông qua quản lý tài nguyên tự động, bao gồm đóng gói mô hình, đơn giản hóa phần phụ thuộc và các tùy chọn tự động mở rộng quy mô có thể tùy chỉnh có thể mở rộng về 0 cho bản sao mô hình và nút điện toán,
- Triển khai linh hoạt trên bất kỳ nhà cung cấp phần cứng nào bao gồm cơ sở hạ tầng Cloud, tại chỗ, air-gapped và Clarifai SaaS,
- Tích hợp với nền tảng AI của Clarifai để ghi nhãn dữ liệu, đào tạo, đánh giá, quy trình làm việc và phản hồi,
- Các tính năng bảo mật cho phép triển khai vào VPC của khách hàng hoặc cụm Kubernetes tại chỗ mà không yêu cầu mở cổng vào, ngang hàng VPC hoặc vai trò IAM tùy chỉnh.
Nền tảng này xuất hiện từ các vấn đề của khách hàng Clarifai về hiệu suất và chi phí AI. Một khách hàng lưu ý: “Nếu chúng tôi có cách suy nghĩ về vấn đề này một cách tổng thể và xem xét chi phí tại chỗ so với chi phí trên Cloud, sau đó có thể điều phối giữa các môi trường với cơ sở chi phí, thì điều đó sẽ vô cùng có giá trị”. được trích dẫn trong thông báo của Clarifai.
Khả năng điều phối điện toán được xây dựng trên nền tảng AI hiện có của Clarifai mà công ty cho biết đã xử lý hơn 2 tỷ hoạt động về thị giác máy tính, ngôn ngữ và âm thanh AI. Công ty báo cáo việc duy trì hơn 99,99% thời gian hoạt động và tính khả dụng 24/7 cho các ứng dụng quan trọng.
Khả năng điều phối điện toán hiện có sẵn ở bản xem trước công khai. Các tổ chức quan tâm đến việc thử nghiệm nền tảng này nên liên hệ với Clarifai để có quyền truy cập.
