AI tổng hợp và Machine Learning vận hành đóng vai trò quan trọng trong bối cảnh dữ liệu hiện đại bằng cách cho phép các tổ chức tận dụng dữ liệu của họ để cung cấp năng lượng cho các sản phẩm mới và tăng sự hài lòng của khách hàng. Những công nghệ này được sử dụng cho trợ lý ảo, hệ thống đề xuất, tạo nội dung, v.v. Chúng giúp các tổ chức xây dựng lợi thế cạnh tranh thông qua việc ra quyết định dựa trên dữ liệu, tự động hóa, nâng cao quy trình kinh doanh và trải nghiệm của khách hàng.
Apache Airflow là cốt lõi trong hoạt động ML của nhiều nhóm và với các tích hợp mới cho Mô hình ngôn ngữ lớn (LLM), Airflow cho phép các nhóm này xây dựng các ứng dụng có chất lượng sản xuất với những tiến bộ mới nhất về ML và AI.
Đơn giản hóa việc phát triển ML
Thông thường, các mô hình học máy và phân tích dự đoán được tạo ra trong các silo, cách xa các hệ thống và ứng dụng sản xuất. Các tổ chức phải đối mặt với thách thức vĩnh viễn để biến sổ ghi chép của một nhà khoa học dữ liệu đơn độc thành một ứng dụng sẵn sàng sản xuất với tính ổn định, khả năng mở rộng quy mô, tuân thủ, v.v.
Tuy nhiên, các tổ chức tiêu chuẩn hóa trên một nền tảng để điều phối cả quy trình làm việc DataOps và MLOps của họ không chỉ có thể giảm bớt trở ngại trong quá trình phát triển từ đầu đến cuối mà còn giảm chi phí cơ sở hạ tầng và sự phát triển CNTT. Mặc dù điều này có vẻ phản trực giác nhưng những đội này cũng được hưởng lợi từ nhiều sự lựa chọn hơn. Khi nền tảng điều phối tập trung, như Apache Airflow, là nguồn mở và bao gồm các tích hợp với hầu hết mọi công cụ và nền tảng dữ liệu, các nhóm dữ liệu và ML có thể chọn các công cụ hoạt động tốt nhất cho nhu cầu của họ trong khi tận hưởng các lợi ích của tiêu chuẩn hóa, quản trị, xử lý sự cố đơn giản hóa và khả năng tái sử dụng.
Apache Airflow và Astro (nền tảng điều phối Airflow được quản lý hoàn toàn của Astronomer) là nơi các kỹ sư dữ liệu và kỹ sư ML gặp nhau để tạo ra giá trị kinh doanh từ ML hoạt động. Với số lượng lớn các quy trình kỹ thuật dữ liệu chạy trên Airflow mỗi ngày ở mọi ngành và lĩnh vực, đây là nền tảng của các hoạt động dữ liệu hiện đại và các nhóm ML có thể tận dụng nền tảng này để không chỉ suy luận mô hình mà còn đào tạo, đánh giá và giám sát .
Tối ưu hóa luồng không khí cho các ứng dụng ML nâng cao
Khi các tổ chức tiếp tục tìm cách tận dụng các mô hình ngôn ngữ lớn, Airflow ngày càng trở thành trung tâm cho việc vận hành những thứ như xử lý dữ liệu phi cấu trúc, Tạo tăng cường truy xuất (RAG), xử lý phản hồi và tinh chỉnh các mô hình nền tảng. Để hỗ trợ các use case mới này và cung cấp điểm khởi đầu cho người dùng Airflow, Astronomer đã hợp tác với Cộng đồng Airflow để tạo Ask Astro—như một triển khai tham chiếu công khai của RAG với Airflow cho AI đàm thoại.
Nói rộng hơn, Astronomer đã dẫn đầu việc phát triển các tích hợp mới với cơ sở dữ liệu vectơ và nhà cung cấp LLM để hỗ trợ loại ứng dụng mới này và các quy trình cần thiết để giữ cho chúng an toàn, mới mẻ và có thể quản lý được.
Kết nối với Cơ sở dữ liệu Vector và Dịch vụ LLM được sử dụng rộng rãi nhất
Apache Airflow, kết hợp với một số cơ sở dữ liệu vectơ được sử dụng rộng rãi nhất (Weaviate, Pinecone, OpenSearch, pgvector) và các nhà cung cấp xử lý ngôn ngữ tự nhiên (NLP) (OpenAI, Cohere), cung cấp khả năng mở rộng thông qua phát triển nguồn mở mới nhất. Cùng nhau, chúng mang lại trải nghiệm hạng nhất trong việc phát triển RAG cho các ứng dụng như AI đàm thoại, chatbot, phân tích gian lận, v.v.
OpenAI
OpenAI là một công ty nghiên cứu và triển khai AI cung cấp API để truy cập các mô hình tiên tiến như GPT-4 và DALL·E 3. Nhà cung cấp OpenAI Airflow cung cấp các mô-đun để dễ dàng tích hợp OpenAI với Airflow. Người dùng có thể tạo phần nhúng cho dữ liệu, một bước nền tảng trong NLP với các ứng dụng hỗ trợ LLM.
Xem hướng dẫn → Phối hợp các hoạt động OpenAI với Apache Airflow
mạch lạc
Cohere là một nền tảng NLP cung cấp API để truy cập LLM tiên tiến. Nhà cung cấp Cohere Airflow cung cấp các mô-đun để dễ dàng tích hợp Cohere với Airflow. Người dùng có thể tận dụng các LLM tập trung vào doanh nghiệp này để dễ dàng tạo các ứng dụng NLP bằng dữ liệu của riêng họ.
Xem hướng dẫn → Phối hợp các LLM Cohere với Apache Airflow
dệt
Weaviate là cơ sở dữ liệu vectơ mã nguồn mở, lưu trữ các phần nhúng chiều cao của các đối tượng như văn bản, hình ảnh, âm thanh hoặc video. Nhà cung cấp Weaviate Airflow cung cấp các mô-đun để dễ dàng tích hợp Weaviate với Airflow. Người dùng có thể xử lý các phần nhúng vectơ chiều cao bằng cách sử dụng cơ sở dữ liệu vectơ nguồn mở, cung cấp nhiều tính năng phong phú, khả năng mở rộng đặc biệt và độ tin cậy.
Xem hướng dẫn → Phối hợp các hoạt động Weaviate với Apache Airflow
pgvector
pgvector là một tiện ích mở rộng mã nguồn mở dành cho cơ sở dữ liệu PostgreSQL bổ sung khả năng lưu trữ và truy vấn các phần nhúng đối tượng nhiều chiều. Nhà cung cấp pgvector Airflow cung cấp các mô-đun để dễ dàng tích hợp pgvector với Airflow. Người dùng có thể mở khóa các chức năng mạnh mẽ để làm việc với vectơ trong Lĩnh vực nhiều chiều bằng tiện ích mở rộng nguồn mở này cho cơ sở dữ liệu PostgreSQL của họ.
Xem hướng dẫn → Phối hợp các hoạt động pgvector với Apache Airflow
Quả thông
Pinecone là nền tảng cơ sở dữ liệu vector độc quyền được thiết kế để xử lý các ứng dụng AI dựa trên vector quy mô lớn. Nhà cung cấp Pinecone Airflow cung cấp các mô-đun để dễ dàng tích hợp Pinecone với Airflow.
Xem hướng dẫn → Phối hợp các hoạt động của Pinecone với Apache Airflow
Tìm kiếm mở
OpenSearch là một công cụ phân tích và tìm kiếm phân tán mã nguồn mở dựa trên Apache Lucene. Nó cung cấp khả năng tìm kiếm nâng cao trên lượng văn bản lớn cùng với các plugin học máy mạnh mẽ. Nhà cung cấp OpenSearch Airflow cung cấp các mô-đun để dễ dàng tích hợp OpenSearch với Airflow.
Xem hướng dẫn → Phối hợp các hoạt động OpenSearch với Apache Airflow
thông tin thêm
Bằng cách cho phép các nhóm tập trung vào dữ liệu dễ dàng tích hợp các đường ống dữ liệu và xử lý dữ liệu với quy trình công việc ML, các tổ chức có thể hợp lý hóa việc phát triển AI vận hành và nhận ra tiềm năng của AI và xử lý ngôn ngữ tự nhiên trong môi trường vận hành. Sẵn sàng để tự mình lặn sâu hơn? Khám phá các mô-đun có sẵn được thiết kế để tích hợp dễ dàng—truy cập Cơ quan đăng ký Astro để xem DAG mẫu AI/ML mới nhất.
