Định tuyến lưu lượng trợ lý AI địa phương qua một cổng tự lưu trữ
Định tuyến lưu lượng trợ lý AI địa phương qua một cổng trung tâm, tự lưu trữ áp dụng nén cuộc gọi theo thời gian thực và tối ưu hóa ngữ cảnh để giảm chi phí suy diễn. Anyray Connect, từ Othentic Labs Ltd, được cung cấp dưới dạng tệp thực thi Windows đã ký cho các đội kỹ thuật và DevOps. Nó cung cấp một API tương thích với OpenAI, cung cấp phân bổ chi phí theo đội và dự án, và bao gồm một thời gian chờ mở lỗi để quy trình làm việc của nhà phát triển tiếp tục chạy. Công cụ này phù hợp với các đội chạy LLM quy mô lớn và yêu cầu quản trị tại chỗ.
Anyray Connect thực sự làm gì cho lưu lượng LLM của nhà phát triển?
Anyray Connect định tuyến các yêu cầu từ các công cụ AI địa phương thông qua một cổng trong nhà, viết lại các điểm cuối để trợ lý và SDK sử dụng bộ tối ưu mà không cần thay đổi mã. Tập tin thực thi phía khách hàng tự động cấu hình các công cụ tương thích để chỉ vào cổng, và cổng áp dụng các biến đổi quy tắc xác định để nén và cắt ngữ cảnh. Cài đặt này nhắm đến các môi trường mà nội dung nhắc nhở phải giữ bên trong hạ tầng công ty, và nó cung cấp một API tương thích với OpenAI để các tích hợp hiện có tiếp tục hoạt động.
Nó có ảnh hưởng đến quy trình làm việc hoặc yêu cầu thay đổi kỹ thuật không?
Công cụ hoạt động như một sự thay thế dễ dàng cho các điểm cuối LLM hiện có, vì vậy các nhóm không cần phải thay đổi mã trợ lý hoặc các cuộc gọi SDK. Hơn nữa, khách hàng sử dụng cơ chế fail-open với thời gian chờ 800–1200 mili giây mà chuyển tiếp các yêu cầu không thay đổi nếu bộ tối ưu chậm, điều này bảo tồn năng suất của nhà phát triển. Cấu hình diễn ra ở lớp khách hàng và cổng, và các trình cài đặt được phân phối dưới dạng một tệp thực thi Windows đã ký duy nhất hoặc thông qua Trình quản lý Gói Windows.
Có an toàn để hoạt động trong môi trường doanh nghiệp không?
An toàn được thiết kế vào kiến trúc tự lưu trữ; cổng và bộ tối ưu chạy bên trong hạ tầng của bạn (ví dụ, Docker hoặc Kubernetes), và nội dung nhắc nhở/phản hồi vẫn ở tại chỗ. Ngoài ra, bộ tối ưu sử dụng các biến đổi xác định để giữ cho đầu ra ổn định, và việc đo lường chỉ gửi siêu dữ liệu không có nội dung cho việc phân bổ chi tiêu. Những lựa chọn thiết kế này hạn chế sự tiếp xúc bên ngoài trong khi cung cấp báo cáo sử dụng theo nhóm và theo dự án.
Công cụ nhắm mục tiêu cho các đội ngũ kỹ thuật đã vận hành hạ tầng tự lưu trữ
Anyray Connect phù hợp với các đội ngũ kỹ thuật và DevOps cần quản lý chi tiết lưu lượng LLM và đã vận hành các dịch vụ container hóa hoặc tại chỗ. Nó bảo tồn các tích hợp hiện có bằng cách cung cấp một API tiêu chuẩn và giữ các lời nhắc nhạy cảm bên trong mạng. Thỏa hiệp chính là yêu cầu vận hành: các đội ngũ phải lưu trữ và duy trì hạ tầng cổng để hưởng lợi từ các tính năng tối ưu hóa và phân bổ.
