Triển khai mô hình

Các mô hình chạy trên runtime Xisom ở định dạng ONNX. Bạn tải lên một mô hình, ghép cặp với một nguồn dữ liệu đầu vào, và kích hoạt nó để bắt đầu suy luận.

Model Manager — tải lên bundle ONNX, ghép cặp với datasource, và kích hoạt.

Chuẩn bị ONNX trước

Nếu bạn bắt đầu từ một mô hình PyTorch hoặc TensorFlow — hoặc muốn lượng tử hóa để suy luận nhanh hơn tại biên — hãy chuẩn bị nó trên máy trạm bằng modelctl, rồi triển khai bundle thu được tại đây.

Định dạng được hỗ trợ

• ONNX — runtime chấp nhận các mô hình ONNX và thực thi chúng với execution provider phù hợp với phần cứng của bạn (TensorRT, CUDA, hoặc CPU). Xem Thiết lập phần cứng để biết các chế độ.

Kích thước cửa sổ và đặc trưng phải khớp với datasource

Một mô hình được định nghĩa bởi kích thước cửa sổ (số mẫu mỗi dự đoán) và số lượng đặc trưng (kênh đầu vào). Khi bạn ghép cặp một mô hình với một datasource, nền tảng kiểm tra rằng kích thước cửa sổ × số lượng đặc trưng khớp nhau ở cả hai phía — vì vậy hãy ghi lại các giá trị này trước khi ghép cặp.

Tải lên, ghép cặp, kích hoạt

1. Tải lên mô hình

   Vào Models và tải lên tệp .onnx của bạn. Nền tảng xác thực tệp (phần mở rộng, loại, và schema) trước khi nó sẵn sàng sử dụng.

2. Ghép cặp với một datasource

   Trên một nguồn dữ liệu đầu vào, ghép cặp mô hình này. Quá trình kiểm tra tương thích chạy ở đây — nếu kích thước cửa sổ hoặc số lượng đặc trưng không khớp, việc ghép cặp sẽ bị từ chối. Điều chỉnh kích thước cửa sổ của datasource hoặc tạo lại mô hình để khớp.

3. Kích hoạt

   Bật datasource, sau đó Start luồng dữ liệu. Runtime tải mô hình đã ghép cặp vào dịch vụ suy luận và bắt đầu tạo ra các dự đoán. Xem Lần suy luận đầu tiên của bạn để biết toàn bộ vòng lặp.

Thay thế mô hình mẫu demo

Một bản cài đặt mới đi kèm một mô hình demo với trọng số ngẫu nhiên — các dự đoán vô nghĩa cho đến khi bạn thay thế nó. Tải lên mô hình đã huấn luyện của bạn như trên, hoặc thả nó vào thư mục model-data và khởi động lại dịch vụ suy luận. Trang cài đặt từ gói offline trình bày cách thả tệp: Thay thế mô hình demo (bước 5).

Nếu có sự cố

• Tải lên bị từ chối, ghép cặp thất bại, hoặc runtime không tải được mô hình — xem runbook Khắc phục sự cố.

Tiếp theo

Kết nối một nguồn dữ liệu đầu vào Cung cấp dữ liệu cảm biến trực tiếp cho mô hình.

Giám sát các dự đoán Độ trễ, thông lượng (throughput), và KPI.

Xem pipeline Trực quan hóa cấu trúc liên kết Input → Model → Output và kiểm tra các kết nối trực tiếp.