Triển khai mô hình

Các mô hình chạy trên runtime Xisom ở định dạng ONNX. Bạn tải lên một mô hình, rồi chọn nó trong một luồng cùng với một nguồn dữ liệu đầu vào và các đầu ra. Bật luồng sẽ nạp mô hình.

Model Manager — tải lên bundle ONNX và kiểm tra trạng thái xác thực.

Chuẩn bị ONNX trước

Nếu bạn bắt đầu từ một mô hình PyTorch hoặc TensorFlow — hoặc muốn lượng tử hóa để suy luận nhanh hơn tại biên — hãy chuẩn bị nó trên máy trạm bằng modelctl, rồi triển khai bundle thu được tại đây.

Định dạng được hỗ trợ

• ONNX — runtime chấp nhận các mô hình ONNX và thực thi chúng với execution provider phù hợp với phần cứng của bạn. Trên Jetson TX2 đó là CUDA, với CPU làm phương án dự phòng. Xem Thiết lập phần cứng để biết các chế độ.

Kích thước cửa sổ và đặc trưng phải khớp với datasource

Input shape của một mô hình là [kích thước cửa sổ, số lượng đặc trưng]: số mẫu mỗi dự đoán và số kênh đầu vào. Một luồng chỉ đưa ra các mô hình có kích thước cửa sổ bằng Window size của nguồn dữ liệu đầu vào và số lượng đặc trưng bằng Tag count của nó. Việc kiểm tra theo từng trục, nên mô hình bị chuyển vị sẽ bị từ chối. Hãy ghi lại các giá trị này trước khi tạo luồng.

Tải lên và chạy

1. Tải lên mô hình

   Vào Models và tải lên tệp .onnx của bạn. Nền tảng xác thực tệp (phần mở rộng, loại, và schema) trước khi nó sẵn sàng sử dụng.

2. Chọn nó trong một luồng

   Tạo một luồng và chọn mô hình này cho một nguồn dữ liệu đầu vào. Nếu mô hình không có trong danh sách, kích thước cửa sổ hoặc số lượng đặc trưng của nó không khớp với đầu vào. Điều chỉnh datasource hoặc tạo lại mô hình để khớp.

3. Bật luồng và bắt đầu

   Bật luồng, rồi bấm Start. Bật luồng sẽ nạp mô hình vào dịch vụ suy luận; Start bắt đầu tạo ra các dự đoán. Xem Lần suy luận đầu tiên của bạn để biết toàn bộ vòng lặp.

Thay thế mô hình mẫu demo

Một bản cài đặt mới đi kèm một mô hình demo với trọng số ngẫu nhiên — các dự đoán vô nghĩa cho đến khi bạn thay thế nó. Tải lên mô hình đã huấn luyện của bạn như trên, hoặc thả nó vào thư mục model-data và khởi động lại dịch vụ suy luận. Trang cài đặt từ gói offline trình bày cách thả tệp: Thay thế mô hình demo (bước 5).

Nếu có sự cố

• Tải lên bị từ chối, mô hình không có trong danh sách của luồng, hoặc bật luồng nhưng không nạp được mô hình — xem runbook Khắc phục sự cố.

Tiếp theo

Tạo một luồng Gắn mô hình với đầu vào và đầu ra, rồi bật nó.

Kết nối một nguồn dữ liệu đầu vào Cung cấp dữ liệu cảm biến trực tiếp cho mô hình.

Giám sát các dự đoán Độ trễ, thông lượng (throughput), và KPI.

Xem pipeline Trực quan hóa cấu trúc liên kết Input → Model → Output và kiểm tra các kết nối trực tiếp.