모델 배포

모델은 ONNX 형식으로 Xisom 런타임에서 실행됩니다. 모델을 업로드한 다음, 플로우에서 입력 데이터소스 및 출력과 함께 선택합니다. 플로우를 활성화하면 모델이 로드됩니다.

모델 관리자 — ONNX 번들을 업로드하고 검증 상태를 확인합니다.

먼저 ONNX를 준비하세요

PyTorch 또는 TensorFlow 모델에서 시작하거나, 더 빠른 엣지 추론을 위해 양자화하려면 워크스테이션에서 modelctl로 준비한 다음, 생성된 번들을 여기에 배포하세요.

지원 형식

• ONNX — 런타임은 ONNX 모델을 받아 하드웨어에 맞는 실행 공급자로 실행합니다. Jetson TX2에서는 CUDA이며, CPU가 대체 수단입니다. 모드는 하드웨어 설정을 참조하세요.

윈도우 크기와 피처는 데이터소스와 일치해야 합니다

모델의 입력 형상은 [윈도우 크기, 피처 수]입니다: 예측당 샘플 수와 입력 채널 수. 플로우는 윈도우 크기가 입력 데이터소스의 Window size와 같고 피처 수가 Tag count와 같은 모델만 제시합니다. 축별로 검사하므로 전치된 모델은 거부됩니다. 플로우를 만들기 전에 이 값들을 기록해 두세요.

업로드 및 실행

1. 모델 업로드

   Models로 이동하여 .onnx 파일을 업로드하세요. 플랫폼은 파일이 사용 가능해지기 전에 파일(확장자, 유형, 스키마)을 검증합니다.

2. 플로우에서 선택

   플로우를 만들고 입력 데이터소스에 이 모델을 선택하세요. 목록에 모델이 없으면 윈도우 크기나 피처 수가 입력과 맞지 않는 것입니다. 데이터소스를 조정하거나 모델을 다시 생성하여 맞추세요.

3. 플로우 활성화 및 시작

   플로우를 활성화한 다음 Start를 누르세요. 활성화하면 모델이 추론 서비스에 로드되고, Start로 예측값 생성이 시작됩니다. 전체 루프는 첫 추론 실행하기를 참조하세요.

데모 시드 모델 교체

새로 설치하면 무작위 가중치를 가진 데모 모델이 함께 제공됩니다. 이를 교체하기 전까지 예측값은 의미가 없습니다. 위와 같이 학습된 모델을 업로드하거나, model-data 디렉터리에 넣고 추론 서비스를 재시작하세요. 파일 드롭 경로는 오프라인 번들 설치 페이지에서 다룹니다: 데모 모델 교체 (5단계).

문제가 발생하면

• 업로드 거부, 플로우의 모델 목록에 모델이 없음, 또는 플로우 활성화 시 모델 로드 실패 — 문제 해결 런북을 참조하세요.

다음 단계

플로우 만들기 모델을 입력 및 출력과 묶은 다음 활성화합니다.

입력 데이터소스 연결 라이브 센서 데이터로 모델에 데이터를 공급하세요.

예측값 모니터링 지연 시간, 처리량, KPI.

파이프라인 확인하기 Input → Model → Output 토폴로지를 시각화하고 실시간 연결을 확인하세요.