잡동사니

안녕하세요. yeTi입니다. 오늘은 Triton Inference Server에서 추론을 하기위한 구조를 분석해보려고 합니다. 분석 환경 Triton Inference Server : Release 2.6.0 corresponding to NGC container 20.12 Concurrent Model Execution Triton은 다양한 모델을 각각의 인스턴스로 수행하여 병렬로 처리할 수 있고, 하나의 모델에 대해서 다수의 인스턴스를 활용하여 병렬처리할 수 있도록 제공합니다. 각 경우를 그림과 함께 살표보겠습니다. 2개의 모델을 각각 요청한경우 병렬로 처리가 됩니다. 모델당 인스턴스의 기본 설정값이 1개인데, 이 때 model1에 2개의 요청이 들어오면 순차적으로 처리됩니다. model1의 인스턴스..