잡동사니

안녕하세요. yeTi입니다. 오늘은 Triton Inference Server에서 추론을 하기위한 구조를 분석해보려고 합니다. 분석 환경 Triton Inference Server : Release 2.6.0 corresponding to NGC container 20.12 Concurrent Model Execution Triton은 다양한 모델을 각각의 인스턴스로 수행하여 병렬로 처리할 수 있고, 하나의 모델에 대해서 다수의 인스턴스를 활용하여 병렬처리할 수 있도록 제공합니다. 각 경우를 그림과 함께 살표보겠습니다. 2개의 모델을 각각 요청한경우 병렬로 처리가 됩니다. 모델당 인스턴스의 기본 설정값이 1개인데, 이 때 model1에 2개의 요청이 들어오면 순차적으로 처리됩니다. model1의 인스턴스..

안녕하세요. yeTi입니다. 오늘은 AI모델을 저장하고 버전관리를 할 수 있는 저장소로 사용할 수 있는 서비스들에 대해서 알아보겠습니다. Nexus Repository OSS 개인 레포지토리로 많이 사용하고 있는 저장소입니다. Sonatype이 가지고 있는 제품으로 free버전과 pro버전을 제공합니다. Free버전은 github을 운영하고 있고 라이센스는 Eclipse Public License - v 1.0으로 상업적 사용이 가능합니다. Pro버전간의 차이는 운영시 고려되어야하는 가용성, storage, 보안, 인증, 모니터링 등의 기능을 추가적으로 제공한다는 것입니다. 지원하는 저장소의 형식은 Bower, Docker, Maven, npm, NuGet, Go, PyPI, RubyGems, YUM, ..