잡동사니

안녕하세요. yeTi입니다. 오늘은 카이스트 김대식 교수 | (1부) “인공지능 시대에 애플의 움직임이 없는 이유” 처음 듣는 챗GPT 이야기를 보고 ChatGPT의 공개에 따른 인류의 변화라는 측면에서 얘기를 해보고자 합니다. 검색의 시대는 끝났다. ChatGPT의 활용법 (feat. 정보수집 방식의 전환)에서 인식의 전환 이라는 주제로 다음과 같이 언급한 내용이 있습니다. 만일 ChatGPT를 검색 엔진이라고 생각하지 않고 맥락을 이해하는 비서라고 가정한다면? 덧붙여서 정보를 찾는 과정에 대한 변화에 대해 공유했습니다. 신기하게도 그날 저녁 검색의 시대는 끝났다.는 썸네일이 영상을 보게 만들었습니다. ChatGPT의 공개와 그에 따른 컴퓨터가 사람의 언어를 이해하고 대화할 수 있는 환경이 갖춰짐에 따..

안녕하세요. yeTi입니다. 오늘은 ChatGPT를 활용하는 방법을 나름대로 이해한 부분에 대해 말해보고자 합니다. 기존 정보수집 방식 링크드인 팔로워인 김진중님을 통해 ChatGPT의 의미 와 중요성에 대해 알고 있었습니다. 하지만 스스로 선뜻 사용하지 못했던 이유는 정보의 신뢰성을 판별할 수 있는 방법을 알지 못했기 때문입니다. 왜냐하면, 기존에 정보를 수집하는 방식은 웹을 통해서 정보를 탐색합니다. 그러면 먼저 검색하고자 하는 대상과 관련있는 단어나 문장을 정의하고 검색 결과를 기준으로 정보의 신뢰성을 파악하기 위해 출처에 대한 신뢰성을 확보한 후 정보를 습득하는 과정을 거쳤다. 결국 출처의 신뢰성을 기반으로 정보의 신뢰성을 연결하는 방식이었습니다. 그러다보니 ChatGPT가 알고 있는 정보가 신뢰..

안녕하세요. yeTi입니다. 오늘은 Triton Inference Server에서 추론을 하기위한 구조를 분석해보려고 합니다. 분석 환경 Triton Inference Server : Release 2.6.0 corresponding to NGC container 20.12 Concurrent Model Execution Triton은 다양한 모델을 각각의 인스턴스로 수행하여 병렬로 처리할 수 있고, 하나의 모델에 대해서 다수의 인스턴스를 활용하여 병렬처리할 수 있도록 제공합니다. 각 경우를 그림과 함께 살표보겠습니다. 2개의 모델을 각각 요청한경우 병렬로 처리가 됩니다. 모델당 인스턴스의 기본 설정값이 1개인데, 이 때 model1에 2개의 요청이 들어오면 순차적으로 처리됩니다. model1의 인스턴스..

안녕하세요. yeTi입니다. 오늘은 AI모델을 저장하고 버전관리를 할 수 있는 저장소로 사용할 수 있는 서비스들에 대해서 알아보겠습니다. Nexus Repository OSS 개인 레포지토리로 많이 사용하고 있는 저장소입니다. Sonatype이 가지고 있는 제품으로 free버전과 pro버전을 제공합니다. Free버전은 github을 운영하고 있고 라이센스는 Eclipse Public License - v 1.0으로 상업적 사용이 가능합니다. Pro버전간의 차이는 운영시 고려되어야하는 가용성, storage, 보안, 인증, 모니터링 등의 기능을 추가적으로 제공한다는 것입니다. 지원하는 저장소의 형식은 Bower, Docker, Maven, npm, NuGet, Go, PyPI, RubyGems, YUM, ..

안녕하세요. yeTi입니다. 오늘은 NVIDIA GPU 사용하기 위해 driver를 설치해보려고 합니다. nvidia-docker를 사용하기 위해선 NVIDIA driver를 설치해야 하는데요. package manager를 활용해서 쉽게 cuda-drivers 패키지를 설치할 수 있습니다. 그래서 Download - CUDA Toolkit에서 제공하는 가이드를 따라 해봤습니다. ~$ wget [http://developer.download.nvidia.com/compute/cuda/11.0.1/local_installers/cuda-repo-ubuntu1804-11-0-local_11.0.1-450.36.06-1_amd64.deb](http://developer.download.nvidia.com/co..

안녕하세요. yeTi입니다. 오늘은 NVIDIA Triton Inference Server에 gRPC 통신을 해보려고 합니다. 개요 gRPC는 RPC(Remote Procedure Call)를 Google에서 개발한 RPC 프레임워크입니다. NVIDIA Triton Inference Server에서 gRPC로 통신을 편하게 할 수 있도록 Client SDK를 제공합니다. Client SDK 획득 Build Using CMake - Fail Triton Inference Server - GitHub에 코드를 공유하고 있는데 이를 활용하여 직접 빌드하여 SDK를 생성하는 방법입니다. git clone https://github.com/NVIDIA/triton-inference-server.git에서 Repo..

안녕하세요. yeTi입니다. 오늘은 라즈베리파이에 AI를 구동하는 환경을 설정해보려고 합니다. 이를 위해서 Tensorflow를 활용해 모델을 생성하고 Tensorflow Lite를 활용해 모델의 변환 및 라즈베리파이에 AI를 구동했습니다. 작업환경 OS : Linux raspberrypi 4.19 Tensorflow : 2.1.0 Python : 2 Tensorflow Tensorflow를 설치하고 mnist 모델을 생성합니다. Tensorflow - Dockerhub CPU만 사용하는 Tensorflow를 일회성 컨테이너로 사용하고 싶으면 다음과 같이 구동합니다. $ docker run -it --rm tensorflow/tensorflow bash Tensorflow에 Jupyter notebook..