[AI] Service Sourcing on Nvidia Jetson Nano with L4T Docker Container

[insung3511]

Description

GPU 서버를 대여하여 활용하는 것보다 Nvidia Jetson Nano를 활용하는 것이 저렴하다는 것을 확인하였습니다. NCP(Naver Cloud Platform) 기준, GPU 서버 한달 사용시 50만원 정도가 나오는 반면 Nvidia Jetson Nano는 25만원 정도로 장기간 활용 시, 더욱 효용성이 높다고 판단하여 저희는 Nvidia Jetson Nano를 AI API Server로 활용하기로 하였습니다.

다만, Nvidia Jetson Nano를 활용하기 위해서는 CUDA 세팅 방법이 여러가지가 있습니다. 그 중에서 AI팀에서 선택한 방법은 Docker를 활용하는 것입니다. 이유는 Jetson Nano는 다른 기기와 달리 ARMv8 아키텍쳐의 CPU, GPU와 일반적인 CUDA Driver가 아닌 전용 Drvier를 활용해야 합니다. 그러므로 제공되는 Docker Image에서 CUDA를 설치하고 저희의 서비스 모델과 빌드 시켜 배포하는 것으로 결정하였습니다. Docker hub에 올리거나 따로 Publish하는 것이 아닌 서비스 배포를 말합니다.

In Progress

• Nvidia Jetson Nano의 CUDA 사용을 위한 도커 설정
• CUDA Docker Image와 FastAPI를 묶어 재배포 설정 및 빌드 진행
• CUDA 빌드된 FastAPI 서버의 Container 속도 측정과 스피드 확인하기
• 포트포워딩 내용 확인 후 별 이상 없는지 확인 + Docker Socket hang up issue 발생 고치기

ETC

Nvidia Jetson Nano에 CUDA를 세팅하기 위해서는 Jetpack 4.6.1로 Flash를 해주어야 하며, Jetpack이 설치된 Jetson Nano 보드에서 Docker를 올리기 위해서는 L4T Pytorch를 활용합니다. L4T는 (https://catalog.ngc.nvidia.com/orgs/nvidia/containers/l4t-pytorch)[https://catalog.ngc.nvidia.com/orgs/nvidia/containers/l4t-pytorch]를 통해서 확인할 수 있으며 본 기기에 적합한 Docker Version은 (공식 문서 및 포럼)[https://forums.developer.nvidia.com/t/nvcr-io-nvidia-l4t-pytorch-r34-1-1-pth1-12-py3-run-arenot-available-on-jetson-nano/270501]에 확인 결과 r32 container가 맞다고 하여 nvcr.io/nvidia/l4t-pytorch:r32.7.1-pth1.10-py3 1로 진행할 예정입니다.