임베디드 딥러닝 플랫폼 - Edge Inference Platform

임베디드 딥러닝 플랫폼 Prologue

이제는 어렵지 않게 다양한 분야에서 인공 지능과 4차 산업 혁명에 대한 이야기를 들을 수 있게 된 것 같습니다. 그렇지만 아직까지 인공지능의 주요 연구들은 학계와 일부 대기업의 선행 연구소를 중심으로 이루어지고 있습니다.

어떤 기술이 연구 중심에서 산업이 주도하는 분야로 전이되는 과정에서는 낮은 비용으로 필드에 대량 공급할 수 있는 제품이 필연적으로 발생하게 됩니다. 인공 지능 분야도 이제 산업이 주도하는 시점의 문턱에 와 있습니다. 내로라 하는 글로벌 SoC 공급 업체나 반도체 설계 업체들이 앞다투어 Machine Learning Accelerator 를 탑재한 칩 또는 개발 키트를 공개하고 있는 것이 그 증거입니다.

이번에는 시장 주도 업체들이 공급하거나 공개할 예정인 임베디드 딥러닝 플랫폼 에 대해 영상 처리 성능과 딥러닝 가속기 성능 위주로 간략하게 살펴보겠습니다.

NVIDIA Jetson Series

딥러닝하면 빼놓을 수 없는 업체가 NVIDIA입니다. 딥러닝이 본격적으로 붐을 일으키는 시점부터 근래까지 PC급 또는 서버급 딥러닝 시장을 거의 독점하다시피 해 왔으며, Autonomous 제품을 타깃으로 하는 Jetson 시리즈를 통해 임베디드 시장에서도 일찌감치 다른 업체들보다 앞서 나가기 시작했습니다.

또한 2020년 5월에 NX 모델을 출시하면서 기존 Xavier 와 Nano 모델간의 가격과 성능 측면에서의 간극 또한 어느 정도 메워줄 수 있을 것으로 보입니다.

NVIDIA Jetson 시리즈는 낮은 성능과 가격부터 Nano, TX, NX, Xavier 순서로 명명되었습니다.

Jetson Nano 사양

Nano 모듈은 Jetson 시리즈 중 가장 낮은 가격과 낮은 성능의 제품입니다. NVIDIA에서 제공하는 벤치마크 상으로 AI Accelerator 는 472 GFLOPS 수준입니다. 영상 처리 성능은 H.265(HEVC) 코덱 기준 4K 30 FPS 인코딩, 4K 60 FPS 디코딩 수준입니다.

Jetson TX

TX 모듈은 Nano 보다 상위 모델이지만, 성능상 큰 차이는 없습니다. 다른 포스팅을 보셨다면 짐작하겠지만 현재 글쓴이가 보유하고 있는 장비이기도 합니다. TX1, TX2, TX2i 의 3개의 세부 모델로 구분합니다. AI Accelerator 성능은 1.26 TFLOPS ~ 1.33 TFLOPS 수준입니다. 영상 처리 성능은 4K 60 FPS 인코딩, 2 * 4K 60 FPS 디코딩 수준입니다.

Jetson NX

NX 모듈은 다른 시리즈보다 늦은 2020년 5월에 출시되었으며, 고성능에 Xavier 모듈에 비해 50% 이상 저렴한 가격이 강점입니다. AI 21 TOPS, 2 * 4K 30 FPS 인코딩, 2 * 4K 60 FPS 디코딩 수준의 성능입니다.

Jetson AGX Xavier

Xavier 모듈은 NVIDIA Autonomous 제품군 중 가장 고성능 모델입니다. 가격도 셀러에 따라 약간 차이가 있지만 대당 백만원 이상의 고가입니다. 이걸 이용해 제품을 만들더라도 얼마에 팔아야 할지… 하지만 성능 면에서는 시장에 나와 있는 모든 다른 제품을 압도합니다. 32 TOPS 수준의 AI Accelerator 와 4 * 4K 60 FPS 인코딩, 2 * 8K 30 FPS 디코딩 수준의 성능입니다.

Review

NVIDIA Jetson 시리즈 제품군의 핵심 성능 지표인 AI Accelerator 와 영상 처리 성능을 살펴보았습니다. Inference의 핵심 성능 지표인 OPS 기준으로 보았을 때 Nano는 0.5 TOPS, TX2도 1.3 TOPS 정도로 썩 훌륭한 지표라고 할 수는 없습니다. Xavier 시리즈로 넘어오면 NX도 21 TOPS 정도로 Nano의 약 42배 이상의 성능을 보이고 있습니다. 이 정도면 왠만한 다채널 영상 데이터에 대한 처리에 무리가 없을 것 같습니다. 타겟팅하는 제품에 따라 필요한 성능을 계산하여 적절한 제품을 선정하는 것이 중요할 것 같습니다.

Jetson 시리즈 제품군의 성능 스펙에 대해 보다 자세한 내용은 NVIDIA Autonomous Machines 링크 페이지에서 “비교” 버튼을 누르면 확인할 수 있습니다. 참고하세요.

다음에는 요즘 무역전쟁으로 뜨거운 중국의 화웨이의 자회사인 ~~하이실리콘에서 출시된 제품에 대해 리뷰해 보려고 합니다~~. 미국 압력으로 TSMC 에서 화웨이 계열 제품 제조를 안해 주는 방향으로 결정했다고 합니다. 해당 칩은 양산이 안되고 있는 것으로 알려졌네요. (관련 기사 전자신문 링크) 궁금한 점이나 관심사가 있으신 분들은 언제든 부담없이 댓글 남겨 주시기 바랍니다.