Jetson TX2 성능 측정

NVIDIA Jetson TX2 성능 측정 과정입니다. 앞서 Jetson TX2 Power Mode 에서 디바이스에서 지원하는 4가지 유형의 전력 관리 모드에 대해 살펴보았습니다. 그리고 DeepStream YOLOv3 구동 예제 를 통해서는 간단한 예제 영상에 대한 추론을 수행해 볼 수 있습니다.

이번에는 각 Power Mode별로 DeepStream YOLOv3 예제를 구동해 보면서 Jetson TX2 성능 측정을 해 보도록 하겠습니다.

NVIDIA Jetson TX2 Power Mode

Jetson TX2 에서 지원하는 Power Mode 를 다시 한번 살펴보겠습니다. TX2에서는 다음의 4 가지 모드를 지원하고 있습니다. 보다 자세한 내용은 공식 문서 를 참고하시기 바랍니다.

MAXN TX2 성능 측정

NvMMLiteOpen : Block : BlockType = 4 
===== NVMEDIA: NVENC =====
NvMMLiteBlockCreate : Block : BlockType = 4 
KLT Tracker Init
H264: Profile = 66, Level = 0 
**PERF: 9.45 (8.77)	
**PERF: 9.01 (8.89)	
**PERF: 9.01 (8.93)	
**PERF: 8.97 (8.95)	
**PERF: 8.66 (9.00)	
**PERF: 9.42 (9.07)	
**PERF: 9.02 (9.06)	
**PERF: 9.02 (9.05)	
**PERF: 9.01 (9.04)	
**PERF: 9.01 (8.98)	
** INFO: <bus_callback:204>: Received EOS. Exiting ...

Quitting
App run successful

MAXN Power Mode 는 가장 성능 우선의 설정입니다. 대략 1080p 영상 추론 기준 초당 9 프레임 정도 처리하고 있는 것을 확인할 수 있습니다.

MAXQ TX2 성능 측정

NvMMLiteOpen : Block : BlockType = 4 
===== NVMEDIA: NVENC =====
NvMMLiteBlockCreate : Block : BlockType = 4 
KLT Tracker Init
H264: Profile = 66, Level = 0 
**PERF: 7.93 (7.72)	
**PERF: 7.49 (7.43)	
**PERF: 7.49 (7.56)	
**PERF: 7.49 (7.47)	
**PERF: 7.51 (7.54)	
**PERF: 7.50 (7.48)	
**PERF: 7.50 (7.53)	
**PERF: 7.50 (7.48)	
**PERF: 7.50 (7.52)	
**PERF: 7.49 (7.49)	
**PERF: 7.48 (7.52)	
**PERF: 7.51 (7.49)	
** INFO: <bus_callback:204>: Received EOS. Exiting ...

Quitting
App run successful

MAXQ Power Mode 는 가장 저전력 우선의 설정입니다. 성능을 희생하고 전력 소모량을 최소화 하는 것에 주안점을 두는 전력관리모드입니다. 1080p 영상 추론 기준 초당 7.5 프레임 정도 처리하고 있는 것을 확인할 수 있습니다. MAXN 모드에 비해 초당 처리량이 감소했습니다.

전력 균형 모드에서의 성능 측정

NvMMLiteOpen : Block : BlockType = 4 
===== NVMEDIA: NVENC =====
NvMMLiteBlockCreate : Block : BlockType = 4 
KLT Tracker Init
H264: Profile = 66, Level = 0 
**PERF: 8.34 (8.19)	
**PERF: 7.73 (7.98)	
**PERF: 7.82 (7.92)	
**PERF: 8.00 (7.89)	
**PERF: 8.00 (7.87)	
**PERF: 7.99 (7.96)	
**PERF: 8.01 (7.94)	
**PERF: 8.00 (7.92)	
**PERF: 8.01 (7.97)	
**PERF: 7.97 (7.96)	
**PERF: 7.99 (7.94)	
** INFO: <bus_callback:204>: Received EOS. Exiting ...

Quitting
App run successful

NvMMLiteOpen : Block : BlockType = 4 
===== NVMEDIA: NVENC =====
NvMMLiteBlockCreate : Block : BlockType = 4 
KLT Tracker Init
H264: Profile = 66, Level = 0 
**PERF: 8.83 (8.14)	
**PERF: 8.24 (8.49)	
**PERF: 8.63 (8.53)	
**PERF: 8.45 (8.50)	
**PERF: 8.43 (8.48)	
**PERF: 8.44 (8.46)	
**PERF: 8.43 (8.45)	
**PERF: 8.42 (8.45)	
**PERF: 8.42 (8.44)	
**PERF: 8.40 (8.44)	
** INFO: <bus_callback:204>: Received EOS. Exiting ...

Quitting
App run successful

전력 균형 모드는 MAXN 모드 보다는 낮지만 MAXQ 모드 보다는 높은 수준의 성능을 보이고 있습니다. 그 중에서도 MAXP CORE ARM 모드가 MAXP CORE ALL 모드보다 약간 더 높은 성능을 보이고 있는 것을 확인할 수 있었습니다.

Conclusion

DeepStream Framework 을 이용해 YOLOv3 를 구동해 보면서 각 전력 관리 모드에 따른 TX2 성능 측정 과정을 진행해 보았습니다. 성능 우선 모드와 소비전력 우선 모드에서 대략 17% 정도의 추론 성능 차이가 나는 것을 확인할 수 있었습니다. MAXQ 모드에 비해서 전력 소모량은 MAXP 모드에서도 200% 증가하기 때문에 MAXN 모드에서는 최소 두배 이상 증가하는 셈인데, 그에 비해서 성능 효과가 크다고 볼 수는 없을 것 같습니다.

실험 결과를 참고하여 전력 소모량과 최소 요구 성능 간의 밸런스를 잘 설정하여 시스템 설계하시면 좋겠습니다. 궁금한 점이나 부족한 부분은 언제든 댓글이나 이메일로 문의 주세요.