애플 아이폰 12 에 적용된 AI 기술

오늘 새벽 애플에서 애플 아이폰 12 발표를 했습니다. 솔직히 거의 기대감이 없었는데 내용을 보니 기대가 되더군요. 바로 아이폰 12 에 적용된 AI 기술 그 중에서도 특히 카메라 관련 기능 때문입니다.

애플 아이폰 12 메인 칩셋 – A14 Bionic 간단 리뷰

애플 AP는 판매용으로 제작하는 칩셋이 아니기 때문에 퀄컴이나 TI 에서 제작한 AP 제품처럼 데이터 시트를 통한 완벽한 스펙 공개를 하지는 않습니다. 하지만 마케팅 자료나 기타 자료를 통해 대략적인 스펙을 살펴볼 수 있었습니다.

지금까지 애플에서 제작한 AP가 특이한 사양이 있거나 타사 H/W를 압도하는 성능을 자랑해 왔던 것은 아닙니다.

CPU

Firestorm 2코어 + Icestorm 4코어 CPU 클러스터를 가지고 있습니다. CPU는 이전 시리즈와 코어 개수와 스레드 개수는 6개로 동일합니다만, Fire, Ice 코어가 이전 A13 Bionic 의 Lightning, Thunder 코어보다 클럭은 약간씩 (Lightning 2.67GHz -> Firestorm 2.99GHz) 빨라진 것으로 보입니다.

공정 개선

A13 bionic 은 TSMC 7nm 공정에서 양산되었으나, A14 bionic 은 전격적으로 TSMC 5nm 공정에서 양산이 됩니다. 아무래도 공정이 미세화 될 수록 전력 효율이 급격히 좋아지기 때문에 아마 배터리 성능은 크게 향상되었을 것으로 예상됩니다.

NPU

애플에서 공개한 자료에 따르면 A14 bionic 이 지원하는 NPU 성능은 대략 11 TOPS 정도입니다.

아래 링크 페이지에 지난번에 NVIDIA Autonomous 제품군의 성능 수준을 알아보기 위해 작성했던 글을 살펴보면, NVIDIA Nano 가 0.5 TOPS, TX2 가 1.3 TOPS 정도의 성능이고, NX가 21 TOPS 정도인 것을 볼 수 있습니다.

임베디드 딥러닝 플랫폼 (1) NVIDIA Jetson

이와 비교해 봤을 때 A14 Bionic 의 NPU 성능은 수치상으로 NVIDIA NX 의 약 52% 수준임을 알 수 있습니다. 이것은 H/W 성능 지표로 살펴 봤을 때 압도적인 성능 지표라고 볼 수는 없습니다.

애플 아이폰 12 의 비장의 카드는 사진이었다

앞서 언급한 바와 같이 지금까지 애플은 좋은 H/W 를 가지고 승부를 보는 기업이 아니었습니다. 애플의 최대 강점이자 좋은 제품을 만들어 내는 원동력은 바로 최종적으로 고객에게 제공할 가치를 먼저 디자인하고, 그것을 제공하기 위해 필요한 하드웨어와 소프트웨어를 제작한다는 점입니다.

아마 이번 아이폰 12 시리즈의 핵심 가치로 설정한 부분은 카메라와 사진, 그 중에서도 저조도 상태 즉, 밤이나 어두운 실내 등의 장소에서 찍는 사진의 품질을 끌어올려 주는 부분이라고 할 수 있을 것 같습니다.

저조도 사진의 문제점

휴대폰 카메라로 사진을 많이 찍으시는 분들은 한 번쯤 겪어 보았을 고질적인 문제점이 있습니다. 바로 어두운 환경에서 사진을 찍는 경우 고주파 노이즈가 끼게 되고 이것이 전반적인 사진 품질을 낮아지게 만드는 현상입니다.

아래 저조도 사진 이미지를 확대해 보면 눈으로 봤을 때는 단색의 그라데이션이 있어야 할 밤 하늘에 고주파 노이즈가 끼어 있는 것을 볼 수 있습니다.

사진을 좀 찍어 봤다 하시는 분들은 아마 모두들 비슷한 문제를 경험한 적이 있을 것입니다.

하드웨어 업그레이드

먼저 이야기하자면, 애플 아이폰 12로 찍은 저조도 사진은 순수하게 피사체 와 빛을 이용한 정직한 사진이 아닙니다. 자체적으로 후보정이 이루어진 사진입니다. 그렇다면 아이폰 12 로 사진을 찍을 때 무슨 일이 일어나고 무엇을 하는걸까요.

조리개 센서 확대 및 망원렌즈 장착

야간에 사진을 찍으면 피사체와 주변 사물의 색감이나 질감을 표현하기 위해 필요한 충분한 빛을 얻을 수가 없습니다. 광량 자체가 부족하기 때문에 어쩔 수 없는 부분입니다.

사람의 눈이 저조도 상황에서 어떻게 피사체를 잘 구분하고 없는 빛을 효과적으로 활용할까요? 눈동자의 크기를 키워서 일단 최대한 많은 빛을 흡수하도록 암순응합니다. 아이폰 12 도 조리개가 카메라별로 f/1.6 ~ f2.2 로 커졌습니다.

거기에 Pro 모델 기준 최대 4배 광학 줌 범위를 갖추었습니다. Pro Max 모델은 5배 광학 줌을 갖추었습니다.

일단 카메라의 눈동자 최대 크기를 키운 것이라고 할 수 있습니다.

LiDAR를 활용한 Depth Scan

저조도 상황에서 사진을 찍으면 빛이 부족합니다. 빛을 최대한 많이 끌어모으기 위해서 센서 크기를 키웠다고 하더라도 여전히 태양빛에 비하면 광량은 턱없이 부족합니다. 빛이 부족하면 피사체의 윤곽은 알아볼 수 있지만 질감과 같은 고주파 정보를 가시광선 영역의 시각 정보를 이용해 얻는 것은 불가능합니다. 이에 대한 대안으로 LiDAR를 장착하였습니다.

LiDAR는 원래 자동차의 자율 주행 분야에서 전방, 측방, 후방의 객체와의 거리를 측정하는 데에 사용되던 고가의 장비였습니다. 최근에는 크기도 많이 작아지고 가격도 과거에 비해 많이 낮아졌지만, 이것이 휴대폰에 장착이 되어 카메라에 사용될 거라고는 전혀 생각하지 못했는데, 애플은 정말 상식을 뛰어넘는 방식으로 좋은 제품을 만든다는 것을 다시 한번 느끼게 되었네요.

삼성전자 휴대폰에 LiDAR가 장착되었다가 빠졌는데, 아마 조만간 다시 LiDAR를 달고 나온 제품이 출시될 것으로 확신합니다.

잠깐 다른 이야기를 했는데 LiDAR를 장착한 이유는 사실 명료합니다. 보이지 않는 것을 보기 위해서 입니다. LiDAR 스캔을 통해 안 보이는 피사체의 각 부분 부분과의 거리를 측정할 수 있습니다. 이를 통해 피사체의 윤곽을 보다 명확하게 파악하고 안 보이는 물체의 질감도 어느 정도 파악할 수 있습니다.

소프트웨어 및 AI를 활용한 저조도 사진 품질 업그레이드

저조도 사진의 품질을 끌어올리기 위한 기법 중 궁극적으로 소개하고 싶은 내용은 소프트웨어 기법을 활용하는 방법입니다.

브라케팅

기본적인 아이디어는 HDR로부터 출발하였으며, 본질적으로 HDR의 기법과 동일한 방식의 이미지를 보정합니다.

브라케팅 기법이라고 하는데 한장의 사진을 촬영할 때 다양한 노출 수준으로 여러 장 사진을 촬영하여 병합하는 방법입니다. 피사체 및 배경에 최적의 노출을 적용하고 노이즈를 줄일 수 있습니다. HDR 기능을 통해 이미 접해보았던 기술과 유사합니다.

Deep Fusion

Deep Fusion 은 AI 기법을 활용한 이미지 보정 방식입니다. 브라케팅과 유사하지만 보다 디테일한 방식으로 이미지를 구성합니다. 각 pixel 별로 Neural Network 을 이용해 최적의 노출을 찾아내는 기법입니다.

AI 렌더링

배경과 전경에 대해 학습한 Neural Network 모델을 이용해 피사체와 각 배경의 성분을 구분합니다. 분류된 각 부분에 따라 최적의 노출을 찾아주는 방식으로 이미지 보정을 수행합니다.

예를 들어 같은 배경이라도 모래밭이나, 열대우림, 나무 기둥 등은 고주파 이미지와 높은 선명도가 유리하지만, 하늘이나 호수와 같은 단조로운 배경에는 높은 선명도로 렌더링하는 경우 노이즈만 많아지고 사진 품질이 저하됩니다.

HDR이나 브라케팅과 같은 기법을 적용한다고 할 때, 일정 기준으로 판단하여 사진 전체에 대해 동일한 sharpness 를 적용할 것입니다. 그런데 아이폰 12 에 포함된 AI 기반 렌더링 기법은 피사체와 배경의 종류가 구분이 되고 구분된 각 부분의 특성에 따라 가장 효과적인 노출과 선명도 등의 보정 성격의 성분을 선택해 준다는 것입니다.

맺음말. (애플 아이폰 12 Pro 사고 싶다…)

아직 실제 아이폰 12 Pro 모델을 본 적이 없고, 사진을 찍어본 적도 없기 때문에 정확히 어떤지는 알 수 없습니다. 하지만, 애플에서 디자인하고 구현했다고 제시하는 내용들이 너무 매력적이고 그럴듯해서 솔직히 당장 구매해서 사진을 찍어보고 싶은 생각이 간절하네요.

추후에 폰이 출시되면 구매해서 샘플 사진이라도 좀 찍어서 올려보도록 하겠습니다.