[이코노믹리뷰=김동규 기자] #1. 비슷한 스마트폰 수십대가 놓여 있다. 사용자는 ‘하이’라는 말을 한다. 수많은 스마트폰 중 한 대가 사용자의 목소리를 인지하고 화면이 밝아진다. 

#2. 자율주행차가 스스로 운전을 하면서 도로 위를 달리고 있다. 탑승객은 뒷좌석에서 곤히 자고 있다. 앞서 달리던 차량 한 대가 차선을 바꿔 자율주행차 앞으로 들어 온다. 자율주행차는 이를 인지하고 안전거리 확보를 위해 속도를 줄인다. 탑승객의 잠은 깨지 않았다.

▲ 강인엽 삼성전자 시스템LSI사업부 사장이 18일 NPU에 대해 설명하고 있다. 출처=삼성전자

위와 같은 상황은 인공지능(AI), IoT(사물인터넷), 5G등이 활성화된 시대에 상상해 볼 수 있는 장면이다. 언제 현실이 될지는 모르지만 현재 IT업계의 화두는 AI고, AI가 발전하게 되면 우리가 이전에는 상상하지 못했던 많은 일들이 일어날 것이라는 점에는 이견이 없다. 이런 상황의 중심에는 딥러닝을 통한 AI가 있다. 딥러닝은 기계가 특정 패턴 등을 계속 학습해 마치 사람처럼 판단을 할 수 있게 하는 인공지능을 갖기 위한 필수 과정이다. 이런 딥러닝 알고리즘 연산에 최적화된 프로세서가 NPU(Neural Processing Unit·신경망처리장치)다. CPU에서 GPU로, 다시 NPU로 IT기기의 두뇌가 변하고 있는 것이다. 

업계에 따르면 현재 NPU시장에서는 삼성전자와 퀄컴, 화웨이가 NPU가 탑재된 모바일 SoC(Syatem on Chip)시장에서 경쟁중인 것으로 알려졌다. 전장용 SoC NPU시장에서는 크게 눈에 띄는 업체가 없는 것으로 파악돼 향후 경쟁이 치열해질 전망이다. 

NPU가 필요한 이유

NPU는 인공지능 시대 IT기기의 핵심인 시스템 반도체다. 인간 대뇌의 계층구조를 모사한 알고리즘을 처리할 동시병렬연산을 할 수 있는 프로세서기 때문이다. 컴퓨터를 사람처럼 훈련시켜 시각·청각적 인지 능력을 가지도록 하는 딥러닝을 수행하는데 기존의 CPU로는 한계가 있다. 여기에 더해 스마트폰, 자율주행차 등 수많은 기기에서 수집되는 다양한 형태의 대용량 데이터를 실시간 처리하기 위해서도 NPU가 필요하다. 

NPU의 가장 큰 장점은 온디바이스 AI(On Device AI)구현이 가능하다는 점이 꼽힌다. 황성우 삼성전자 종합기술원 부원장은 18일 기자간담회에서 “수집된 데이터를 클라우드로 보내지 않고 기기 자체에서 처리하기 때문에 개인정보 보호에 강점을 보인다는 점, 데이터가 클라우드 센터에서 오고 가질 않기 때문에 응답속도도 빨리 구현할 수 있다는 점이 NPU의 장점으로 꼽힌다”면서 “여기에 더해 통신 네트워크가 제대로 구비돼 있지 않은 국가에서도 AI알고리즘을 스마트폰 위에서 자체 구동시킬 수 있기 때문에 비용도 줄일 수 있고, 전력 소모도 적다는 장점이 있다”고 설명했다.

 

한마디로 기기 자체에 내장된 칩을 통해서 수많은 데이터가 처리되고, 이로 인해 사람의 삶에 도움을 줄 수 있는 기능들이 구현될 수 있다는 것이다. 업계에 따르면 현재 NPU는 스마트폰 카메라 성능 향상에 활용되고 있는 것으로 알려졌다. 동영상이나 사진을 찍을 때 특정 인물의 얼굴을 빨리 인지하는데 NPU가 활용된다는 것이다.

향후 NPU는 스마트폰에만 적용되는 것이 아니라 자율주행차를 포함해 MR(혼합현실), 엣지 컴퓨팅 등에 활용될 것으로 전망된다. NPU가 발전을 거듭하다 보면 궁극적으로는 인간의 뇌와 비슷해지는 뉴로모픽 프로세서(Neuromorphic Processor)까지 발전될 것으로 업계는 예상하고 있다.

시장조사업체 가트너에 따르면 현재 NPU가 탑재된 SoC(System on Chip) 시장은 2018년 43억달러 규모에서 2023년 343억달러로 연평균 52%의 고성장세를 보일 것으로 전망됐다.

▲ 황성우 삼성전자 종합기술원 부원장이 18일 NPU에 대해 설명하고 있다. 이코노믹리뷰 김동규 기자

삼성전자 NPU “모바일 찍고, 자동차로 간다”

현재 삼성전자는 NPU가 탑재된 모바일 SoC를 제작해 스마트폰에 적용시키고 있다. 2018년 3월 갤럭시A50용으로 엑시노스 9610을 제작했고, 2018년 11월에는 갤럭시S10용 엑시노스 9820을 제작했다.

장덕현 삼성전자 시스템LSI사업부 부사장은 “앞으로 개발할 모든 모바일용 SoC에는 NPU가 탑재될 예정”이라면서 “하드웨어뿐만 아니라 많은 소프트웨어와 알고리즘이 필요하다”고 말했다.

▲ NPU가 탑재된 삼성 엑시노스 9820. 출처=삼성전자

삼성전자는 전장용 SoC에도 NPU가 탑재된 칩을 제작할 계획이다. 장 부사장은 “미래의 자동차는 거대한 IT기기라고 보면 되는데 현재 별도의 칩으로 작동하는 자동차의 클러스터가 미래형 자동차에서는 디지털 콕핏(Digital Cockpit)이라고 불리는 장치를 통해 모든 기능이 통합 관리될 것”이라면서 “특히 ADAS(첨단 운전자 보조 시스템) SoC에서 NPU의 역할이 크다고 보고 관련 제품을 개발 중”이라고 설명했다.

현재 삼성전자는 NPU가 적용된 자동차용 SoC인 ‘엑시노스 오토 A’시리즈를 개발 중이다. 장 부사장은 “이런 NPU가 탑재된 칩을 통해 차선 발견, 보행자 발견, 자동차 발견 등 사물 발견 기능과 인지를 통해 운전에 도움이 되는 반도체를 개발 중”이라고 말했다.

삼성전자는 향후 개발되는 다른 반도체에도 NPU기술을 접목해 시너지를 극대화할 계획이다. 모바일, 전장용 SoC부터 카베라 센서, 데이터 센터용 코프로세서, 메모리 반도체까지 NPU 기술을 넣을 계획이다.

현재 NPU시장에서 삼성전자와 경쟁을 하고 있는 글로벌 업체는 퀄컴과 화웨이 정도로 알려져 있다. 현재 NPU는 초기 단계라서 삼성전자와 유의미하게 비교할만한 수치나 성능은 없는 것으로 파악된다. 그러나 삼성이 시스템 반도체에서 2030년까지 세계1위를 달성하겠다는 ‘반도체 비전 2030’을 발표한 만큼 삼성의 광폭 행보가 예상된다. 강인엽 삼성전자 시스템LSI사업부 사장은 시스템 반도체 경쟁력 강화를 위한 인수합병(M&A)도 적극 나서겠다고 밝혔다.

강 사장은 “시스템 반도체 경쟁력 강화를 위해 인수 관련해서는 기술 적용을 위한 인수 작업을 열심히 준비하고 있다고 보면 된다”면서 “필요하다면 빅M&A도 당연히 할 수 있다고 생각한다”고 말했다. 다만 강 사장은 특정 회사에 대한 언급은 민감한 이슈라는 이유로 하지 않았다.