AI관련 궁금한 용어들(온디바이스AI,HBM,딥러닝,NPU)

 
 
안녕하세요
 
오늘은 개인적으로 주식시장에서도 자주 언급되는 반도체 및 AI관련 용어들의 뜻이 무엇일까
 
궁금해서 정리할겸 준비해봤습니다.
 
 
 

1. 온디바이스AI

 
온디바이스 AI란 서버나 클라우드에 연결할 필요 없이 모바일 기기 자체적으로 정보를 처리할 수 있다는 것을 의미.
온디바이스 AI 는 저지연, 향상된 보안, 유연성 등 다양한 이점을 가지고 있으며, 디바이스가 네트워크에 연결되어 있지 않을 때도 언제든지 사용할 수 있다. 이기술을 완벽하게 구현하려면 강력한 신경망 처리장치(NPU)성능이 필수적이다.
 

 
쉽게 말해서 인터넷연결을 통한 클라우드기반 AI가 아니라 자체디바이스에서 정보를 처리하는 것을 의미합니다.
 
특징으로 정리해보자면
 
-  NPU(신경망칩)을 설치하여 인터넷 연결없이 생성형 AI구동이 가능
-  자체적 AI연산, 속도가 빠르고 개인정보호 용이
-  단, 인터넷정보가 아니라 결과물의 완성도가 떨어질 수 있음
 
이 정도로 정리할 수 있을 거 같습니다.
 

 

출처: https://www.mk.co.kr/news/culture/10911744
 
 

2. 딥러닝?

컴퓨터가 인간처럼 판단하고 학습할수 있도록 하고 이를 통해 스스로 외부데이터를 조합하고 분석하여 학습하며, 군집화 하거나 분류하는데 사용하는 기술
인공신경망을 이용하여 데이터에서 학습하고 복잡한 문제를 해결하는 머신러닝의 한 분야
 
머신러닝은 딥러닝를 포함하는 범위라고 합니다.

출처: https://blog.naver.com/sellmany/223326118225

 
 
 
확 와닿는 개념은 아니지만 우리주변에서는 음성인식, 이미지인식, 자연어처리, 생성모델링 등이 있다고 하네요.
 

 
 
 

3. NPU

온디바이스를 알아보면서 처음 접해보는 개념입니다.
CPU다음 GPU 다음 NPU라고 해서 3가지를 비교해보는 내용이 자주 등장하였습니다.
 

 

“NPU의 궁극적 종착지는 이름 그대로 뉴로모픽(neuromorphic) 반도체다. 인간 뇌를 모방한 칩으로 발전하는 게 목표다. 크게 뉴런과 시냅스로 이뤄진 뇌는 연산과 저장을 동시에 할 수 있다. 반면 반도체는 연산 기능을 맡은 비(非)메모리 부분과 저장 역할을 하는 메모리가 따로 있다. 두 가지 부분을 한데 합칠 수 없기에 각각 따로 만들어 붙이는 게 오늘날 반도체 기술 수준이다. 지금 기술로는 뉴로모픽 반도체를 구현할 수 없다 보니 아직 NPU는 이름값을 온전히 못 하는 ‘가성비 GPU’에 가깝다.”

 
 
여러가지로 살펴보니 아직까지 NPU는 본격적으로 도입되기에는 개발 초기라고 보여지고 GPU보다 활용범위는 제한적인 것 알 수 있습니다.
 
 

NPU는 주로 어떤 분야에 쓰이나.
“AI 분야에선 행렬연산에 쓰이는 경우가 많다. 사업 효율성을 높이려는 AI 서비스 기업 입장에서 GPU만으로 서버를 구축하려면 비용 부담이 너무 크다. 따라서 큼직큼직한 기능은 GPU로, 나머지 틈새 기능은 NPU로 보완하는 추세다. NPU는 지금도 스마트폰에 주요 부품으로 들어간다. 가령 삼성전자 빅스비, 애플 시리 등 AI 비서 기능이 NPU 칩으로 구현된다. 스마트폰의 뇌라고 할 수 있는 모바일 중앙처리장치(CPU)인 AP(Application Processor)라는 칩이 있는데, 여기에 NPU가 들어가는 것이다. 이처럼 스마트폰에 들어가는 NPU의 기술 수준도 점차 높아지고 있다.”
출처: https://weekly.donga.com/economy/article/all/11/5003149/1 주간동아

 
 

4. HBM

고대역폭 메모리(High Bandwidth Memory, HBM)는 DDR (Double Data Rate) SDRAM과 같은 기존 메모리 기술과 비교하여 훨씬 높은 데이터 전송률과 낮은 전력 소비를 제공하는 고부가가치 메모리.
 HBM은 SK 하이닉스와 AMD와의 협력으로 개발되었으며, 첫 번째 세대 HBM은 2013년에 소개된, 사실은 개발된지 10년이 된 기술.
 
HBM은 SK하이닉스주식을 공부할때 이미 알고 있었지만 엔비디아 납품소식에 한번 더 관심을 가지게 되었습니다.
 

 
 
HBM이 주목받은 것또한  GPU에 주로 사용되면서 엔비디아 주가상승과 함께 SK하이닉스가 확실한 엔비디아 수혜주가 될 수 있었습니다.
 
 

그래픽 처리 장치(GPU): HBM은 그래픽 카드에서 주로 사용되며, 높은 메모리 대역폭을 제공하여 복잡한 그래픽 렌더링 작업에 적합합니다. 게임, 컴퓨터 그래픽스, 디지털 예술 등의 분야에서 고품질 그래픽 처리를 위해 HBM이 필수적인 요소로 인정받고 있습니다. 특히 위의 사진처럼 HBM은 하나의 기판위에 같이 패키징되어 데이터 통신 속도를 더욱 높입니다.

고성능 컴퓨팅(HPC): HBM은 고성능 컴퓨팅 분야에서도 핵심적인 역할을 수행합니다. 대용량 데이터의 빠른 처리가 요구되는 과학 시뮬레이션, 기상 예측, 유체 역학 등의 과학기술 응용 분야에서 HBM은 뛰어난 성능을 제공하기 위한 중요한 선택지입니다.

 

 

 
 
 
포스팅이 유용했다면 좋아요와 구독하기 감사합니다.