AI 반도체 수요 증가로 반도체 업계 미래 기술 아젠다가 AI에 집중되고 있다. 기존 GPU를 통한 AI 연산 한계를 극복하기 위해 PIM 반도체가 솔루션으로 대두되고 있다.

PIM(Processing In Memory) 지능형 반도체 기술 세미나가 31일 양재 엘타워에서 개최했다. 한국컴퓨팅산업협회(KCIA)가 주관한 이번 행사는 PIM 관련 산·학·연 담당자들이 참석해 관련 기술과 현안을 공유했다.

PIM 반도체 기술 동향에 대해 발표한 최규현 한국전자기술연구원(KETI) 선임연구원은 “PIM이 메인 메모리로 활용돼야 하며, 거대언어모델(LLM) 가속을 위해 NPU와 PIM의 통합 시스템 형태 솔루션 필요하다”고 말하며 이를 위한 제반 연구 진행과 생태계 저변 확대가 필요하다고 주장했다.

LLM은 Summarization에 높은 컴퓨팅이 요구되고, Generation에서는 높은 대역폭이 필요해 단일 디바이스(가속기)가 이를 동시에 만족시키기 어렵다는 문제가 있다. 최 연구원은 “GPU는 높은 컴퓨팅 요구량을 만족하는 반면, 메모리 대역폭 측면에서 효율적인 동작이라고 보기 어렵다”고 말하며 “NPU도 동일한 문제 발생하며 HBM 활용이 필요하다”고 덧붙였다.
PIM은 메모리 내부 대역폭 활용으로 인해 대역폭 요구량은 만족하지만 공정 한계로 많은 연산기 삽입 불가능해 Summarization의 높은 컴퓨팅 요구량 충족이 어렵다. 이에 NPU와 PIM 장점만을 취사선택한 솔루션 필요한 것이다.

최 연구원은 PIM의 활용 형태로 △가속기 △가속기 메모리 △메인 메모리 3가지 플랫폼을 제시했으며, 이 중 NPU가 함께 설계된 메인 프로세서(CPU) 내부에 PIM을 함께 탑재함으로써 △데이터 전송 오버헤드 해결 △Summarization 및 Generation 양 측의 최적 가속 가능이란 2가지 이점을 획득할 수 있다고 강조했다.

다만 PIM 하드웨어와 소프트웨어 제작 시 어려움이 뒤따를 것으로 보인다. 최 연구원은 “PIM 반도체 제조사 및 PIM 제품 별 스펙에 맞는 프로그래밍 필요하지만 이를 고려한 프로그램을 작성하고 실제 환경에 적용하기 어려워 활용성 저하 이슈 있다”고 언급하며 “PIM 전용 컴파일러 및 딥러닝 프레임 워크 상에서 구동되는 라이브러리 지원 통해 문제 해결할 수 있을 것”이라고 내다봤다.

상용화한 초거대언어모델을 보유한 전세계 3국 가운데 한국이 포함되며 인공지능 시대를 리딩할 준비를 마친 한국이 반도체 혁신 등 첨단 AI 하드웨어 부문에서도 앞서나가기 위한 산·학·연의 연구 개발이 활발하다.

SK하이닉스는 HBM 기술에서 삼성 대비 앞선 리더십으로 엔비디아를 중심으로 고객사를 선점하고 있는 상황이다. SK하이닉스는 최근 9월 AiMX 시제품 발표해 AiM 기반 생성형 AI 특화 가속기를 선보이며 생성형 AI에서 GPU 대비 10배 빠른 레이턴시와 20% 수준의 전력 소모를 보였다고 자부했다.

현재 삼성은 HBM에 PIM을 통합한 AI 가속 솔루션을 선보이고 있으며 올해 HBM3 기반 PIM이 나올지 귀추가 주목되고 있는 상황이다.