PIM, 메모리 내부에서 프로세싱 작업 수행하여
폰 노이만 구조의 고질적인 병목 현상 탈피해
상반기 안에 고객사 AI 가속기로 검증 작업


삼성전자는 17일, 업계 최초로 메모리 반도체와 AI 프로세서를 결합한 ‘HBM-PIM’을 개발했다고 밝혔다.

PIM(Processing-in-Memory)은 메모리 내부에 연산 작업에 필요한 프로세서 기능을 더하는 기술이다. 삼성전자는 지난 2018년 1월부터 양산 중인 2세대 고대역폭 메모리 반도체(High Bandwidth Memory) ‘HBM2 아쿠아볼트(Aquabolt)’에 AI 엔진을 탑재하여 HBM-PIM을 개발했다.

AI 시스템에 HBM-PIM을 탑재하면 기존 HBM2 이용 시스템 대비 성능은 약 2배 이상 높아지고, 시스템 에너지는 70% 이상 감소한다. 또한, 기존 HBM 인터페이스를 그대로 지원해 기존 HBM 이용 고객들은 하드웨어나 소프트웨어 변경 없이 HBM-PIM을 통해 AI 가속기 시스템을 강화할 수 있다.

최근 AI 기술의 응용 영역이 확대되며 고성능 메모리 요구가 지속해서 커져 왔으나, 기존 메모리로는 폰 노이만 구조의 한계를 극복하기 어려웠다.

폰 노이만 구조란, 오늘날 컴퓨터 대부분에서 사용하는 처리 방식이다. CPU가 메모리로부터 명령어를 불러오고 실행하며, 그 결과를 다시 기억장치에 저장하는 작업을 차례대로 진행한다. 이 과정에서 CPU와 메모리 간 주고받는 데이터가 많아지면 작업처리가 지연되는 병목 현상이 발생한다.

이를 극복하기 위해 삼성전자는 메모리 내부의 최소 논리적 단위인 뱅크(Bank)마다 AI 엔진을 장착하고, 병렬처리를 극대화해 성능을 높였다. HBM-PIM은 메모리 내부에서 연산 처리가 가능해 CPU와 메모리 간 데이터 이동이 줄어들어 AI 가속기 시스템의 에너지 효율을 높일 수 있다.

삼성전자는 해당 기술을 D램 공정에 접목해 HBM-PIM을 제품화하는데 성공하고, 반도체 분야 세계 학회인 ISSCC에서 논문을 공개했다.

상반기 내로 삼성전자는 고객사들의 AI 가속기에 HBM-PIM을 탑재해 테스트 검증을 완료할 예정이다. 또한, 향후 고객사들과 PIM 플랫폼의 표준화와 에코시스템 구축을 위해 협력할 계획이다.