2075호(221207)_Processing-in-Memory 반도체 기술 동향

1. PIM 시장 현황

• 인공지능을 탑재한 자율주행차, 드론, 비행택시, 가전 AR/VR 등의 서비스는 진화하여 대규모의 데이터를 고속으로 처리하기 위한 고성능 및 저전력 컴퓨팅 필요
• 현재 프로세서의 폰노이만 방식 컴퓨팅 구조는 연산과 저장 기능이 분리된 근본적인 구조로 인해서 성능과 전력 효율 문제 발생, 반도체 내부 대량 데이터 이동으로 데이터 병목현상과 집적도 향상의 한계 도달
• 문제점 해결을 위해 CPU 중심 컴퓨팅을 뇌 구조와 유사한 메모리 중심 컴퓨팅으로 전환하여 연산과 저장 기능을 통합한 PIM 기술이 주목 받고 있으며, 프로세서와 메모리를 반도체 칩 상에서 최단 거리로 배치하거나 신소자로 연산과 메모리 기능을 동시 구현하여 성능 및 전력 효율 개선을 통해 현재의 컴퓨팅 구조의 근본적 문제 해결
• PIM 아키텍처에서 각 처리 요소에는 컴퓨팅 회로와 메모리가 있어 외부 메모리와의 데이터 전송 빈도를 줄이고 전력 소모가 많은 데이터 전송이 최소화되기 때문에 PIM 아키텍처는 에너지 효율성을 향상할 수 있으며, 이를 위해 SRAM 기반 PIM, DRAM 기반 PIM, ReRAM 기반 PIM과 같은 메모리 유형에 따라 연구 진행
• SRAM은 간단한 작동 모드와 성숙한 기술 덕분에 PIM 매크로를 구현하기 위한 다른 유형과 비교하여 가장 많은 연구 진행, 그러나 SRAM 셀의 면적은 DRAM 및 ReRAM과 같은 유형보다 면적 면에서는 메모리 밀도가 낮음
• DRAM 기반 PIM은 대용량 메모리로 대형 기계학습 모델을 가속하는 솔루션이지만 DRAM 셀의 고밀도는 DRAM 기반 PIM 구현에 문제, 그러나 3차원 적층 DRAM에 처음으로 제작된 PIM 칩으로 실현 가능성 입증

 

2. SRAM 기반 PIM 기술 동향

• SRAM 기반의 PIM 기술은 인공지능반도체인 뉴로모픽의 MAC 연산을 위한 가중치 값을 외부 메모리에서 읽고 쓰는 것이 빈번하여 대역폭 제한의 문제점 → 에너지 소비를 낮출 수 있는 새로운 구조 제안(기존 전압 영역에서 MAC 연산의 전력 소모를 최소화 한 구조였다면 타임 영역에서 에너지 소모를 최소화 하는 구조 제안)
• SRAM은 가장 직관적인 동작을 통한 이론 및 성숙한 제조 기술을 가지고 있어 PIM 매크로 구축의 어려움을 줄이고 인공 신경망 가속기 구축을 위한  가장 인기 있는 후보로, 문제를 해결하기 위한 트레이드 오프 분석과 함께 여러 SRAM 기반 작업 진행
• 아날로그 PIM 매크로는 인공 신경망의 유연성과 분류 정확도의 한계를 표현하면서 높은 에너지/면적 효율 성능을 가짐
• 디지털 PIM 매크로는 효율성과 처리량이 적지만 물리적 변화를 피하는 장점

 

3. DRAM 기반 PIM 기술

• DRAM 아키텍처는 각 셀이 단일 트랜지스터와 커패시터의 단순한 구조를 갖는 셀 밀도에 초점을 맞춰 개발
• 메모리 셀의 구조적 단순성은 DRAM 기반 PIM을 위한 로직 통합에 흥미로운 아이디어를 불러 일으키지만 물리적 제약 존재
• 문제를 해결하기 위해 큰 논리 영역을 활용하여 DRAM 기반 PIM의 확장성을 가지고, 3차원 레벨 PIM의 HMC(하이브리드 메모리 큐브)와 같은 기본 로직 다이와 함께 3차원 스택 메모리 활용 가능
• 3차원 적층 다이의 물리적 및 타이밍 제약으로 3차원 레벨 PIM 실현의 어려움 존재

 

4. ReRAM 기반 PIM 기술

• ReRAM은 새로운 비휘발성 메모리의 일종으로 ReRAM 기반 PIM로써 읽기 및 쓰기 성능, 낮은 프로그래밍 전압, CMOS 제조 공정에 대한 확장성 및 호환성을 갖추고 있으며, 이진 값을 저장하기 위해 고저항 상태 또는 저저항 상태로 프로그래밍 가능
• ReRAM의 아날로그적 특성때문에 일부 제품에서는 메모리 용량 향상과 아날로그 저장을 위해 ReRAM 사용

 

5. 결론

• PIM 기반의 솔루션은 전송 과정에서 발행사는 지연시간과 전력 손실을 줄일 수 있음
• 데이터를 보다 효율적으로 처리할 수 있고 실시간으로 대용량 데이터를 처리하거나 데이터를 출력해야하는 AI, 데이터센터, 고성능 컴퓨팅 등에 PIM 기술 적용 
• 뉴로모픽 아키텍처는 초기에 연산과 저장이 분리되어 있고, 하나의 반도체가 모여서 연산을 수행하는 형태
• PIM은 연산이 메모리에서 수행되는 아키텍처로 신경망과 딥러닝이 이미지/음성 인식 등에 최적의 솔루션 제공 가능  
• 폰 노이만 구조의 한계를 넘어 프로세서와 메모리를 집적한 신개념 반도체 기술로 딥러닝에 최적화된 AI 반도체는 PIM 구조를 통해 반도체 성능과 전력 효율을 크게 향상시켜 저전력 소모로 고속 동작 가능