Year: 2023
Type: dissertation
Abstract: 최근 인공지능 (AI) 기술 발전이 급속도로 빨라지고 있으며 대중들의 관심도 높아지고 있다. 특히 ChatGPT와 같은 진보된 소프트웨어 기반 인공지능 기술이 개발되고 전세계 인구가 그 혁신을 경험하는 상황에 이르렀다. 하지만 이런 소프트웨어 기반 인공지능이 발전할 수록 컴퓨팅 시스템에 요구되는 성능 또한 급격히 증가하게 된다. 특히 소프트웨어기반의 Artificial Neural Network (ANN)으로 이미지 분류, 음성인식, 추론과 같은 작업을 수행하기 위해서는 막대한 양의 학습, 테스트 데이터로 반복 연산이 진행되어야 하며 인식해야 할 데이터가 복잡해지고 높은 정확도가 요구될수록 연산 시간과 에너지 소모가 극심해진다. 반복연산을 빠르게 하기 위해서는 병렬적 데이터 처리가 필요하기 때문에 CPU 대신 GPGPU와 같은 AI 가속기가 주로 사용되고 있으며 소프트웨어 AI 연산 목적의 전용 프로세서인 TPU, NPU 등의 개발도 이루어지고 있다. 하지만 이런 소프트웨어 기반 AI가 발전하면서 연산속도와 전력소모에 대한 개선 필요성이 커지고 하드웨어 뉴런, 시냅스 소자를 기반으로 한 뉴로모픽 시스템의 중요성이 더욱 증가하고 있다. 뉴로모픽 시스템은 어레이로 구성된 시냅스 소자를 이용하여 벡터-행렬 곱 연산 (VMM)이 가능하기 때문에 연산 속도가 빠르고 매우 낮은 전력을 소비한다. 따라서 그에 적합한 시냅스 소자를 개발하고 어레이로 확장하는 연구가 활발히 진행되고 있다. 인텔에서 개발된 Spiking Neural Network (SNN) 기반 뉴로모픽 칩인 Loihi 에서는 시냅스 소자로 SRAM이 사용되었으나 소자의 면적이 매우 크기 때문에 집적도 측면에서 약점을 가지고 있다. 따라서 집적도가 높은 flash 및 저항변화 소자 구조에 대한 연구가 집중적으로 이루어지고 있다. 그 중에서 Resistive Random-Access Memory (RRAM) 소자는 구조가 간단하고, 고속동작, 신뢰성 특성이 좋은 장점을 가지고 있지만 장치간 특성 및 반복 동작 특성 산포가 큰 문제점이 있고 전도성 필라멘트 형성 과정에서의 오버슛을 해결해야 하는 문제가 있다. 필라멘트가 형성될 때 오버슛을 적절히 억제하지 못하는 경우 동작전류가 높아 지거나 소자가 파괴되어 저항변화 특성을 나타내지 않게 된다. 또한 소자간 스위칭 전압 산포가 크면 어레이를 구동하기 어려운 문제가 있다. 특히 포밍, 셋 전압의 차이가 큰 경우 포밍 진행 시에 다른 소자가 파괴되는 경우가 발생할 수 있으며 셋, 리셋 전압 차이가 큰 경우 소자간 간섭에 의해 목표 가중치를 정확하게 전사할 수 없다. 해결 방법으로 1T-1R구조를 적용하면 소자 간섭을 막을 수 있고 트랜지스터에 흐르는 전류를 제한하여 목표 가중치를 정확하게 전사하는 것이 가능해지지만 4F2의 feature size를 가지는 0T-1R구조에 비해 시냅스 소자의 집적도가 낮아지는 단점이 있다. 따라서 대규모 0T-1R 크로스 포인트 어레이 동작이 가능하도록 Al2O3/TiOx 기반 RRAM 소자 내부에 AlOy 오버슛 억제 층 (OSL)을 삽입하여 필라멘트 형성 시 오버슛을 줄이기 위한 방법을 제시하였고, 열처리 조건, TiOx의 산소 조성비를 최적화하여 스위칭 전압의 산포를 개선하고 소자 수율을 향상시켰다. 또한 최적화된 시냅스 소자를 사용하여 32 × 32 크기의 어레이를 제작하고 외부적인 전류제한 없이 스위칭 동작 진행 결과 셀 수율 100%를 확보하였다. 각각의 시냅스 소자는 저전력 동작 과 동시에 (100 kΩ ~ 6 MΩ) 4-bit로 가중치를 만들 수 있었다. 마지막으로 MNIST 784 × 32 × 10의 간단한 뉴럴 네트워크를 구성하고 Fully Connected Network (FCN)인 32 × 10을 32 × 20 어레이로 (G+, G-) 가중치 전사를 진행하였으며 스위칭 매트릭스를 통해 추론 측정을 진행하였다. 어레이로 전사될 가중치는 파이썬 시뮬레이션에서 일반적인 ANN 학습방법을 사용하였고 시냅스가 4-bit의 가중치를 가지도록 양자화 하여 구했으며 추론 과정은 rate encoding을 적용한 SNN으로 전환하여 진행하였다. SNN은 하드웨어 시냅스에 적용하기에 적합한데 소자의 아날로그 전압/전류 특성이 선형적이지 않은 경우 뉴런에서 생성되어 나오는 서로 다른 크기의 신호를 시냅스로 입력할 때 가중치 오차가 발생할 수 있기 때문이다. 따라서 뉴런의 출력이 동일한 전압 크기를 가지며 스파이크의 개수로 표현하는 것이 시냅스 소자의 아날로그 스위칭 특성에 의한 오차를 줄일 수 있다. 또한 이벤트 기반 동작이 가능하고 추론 과정에서 아날로그-디지털 혹은 디지털-아날로그 변환을 수행하는 회로들이 필요 없으므로 회로구성이 간단해지고 효율적인 에너지 사용이 가능하다. 최종적으로 2,000개의 테스트 데이터, 30개 타임스텝, 읽기 전압 크기의 스파이크 입력에 대한 출력 노드 측정 결과 94.6%의 인식률을 확인할 수 있었다. 소프트웨어 에서의 인식률은 95.8%였으며 1.2% 포인트 인식률 하락의 원인을 확인하기 위해 오차가 있는 가중치 전사 후 결과로 다시 시뮬레이션을 진행한 결과 95%의 인식률을 확인하였다. 따라서 가중치의 전사 오차에 의해 인식률 0.8% 감소, 추론 측정 중 가중치 변화(유지력 저하 또는 읽기 방해)에 의해 0.4%의 오차가 발생한 것을 확인하였다.
Author: 김성준
Institution: Seoul National University
Language: English
Subfield: Electrical and Electronic Engineering
Field: Engineering
Domain: Physical Sciences
Keywords: memristor arrays, overshoot reduction, neuromorphic hardware, artificial synapses, artificial neural networks, matrix-vector multiplication, energy-efficient computing, hardware acceleration, Loihi, spiking neural networks, resistive switching, integration density, energy efficiency, AI accelerators, hardware-software co-design
Open Access status: green
OpenAlex ID: W7070649093
