[AI칩] 6. 인공 유기 시냅스 개발

신경망을 모방하는 인공지능칩(AI Chip)·신경모방칩(Neuromorphic Chip) 기술개발 동향

[요약] 인간의 뉴런(Neuron)과 시냅스(Synapse)의 신경망(Neural Networks)을 모방하는 인공지능칩(AI Chip) 또는 신경모방칩(Neuromorphic Chip)을 개발하는 퀄컴, 인텔, IBM, 삼성전자, 알리바바 등의 특허분석을 소개하기에 앞서, (1) AI칩·신경모방칩을 개발하는 배경과 (2) 두뇌 신경망의 특징들인 가소성(Plasticity)·SNNs/JNNs·STDP와 LTP/LTD, 시냅스의 역할, 그리고 비-신경세포인 신경교의 역할 등 생물학적이고 화학적인 구조와 기능과 역할을 이해할 필요가 있다. 왜냐면 이러한 지식이 없으면 특허를 분석할 수도 없고 다음에 소개할 기업들의 특허분석 보고서를 이해할 수 없기 때문이다. 

추아(Chua, 1971)가 제안하고 HP의 연구원들이 2008년에 발견한 멤리스터(memristor)가 실제 존재하냐 아니냐의 논쟁도 다소 있지만, 향후 특허분석 보고서를 통해 소개하는 내용 중 멤리스터를 이용한 AI칩·신경모방칩을 연구하는 기업들이 있어 다소 긍정적인 관점에서 소개하려 한다. 왜냐면 AI칩·신경모방칩은 이제 시작이라는 점이다. 누가 어떤 물질(소자)을 갖고 뉴런과 시냅스와 같은 유기칩(Organic Chip)을 개발하는가가 중요하다. 멤리스터는 메모리(memory)와 저항기(resistor)의 합성어로 이전의 상태를 모두 기억하는 메모리 소자다. 

본 글에서는 획기적인 에너지 절감의 AI칩·신경모방칩에 도전하는 두 가지 사례를 소개하는데, 프랑스/미국의 스스로 학습하는 인공 고체 시냅스인 멤리스터 개발과 미국 스탠포드대의 뉴로모픽 컴퓨팅을 위한 인공 유기 시냅스 개발이다. 이 두 가지 사례는 앞으로 소개할 퀄컴, 인텔, IBM, 삼성전자, 알리바바 등의 특허분석을 이해하고 왜 AI칩·신경모방칩에 도전해야 하는지 이해하는 데 도움이 된다. 결론적으로 인간의 두뇌는 연산과 학습, 기억과 회상을 하는데 20W의 전력이 필요한데, 이를 모방해 저-전력의 칩을 개발하자는 것이다. 

[글 싣는 순서]
1. 배경(Background) – Edge AI <-> Cloud AI의 쌍방향 시대가 온다
2. 뉴런과 시냅스의 신경망
2-1. 뉴런과 시냅스, 연산과 학습과 저장(기억)을 동시에 처리
2-2. 가소성과 SNNs/JNNs과 STDP와 LTP/LTD
2-3. 시냅스의 역할
3. 비-신경세포인 신경교의 별 세포 또는 성상세포
4. 회로를 구성하는 4번째 요소인 멤리스터(memristor)란?
4-1. 추아(Chua, 1971)가 제안하고 HP의 연구원들이 발견(2008)
4-2. 멤리스터의 만능 기능, 토탈 리콜(Total recall)이 가능
4-3. 어떤 원리인가? 이력현상(hysteresis effect)

5. 획기적인 에너지 절감의 AI칩·신경모방칩에 도전하는 사례들  
5-1. 프랑스/미국, 스스로 학습할 수 있는 인공 고체 시냅스인 멤리스터 개발
5-2. 미국 스탠포드대, 신경모방 컴퓨팅을 위한 인공 유기 시냅스 개발



5. 획기적인 에너지 절감의 AI칩·신경모방칩에 도전하는 사례들 

다음 두 가지 사례들은 앞으로 소개할 퀄컴, 인텔, IBM, 삼성전자, 알리바바 등의 특허분석을 이해하고 왜 AI칩·신경모방칩에 도전해야 하는지를 이해하는 데 도움이 된다. 결론적으로 인간의 두뇌는 연산과 학습과 기억과 회상을 하는데 20W의 전력이 필요한데, 이를 모방해 저-전력의 칩을 개발하자는 것이다.

5-2. 미국 스탠포드대, 신경모방 컴퓨팅을 위한 인공 유기 시냅스 개발

미국 스탠포드대와 미국 샌디아 국립연구소(Sandia National Laboratories)의 과학자들이 정보를 처리하고 저장하고 학습하고 기억하는 인간 두뇌의 시냅스와 똑같은 유기 인공 시냅스를 만드는 데 성공해, "뉴로모픽 컴퓨팅을 위한 저-전압 인공 시냅스의 비-휘발성 유기 전기화학 디바이스(A non-volatile organic electrochemical device as a low-voltage artificial synapse for neuromorphic computing)”라는 논문을 발표했다(Burgt et al., Nature Materials, 20 Feb 2017; Science Daily, 21 Feb 2017).

이로써 딥 러닝 이후의 두뇌 정보 처리, 저장, 학습, 기억의 메커니즘을 모방하는 뉴로모픽 컴퓨팅, 뉴런과 시냅스의 다층적(Multi-Layered) 생체 지능(BI, Biology Intelligence)과 두뇌와 기계의 인터페이스(BMI) 기술에 획기적인 혁신이 이루어질 것으로 기대하고 있다. 이때 전기화학이라는 용어는 뉴런(Neuron)은 +-의 전기 신호로 정보를 전도하고, 시냅스는 도파민 등의 70가지 이상의 화학물질이라는 신경전달물질들(Neurotransmitter)을 분비하여 전달하고 저장하고 회상하기 때문에 전기화학이라는 용어를 쓴 것이다.

뉴런과 시냅스의 연결과정은 뉴런 → 시냅스 → 뉴런이 되는데, 시냅스전뉴런(Presynaptic Neuron)이 정보를 시냅스에 전도하면, 시냅스는 신경전달물질(화학물질, Neurotransmitter)을 분비하여 시냅스후뉴런(Postsynaptic Neuron)으로 전달하게 된다. 그리고 이때 시냅스는 정보를 프로세싱해서 동시에 기억을 생성하고 저장시킨다. 다시 말해 프로세싱이 바로 기억이라는 점이다. 그리고 기억을 꺼내는 회상도 시냅스가 담당한다. 그리고 우리가 학습할 때, 뉴런-시냅스-뉴런의 연결고리에서 시냅스전뉴런이 전기 신호로 정보를 전도한다. 이때 가장 많은 에너지가 첫 번째 시냅스가 활성화되어 가로지를 때 필요하고, 그다음부터 연결에는 에너지 소비가 적어진다. 이것이 바로 어떻게 시냅스가 무엇인가를 학습(learning)하고 기억(remembering)하게 하는 방법이다. 

▲ 미국 스탠포드대의 살레오(Alberto Salleo) 교수(왼쪽)가 신경망 컴퓨팅(for neural network computing)을 위해 전기화학 성분으로 이루어진 인공 시냅스를 보며 설명하고 있다. (Credit: L.A. Cicero)

따라서 일을 많이 하는 뇌 부위는 시냅스 연결이 늘어나고, 일을 안 하는 부위는 연결이 끊어진다. 이를 시냅스의 가소성(synaptic plasticity)이라 부른다. 이런 효율적인 구조 때문에 에너지 소모를 최소화하며 대용량의 정보를 고속으로 처리하고 저장할 수 있다.

수십 년 동안 컴퓨터 기술이 발전했어도 아직 과학자들은 저-전력으로(low-energy) 고상한 프로세싱(elegant processing)을 하는 두뇌와 같은 컴퓨터를 만들지 못하고 있다. 그러나 지금 스탠포드대를 중심으로 하는 공동연구팀이 획기적인 진전을 이루었는데 적어도 효율적인 두뇌의 일부분을 모방하여, 뉴런들과 소통하는 인공 시냅스의 디바이스를 만든 것이다. 

“이 인공 시냅스 디바이스는 진짜 시냅스와 같이 작동하지만, 공학적으로 만들어진 하나의 유기 전자 디바이스(an organic electronic device)입니다. 따라서 이는 완전히 새로운 디바이스입니다. 왜냐면 이와 같은 아키텍쳐를 가진 유형은 전에 없었습니다. 실리콘 등 무기물로 만들어진 어떤 것보다 훨씬 수행능력이 뛰어 납니다”라고 교신저자인 살레오(Alberto Salleo)는 말했다. 

이 디바이스의 중요한 특징은 시냅스를 그대로 모방한 비-휘발성(non-volatile) 때문에 에너지를 현저하게 절약시킨다는 점이다. 기존 컴퓨터는 정보를 프로세싱하고, 그다음 메모리에 저장하지만, 이는 프로세싱과 동시에 메모리를 생성하고 저장시킨다(the processing creates the memory). 따라서 어느 날인가 이 인공 시냅스는 두뇌 같은 컴퓨터의 일부가 될 터인데, 그러면 시각 신호와 청각 신호를 동시에 처리하는 컴퓨팅이 될 것이다. 예를 들어 음성으로 제어되는 인터페이스와 자율차 등이다. 과거에는 인공지능 알고리즘에 의해 고성능의 신경망 네트워크가 나왔지만, 아직 두뇌를 따라오기란 멀리 있는데, 이는 많은 에너지가 들어가는 에너지-소비적인 하드웨어에 의존하고 있기 때문이다. 

▲ 시냅스의 구조 (그림: 위키피디아)

두뇌 구축(Building a Brain) – 뉴런과 시냅스의 연결과정은 뉴런 → 시냅스 → 뉴런이 되는데, 시냅스전뉴런(Presynaptic Neuron)이 정보를 시냅스에 전도하면, 시냅스는 신경전달물질(화학물질, Neurotransmitter)을 방출하여 시냅스후뉴런(Postsynaptic Neuron)으로 전달하게 된다. 그리고 이때 시냅스는 정보를 프로세싱해서 동시에 기억을 생성하고 저장시킨다. 다시 말해 프로세싱이 바로 기억이라는 점이다. 그리고 기억을 꺼내는 회상도 시냅스가 담당한다. 그리고 우리가 학습할 때, 뉴런-시냅스-뉴런의 연결고리에서 시냅스전뉴런이 전기 신호로 정보를 전도한다. 이때 가장 많은 에너지가 첫 번째 시냅스가 활성화되어 가로지를 때 필요하고, 그다음부터 연결에는 에너지 소비가 적어진다.

이것이 바로 어떻게 시냅스가 무엇인가를 학습(learning)하고 기억(remembering)하게 하는 방법이다. 다시 말해 이 인공지능 시냅스는 다른 버전의 두뇌를 모방한 컴퓨팅과는 달리, 저-전력으로 학습(프로세싱)과 기억(메모리)이라는 두 가지 작업을 동시에 하는 것이며, 그래서 에너지를 절약하는 것이다.

따라서 일을 많이 하는 뇌 부위는 시냅스 연결이 늘어나고, 일을 안 하는 부위는 연결이 끊어진다. 이것이 시냅스 가소성(synaptic plasticity)이다. 이런 효율적인 구조 때문에 에너지 소모를 최소화하며 대용량의 정보를 고속으로 처리하고 저장할 수 있다.

“딥 러닝의 알고리즘은 매우 강력합니다. 그러나 딥 러닝의 알고리즘들은 전기 상태들(electrical states)을 계산하고 모방하며, 그다음 그것들을 메모리에 저장하는 프로세서들에 전적으로 의존합니다. 따라서 이러한 과정은 에너지와 시간 관점으로 볼 때 비효율적입니다. 딥 러닝이 신경망을 흉내 내는 것인데 반해, 인공 시냅스는 신경망을 만들도록 노력합니다”라고 제1저자인 반드 버지트(Yoeri van de Burgt)는 말했다. 

인공 시냅스는 배터리 디자인을 바탕으로 한다. 인공 시냅스는 두 개의 얇고 유연한 필름과 함께 3개의 단자로 이루어져 있고, 이들은 소금물의 전해질로 연결된다(It consists of two thin, flexible films with three terminals, connected by an electrolyte of salty water). 따라서 인공 시냅스 디바이스는 하나의 트랜지스터처럼 작동하는데, 3개의 단자 중 하나의 단자는 두 개의 단자들 사이에 흐르는 전기의 흐름을 제어한다.

학습을 통해 강화학습을 하는 뇌 속의 신경 통로(노드)같이, 연구팀들은 충전과 방전을 계속하여 반복하면서 학습을 하는 인공 시냅스를 프로그램했다. 이 같은 훈련을 통해, 인공 시냅스가 어느 특정 전기 상태에 도달하는데 필요한 전압의 1% 내에서 예측을 할 수 있는데, 그만큼 예측이 정확하며 전기가 필요 없다는 것이다. 즉 비-휘발성이라는 점이다. 따라서 작업을 하고 저장을 한 후 컴퓨터를 꺼야 하는 일반 컴퓨터와는 달리, 이 인공 시냅스는 전원을 끄지 않아도 프로그램을 재차 불러올 수 있다. 

▲ 시냅스의 종류 (그림: 위키피디아)

인공 시냅스의 네트워크 테스트하기(Testing a network of artificial synapses) – 지금은 오로지 하나의 인공 시냅스를 만들었지만, 연구원들은 시뮬레이터에서 여러 개의 인공 시냅스 어레이들이 진짜 신경망처럼 작업을 하는지의 시뮬레이션 실험에서 15,000개의 측정치를 찾아냈다. 예를 들어 연구원들은 0에서 9까지의 친필(handwriting)을 알아낼 수 있는지, 인공 시냅스의 네트워크 능력을 시뮬레이션으로 테스트했다. 3개의 데이터셋트(datasets) 위에서 테스트한 결과, 시뮬레이션된 어레이는 93~97%의 정확도로 친필 숫자들을 알아냈다.

인간이라면 금방 시각과 청각 신호를 상대적으로 쉽게 식별하는데, 전통 컴퓨터들은 이들을 식별하는데 어렵고 상당한 시간이 흐른다. 그러나 이 인공 시냅스 디바이스는 또한 시각과 청각 신호를 쉽게 해석하고 시간도 상당히 빠르다. 

“더욱더 우리는 컴퓨터가 인간 두뇌처럼 작업하기를 기대하지만, 작금의 컴퓨터들은 파우어가 더욱 많이 필요합니다. 슈퍼컴퓨터를 보세요. 슈퍼컴퓨터를 돌리려면 어마어마한 전력이 들어갑니다. 따라서 이번 논문을 통해 이러한 알고리즘을 돌리는데 인공 시냅스가 적격이라는 것과 저-전력을 소비한다는 것을 데모한 것입니다”라고 또 다른 저자인 탈린(A. Alec Talin)은 말했다. 

이 인공 시냅스 디바이스는, 전통 컴퓨터들이 상당한 어려움을 겪는, 신호의 식별과 분류에 적격이다. 예를 들어 디지털 트랜지스터들은 0과 1의 오로지 두 개의 상태만을 다루고 있지만, 연구팀은 이 인공 시냅스 안에서 500개의 상태를 다루도록 프로그램하는데 성공하여, 뉴런-타이프의 컴퓨팅 모델에 유용하게 쓰일 것으로 기대하고 있다. 또한 상태에서 다른 상태로 스위칭할 때, 최신의 컴퓨터가 프로세싱한 데이터를 메모리에 저장하는데 필요한 에너지의 1/10만 소비한다. 하지만 이는 무엇을 의미하는가 하면, 아직도 인공 시냅스 디바이스는 생물학적 시냅스가 불을 붙이는데 필요한 최소의 에너지보다 10,000배 정도의 에너지를 쓰고 있다는 것을 의미한다. 앞으로 우리 두뇌에 있는 시냅스를 100% 모방하기란 그리 쉽지 않다는 것이며, 아직 갈 길이 멀다는 것이다. 이에 대해 연구팀은 보다 작은 디바이스를 만들고 테스트하면 뉴런 수준의 에너지 효율성을 얻을 수 있을 것으로 희망하고 더욱 연구에 몰두한다는 계획이다.

유기의 잠재성(Organic potential) – 이 인공 시냅스 디바이스의 모든 부분이 저렴한 유기물질로 이루어져 있다. 한 마디로 생물전자(Bioelectronic) 기기라는 것이다. 이러한 유기물질들은 자연에서 발견되는 것이 아니지만, 이러한 유기물질들은 두뇌 시냅스의 신경전달물질인 화학물질과 호환되는 수소와 탄소로 주로 이루어져 있다. 두뇌의 시냅스 세포들은 이러한 유기물질 위에서 성장시킬 수 있고, 그다음 유기물질들은 신경전달물질을 방출시키기 위해 인공 펌프들을 만드는데 사용할 수 있다. 그리고 언젠가는 인간 뉴런을 통해 움직이는 전기의 양만큼 인공 시냅스를 훈련 시키는 데도 그만큼의 전압이 적용될 것이다.

이 모든 것이 가능할 것인데, 인공 시냅스가 실제 살아있는 뉴런과 연결하고, 이것은 브레인-머신 인터페이스(BMI)의 진보를 유도할 것이다. 인공 시냅스 디바이스의 부드러움과 융통성은 또한 응용 생물학 환경에도 사용하게 될 것이다. 연구팀은 이를 위해 여러 개의 인공 시냅스로 이루어진 실제적인 어레이를 만들어 두뇌와 같은 신경망을 구축한다는 계획이다.

 

차원용 소장/교수/MBA/공학박사/미래학자 

아스팩미래기술경영연구소(주) 대표, (전)국가과학기술심의회 ICT융합전문위원회 전문위원, 국토교통부 자율주행차 융복합미래포럼 비즈니스분과 위원, 전자정부 민관협력포럼 위원, 국제미래학회 과학기술위원장 

[정리 이새잎 기자 ebiz@]