[AI칩] 2. 뉴런과 시냅스의 신경망

신경망을 모방하는 인공지능칩(AI Chip)·신경모방칩(Neuromorphic Chip) 기술개발 동향

[요약] 인간의 뉴런(Neuron)과 시냅스(Synapse)의 신경망(Neural Networks)을 모방하는 인공지능칩(AI Chip) 또는 신경모방칩(Neuromorphic Chip)을 개발하는 퀄컴, 인텔, IBM, 삼성전자, 알리바바 등의 특허분석을 소개하기에 앞서, (1) AI칩·신경모방칩을 개발하는 배경과 (2) 두뇌 신경망의 특징들인 가소성(Plasticity)·SNNs/JNNs·STDP와 LTP/LTD, 시냅스의 역할, 그리고 비-신경세포인 신경교의 역할 등 생물학적이고 화학적인 구조와 기능과 역할을 이해할 필요가 있다. 왜냐면 이러한 지식이 없으면 특허를 분석할 수도 없고 다음에 소개할 기업들의 특허분석 보고서를 이해할 수 없기 때문이다. 

추아(Chua, 1971)가 제안하고 HP의 연구원들이 2008년에 발견한 멤리스터(memristor)가 실제 존재하냐 아니냐의 논쟁도 다소 있지만, 향후 특허분석 보고서를 통해 소개하는 내용 중 멤리스터를 이용한 AI칩·신경모방칩을 연구하는 기업들이 있어 다소 긍정적인 관점에서 소개하려 한다. 왜냐면 AI칩·신경모방칩은 이제 시작이라는 점이다. 누가 어떤 물질(소자)을 갖고 뉴런과 시냅스와 같은 유기칩(Organic Chip)을 개발하는가가 중요하다. 멤리스터는 메모리(memory)와 저항기(resistor)의 합성어로 이전의 상태를 모두 기억하는 메모리 소자다. 

본 글에서는 획기적인 에너지 절감의 AI칩·신경모방칩에 도전하는 두 가지 사례를 소개하는데, 프랑스/미국의 스스로 학습하는 인공 고체 시냅스인 멤리스터 개발과 미국 스탠포드대의 뉴로모픽 컴퓨팅을 위한 인공 유기 시냅스 개발이다. 이 두 가지 사례는 앞으로 소개할 퀄컴, 인텔, IBM, 삼성전자, 알리바바 등의 특허분석을 이해하고 왜 AI칩·신경모방칩에 도전해야 하는지 이해하는 데 도움이 된다. 결론적으로 인간의 두뇌는 연산과 학습, 기억과 회상을 하는데 20W의 전력이 필요한데, 이를 모방해 저-전력의 칩을 개발하자는 것이다. 

[글 싣는 순서]
1. 배경(Background) – Edge AI <-> Cloud AI의 쌍방향 시대가 온다
2. 뉴런과 시냅스의 신경망
2-1. 뉴런과 시냅스, 연산과 학습과 저장(기억)을 동시에 처리
2-2. 가소성과 SNNs/JNNs과 STDP와 LTP/LTD
2-3. 시냅스의 역할

3. 비-신경세포인 신경교의 별 세포 또는 성상세포
4. 회로를 구성하는 4번째 요소인 멤리스터(memristor)란?
4-1. 추아(Chua, 1971)가 제안하고 HP의 연구원들이 발견(2008)
4-2. 멤리스터의 만능 기능, 토탈 리콜(Total recall)이 가능
4-3. 어떤 원리인가? 이력현상(hysteresis effect)
5. 획기적인 에너지 절감의 AI칩·신경모방칩에 도전하는 사례들  
5-1. 프랑스/미국, 스스로 학습할 수 있는 인공 고체 시냅스인 멤리스터 개발
5-2. 미국 스탠포드대, 신경모방 컴퓨팅을 위한 인공 유기 시냅스 개발


2. 뉴런과 시냅스의 신경망
2-1. 뉴런과 시냅스, 연산과 학습과 저장(기억)을 동시에 처리

컴퓨터의 중앙연산장치(CPU)에 해당하는 두뇌의 신경세포(뉴런)를 살펴보자. 666조 개로 추정되는 세포 중 신경세포는 학자에 따라 다르지만, 최근 신경과학(뉴로사이언스, Neuroscience) 분야로 발표된 논문을 종합해보면, 대략 1,000억 개(10의 11승)로 추정한다. 이 1,000억(100기가) 개의 신경세포들은 주로 감각(Sensory) 뉴런과 운동(Motor) 뉴런 등이다. 

감각과 운동 뉴런을 연결하고 스스로도 상호 연결하는 연합뉴런(게재, Interneuron)이 있다. 고등 동물의 중추신경계일수록 이 연합뉴런의 수와 연결 가지 수가 많아서, 보다 복잡한 사고 작용을 하는데, 인간의 감각과 운동 뉴런 1개당 연합뉴런은 1,000(10의 3승) 개가 연결된 것으로 알려져 있다. 그러면 뇌에는 10의 11승 x 10의 3승 = 10의 14승인 100조(100테라) 개의 뉴런들이 있다는 뜻이다. 결국 사람의 뇌는 100조 개의 컴퓨터를 갖고 있는 것이나 마찬가지이다. 

이게 다가 아니다. 하나의 뉴런은 10,000(10의 4승)여 개의 시냅스와 연결되어 있으니, 그 연결의 수는 10의 14승(100조) x 10의 4승 = 10의 18승(백경, 1엑사)이나 된다. 백경(Quintillion) 개에 달하는 구성요소들이 있다는 것이다. 

▲ 자료: 야마모토 다이스케, 3일 만에 읽는 뇌의 신비(2002), 서울문화사, p.23

따라서 하나의 뉴런은 10,000(10의 4승)여 개의 시냅스와 연결되어 있는데, 연결과정은 뉴런->시냅스->뉴런이 된다. 이를 자세히 보면 시냅스전뉴런(Presynaptic Neuron)이 정보를 시냅스에 전도하면, 시냅스는 흥분과 억제(excitation/inhibition)라는 신경전달물질(화학물질, Neurotransmitter)을 방출하여 시냅스후뉴런(Postsynaptic Neuron)으로 전달하게 된다. 

이때 시냅스는 병렬방식으로 뉴런에서 입력된 정보를 프로세싱(연산)해서 동시에 학습하고 기억을 생성하고 저장시킨다. 다시 말해 프로세싱 자체가 바로 학습과 기억이라는 점이다. 그리고 기억을 꺼내는 회상도 시냅스가 담당한다. 게다가 10,000개의 시냅스는 다층신경네트워크(Multi-Layered Neural Networks)로 연결되어 있다는 점이다, 그러나 지금 컴퓨터 반도체는 연산(Processor)과 저장(Memory)이 동시가 아니고 별개이며 연결도 단 하나의 직렬 네트워크로 구성되어 있다. 시냅스처럼 동시에 처리하고 다층네트워크로 연결된 반도체가 바로 진정한 신경모방칩이 될 수 있다.

2-2. 가소성과 SNNs/JNNs과 STDP와 LTP/LTD

우리가 학습할 때, 뉴런-시냅스-뉴런의 연결고리에서 시냅스전뉴런이 전기 신호(+, -)로 정보를 전도한다. 이때 가장 많은 에너지가 첫 번째 시냅스가 활성화되어 가로지를 때 필요하고, 그 다음부터 연결에는 에너지 소비가 적어진다. 이것이 바로 시간과 에너지를 적게 사용하면서 시냅스가 무엇인가를 학습(learning)하고 기억(remembering)하게 하는 방법이다. 

따라서 일을 많이 하는 뉴런들로 구성된 뇌 부위는, 즉 시냅스에 신호를 증폭(강화)하는 뇌 부위는 시냅스 연결이 늘어나고(학습-강화학습 등), 일을 안 하는 부위는 시냅스 연결이 끊어지게(감소-약화 등) 된다. 이를 시냅스의 가소성(synaptic plasticity)이라 부른다. 이런 효율적인 구조 때문에 에너지 소모를 최소화하며 대용량의 정보를 고속으로 처리하고 저장할 수 있다. 인간의 두뇌는 고작 20W의 전기만이 필요한 이유이다. 따라서 진정한 신경모방칩은 20W의 저-전력 소비가 되어야 한다.

뉴런-시냅스-뉴런을 전기 신호로 연결하는 방식을 불꽃(발화, Spiking or firing)이라 한다. 불을 붙이는 것이다. 이러한 인간 두뇌의 신경망을 스파이킹신경망(Spiking Neural Networks, SNNs)이라고 한다. 특히 우리 뇌는 2층이 아닌 다층신경네트워크(Multi-Layered Bio Neural Networks)여서 5층이 될 수도 있고 100층이 될 수도 있다. 

우리가 기억을 떠올릴 때 뉴런-시냅스-뉴런이 불꽃으로 연결되는데, 만약 앞에 있는 뉴런이나 시냅스가 고장 났거나 죽었으면 바로 점핑하거나 우회하는데, 100개를 점핑할 수도 있고 10,000개를 점핑할 수도 있으며, 100만개를 점핑할 수도 있다. 그래서 이를 점핑신경망(Jumping Neural Networks, JNNs)이라 부르기도 한다. 

지금의 실리콘(Silicon) 등의 고체(무기물)로 만들어진 반도체칩들은 앞의 것이 고장 났으면 앞으로 나가지 못한다. 더욱 재미난 것은 A를 기억할 땐 죽었던 시냅스가 B를 기억할 땐 살아나는데 이 또한 가소성이라 한다. 다시 말해 어떤 때는 불이 안 붙고 어떤 때는 불꽃이 연결되는데(강화 되는데) 이를 불꽃-시간 의존적인 가소성(STDP, Spike-Timing-Dependent Plasticity)이라고 한다. 

또한 시냅스전뉴런이 시냅스후뉴런 전에, 다시 말해 시냅스 앞에 있는 뉴런이 발화하면 시냅스 연결이 강화되는데, 이를 시냅스의 장기강화(혹은 증강 혹은 상승 / LTP, Long-Term Potentiation)라 하는 것이다. 그러면 학습과 기억과 회상 등 머리가 좋아지는 것이다. 그러나 만약 발화의 순서가 역순이면(reverse order of firing), 시냅스의 장기억압(LTD, Long-Term Depression)을 유발해 머리가 나빠져 치매 현상이 올 수도 있다.

인간의 뉴런과 시냅스를 모방하는 AI칩 또는 신경모방칩은 아직은 걸음마 수준이지만 이러한 Spiking Neural Networks(SNNs) 혹은 Jumping Neural Networks(SNNs)와 다층신경네트워크를 모방하자는 것이다.

2-3. 시냅스의 역할

시냅스의 역할은 연산-학습-기억과 동시에 흥분-억제성의 신경전달물질을 합성-분비하여 전달하는 것이다. 시냅스는 매우 작은 존재지만 그 구조를 전자현미경으로 보면, 돌기 끝부분이 마치 단추처럼 둥근 모양을 하고 있다. 그 안에는 미토콘드리아라 불리는 에너지 생산 능력을 가진 물질(ATP)과 신경전달물질(화학물질)을 저장하는 시냅스 소포(synaptic vesicle, 小胞)가 있다. 시냅스는 주변의 신경세포(뉴런)와 연결된 구조가 아니므로 신경세포와의 사이에 아주 작은 틈이 있는데 이를 시냅스 간극(synaptic cleft or gap)이라 한다. 

지난 반세기 동안 과학자들은 뇌의 신경세포와 중추신경계 및 신체 내 다른 세포들 간 의사소통을 중계하는 화학물질(신경전달물질)을 만들어 공급하는 시냅스를 알아냈다. 1921년 오스트리아 과학자 오토 로에위(Otto Loewi)에 의해 최초의 신경전달물질인 아세틸콜린(acetylcholine)이 확인된 이래로 70가지가 넘는 신경전달물질이 분석됐다. 그 결과 뇌의 천연 화학물질을 강화하거나 억제하거나 개조하는 수많은 약품들이 개발됐다. 

미국국립보건원 근무 시절 뉴로펩타이드와 이의 수용체를 연구하는 데 선봉에 섰던 캔데이스 퍼트(Candace B. Pert) 박사는, 그의 선구적 저서인 <감정을 지닌 분자(1997)>)에서 우리의 생각과 감정들이 어떻게 신경전달물질에 의해 움직이는지를 설명하고 있다. 

즉, 감각기관에서 감지된 이미지들이 전기 신호로 신경망을 타고 신경세포로 전달되면 신경세포가 이를 해석하고 명령을 하게 된다. “글씨를 써라”, “웃어라”, “이 정보는 기억시켜라”, “지금 놀라 화를 내라” 라고 명령을 전기 신호로 하면 다 되는 것이 아니다. 

디지털 전기 신호에 따라 아날로그인 인간의 몸을 움직일 수 있는, 즉 정보기술 용어로 보면 구동기술베이스의 구동체(Actuator)가 있어야 한다. 쉽게 말해 기본적인 모터(Motor)가 있어야 실제로 명령을 실행할 수 있다는 얘기이다. 그러므로 시냅스는 신경세포의 명령을 수행하는 그러한 물질을 만드는 곳이며, 아날로그인 인간의 몸을 움직이는 구동체임에 틀림없다. 

이 매커니즘을 정확히 밝혀 소프트웨어 코드로 써서 모든 기계에 적용하면 기계들이 인간처럼 움직이게 될 것이다. 아니 언젠가는 기계들이 인간들처럼 말을 하게 될 것이고 감정을 표현하게 될 것임에 틀림없다. 

▲ 자료: 야마모토 다이스케, 3일 만에 읽는 뇌의 신비(2002), 서울문화사, p.23

그러면 신경전달물질의 종류에는 어떤 것들이 있을까? 크게 아미노산류(아세틸콜린, 글리신, 아스파라긴산), 아민류(도파민, 아드레날린(에피네프린), 노르아드레날린), 펩티드류(바소프레신), 지방산류(히스타민, 세로토닌) 등 4가지로 분류된다. 이러한 화학물질이 신경의 시냅스(synapse)에서 분비되어 신경세포 간의 정보 전달에 관여하고 있는 것으로 알려져 있다. 

도파민을 보자. “지금 화장실에 가라”고 신경세포가 명령을 해도 시냅스에서 도파민이라는 실제 행동을 유발하는 신경전달물질이 분비가 안 되면 움직일 수가 없는 것이다. 그러면 모두 중풍(파킨슨병)에 걸리는 것이다. 공부를 하면서 신경세포가 아무리 기억을 하라고 명령을 한들 부교감 신경을 자극하는 아세틸콜린이 만들어져 분비가 안 되면 기억을 할 수 없는 것이다. 그러면 모두 기억상실증(알츠하이머병)에 걸리는 것이다. 

또한 아세틸콜린은 기억, 학습 및 수면에도 깊은 관계가 있다. 교감신경을 자극하는 아드레날린이 분비되지 않으면 흥분할 수 없다. 너무 화가 난 상태나 놀란 상태라면 심장은 터질 듯이 박동하고 근육은 긴장하는데, 만약 이 때 카테콜아민(아드레날린과 노르아드레날린)들이 분비되지 않으면 머리가 터져 죽을 수도 있다. 

따라서 신경전달물질들은 몸 전체에 지능적으로 전달되어 수많은 의식적 무의식적 활동을 조직해낸다. 이는 마치 우리가 수많은 ‘움직이는 뇌’를 소유하고 있는 것과 같다. 단지 머릿속에만 존재하는 것이 아니라 몸 전체에 존재하는 뇌를 의미한다. 이 ‘움직이는 뇌’는 즉시 정보를 안내하고 지시하며, 그 결과 면역체계와 최적상태 유지 감각이 영향을 받고 우리가 세계와 상호작용하는 방식도 달라지게 하는 것이다.

▲ 자료: 차원용, 미래기술경영 대 예측: 매트릭스 비즈니스, 굿모닝미디어, 2006, p. 343

 

차원용 소장/교수/MBA/공학박사/미래학자 

아스팩미래기술경영연구소(주) 대표, (전)국가과학기술심의회 ICT융합전문위원회 전문위원, 국토교통부 자율주행차 융복합미래포럼 비즈니스분과 위원, 전자정부 민관협력포럼 위원, 국제미래학회 과학기술위원장 

[정리 이새잎 기자 ebiz@]