생성 AI 비약적인 성능 향상 비밀 ‘그로킹’

챗GPT 등 뛰어난 AI 모델을 개발하는 AI 연구 단체인 오픈AI가 발견한 딥러닝의 가장 매력적인 수수께끼 중 하나인 '그로킹(Grokking)'에 대해 구글의 AI 연구자가 위상 변화와의 관계를 지적하고 있다. 신경망에서는 매개변수, 훈련 데이터, 훈련 단계 등을 화장하면 새로운 동작을 보이는 경우가 가끔 있다. 이를 이해하기 위한 접근법 중 하나는 '불연속적으로 보이는 질적