미국의 인공지능 프로세서 스타트업 세레브라스 시스템(Cerebras Systems)이 4조 개의 트랜지스터를 탑재한 세계에서 가장 빠른 AI 칩 'WSE-3 (Third Generation 5nm Wafer Scale Engine: 3세대 5nm 웨이퍼 스케일 엔진)'를 발표했다.
이 외에도 AI 운영의 병목현상인 비용 대비 성능을 개선하기 위해 퀄컴의 AI 100 Ultra를 활용하고, G42와 공동으로 새로운 AI 슈퍼컴퓨터 '콘도르 갤럭시 3(Condor Galaxy 3(CG-3))'를 구축하는 것 등도 발표했다.
2024년 3월 13일(현지시각), 생성 AI용 컴포넌트를 개발하는 세레브라스(Cerebras)가 WSE-3를 발표했다. 이를 통해 기존 AI 칩 중 가장 빠른 성능을 구현했던 'WSE-2'에 비해 성능은 2배로 향상하면서도 소비전력 및 판매 가격은 그대로다.
한 변이 21.5cm 정사각형으로 세계 최대 단일 칩인 WSE-3의 주요 사양은 트랜지스터 수: 4조 개, AI 코어 수: 90만 개, 칩 SRAM: 44GB, 메모리 대역폭: 21PB, 네트워크 패브릭 대역폭: 214Pbit, TSMC 5nm 공정, 외부 메모리: 1.5TB, 12TB, 1.2PB, AI 모델 학습 수: 최대 24조 개 매개변수까지, 클러스터 크기: 최대 2048개의 CS-3 시스템(WSE-3 탑재 컴퓨팅 시스템) 등이다.
최대 1.2PB의 메모리 시스템을 갖춘 CS-3는 GPT-4나 제미나이(Gemini)보다 10배 더 많은 차세대 프런티어 모델을 훈련할 수 있도록 설계됐다. 또한 24조 개의 파라미터 모델을 파티셔닝(Partitioning, 테이블을 파티션이라는 작은 단위로 나누어 관리)이나 리팩터링(Refactoring, 결과의 변경 없이 코드의 구조를 재조정) 없이 단일 로직 메모리 공간에 저장할 수 있다. 따라서 트레이닝 워크플로를 대폭 간소화해 개발자의 생산성을 향상시킬 수 있다.
따라서 CS-3에서 1조 개의 파라미터 모델을 훈련하는 것은 GPU에서 10억 개의 파라미터 모델을 훈련하는 것만큼이나 쉬워진다. 또한, 풀스케일 CS-3를 사용하면 메타의 대규모 언어 모델이자 700억 개의 파라미터를 가진 라마(Llama) 70B를 '하루 만에 처음부터 훈련할 수 있다'는 점을 어필하고 있다.
세레브라스에 따르면, AI 도입의 진정한 한계는 추론과 신경망 모델 실행에 있으며, 세레브라스의 추산에 따르면, 지구상의 모든 사람이 오픈AI의 챗GPT를 이용할 경우 연간 1조 달러(한화 약 1,330조 원)의 비용이 들 것으로 추정된다, 에너지 소비량도 어마어마하게 많을 것으로 보인다.
이에 세레브라스는 AI 추론에서 전례 없는 성능을 구현하기 위해 퀄컴의 AI 100 울트라를 사용한다고 발표했다. 이를 통해 추론 비용을 최대 10분의 1로 낮출 수 있다.
앤드류 펠드먼(Andrew Feldman) 세레브라스 공동설립자 겸 CEO는 "퀄컴의 AI 100 울트라를 통해 고객들은 추론 시 많은 비용을 지불하지 않고도 최고 품질의 최첨단 모델을 훈련시키는 데 집중하고 있다"며, "퀄컴의 AI 100 울트라는 모델 품질 저하 없이 추론 비용을 크게 절감할 수 있어 가장 효율적으로 도입할 수 있다"고 말했다.
또한, 세레브라스는 아랍에미리트(UAE)에 본사를 둔 인공지능(AI) 클라우드 기업인 G42와 함께 AI 슈퍼컴퓨터 '콘도르 갤럭시 3(CG-3)' 구축 계획을 발표했다. CG-3는 업계에서 가장 빠른 AI 칩인 WSE-3가 탑재된 CS-3 64대를 탑재해 AI에 최적화된 코어 수가 5800만 개가 넘고, 처리 속도는 8엑사플롭스(EFLOPS)에 달한다.
세레브라스와 G42는 지금까지 AI 슈퍼컴퓨터 ‘콘도르 갤럭시 1’과 ‘콘도르 갤럭시 2’를 공동 개발한 바 있다. CG-3는 양사의 파트너십을 통해 탄생한 세 번째 AI 슈퍼컴퓨터다. 이 3가지 AI 슈퍼컴퓨터로 콘도르 갤럭시 네트워크의 전체 처리 속도는 총 16엑사플롭스에 달할 것으로 보인다.
한편, 세레브라스와 G42가 개발한 AI 슈퍼컴퓨터 ‘콘도르 갤럭시’는 지금까지 업계를 선도하는 최첨단 생성 AI 모델(Jais-30B, Med42, Crystal-Coder-7B, BTLM-3B-8K 등) 훈련에 활용됐다. 콘도르 갤럭시 3은 2024년 2분기에 출시될 예정이다.
김한비 기자 itnews@
