[인공지능 줌인] AI 칩 시장의 새로운 전환과 엔비디아의 운명

엔비디아가 장악하고 있는 AI 반도체 시장의 경쟁이 새로운 국면으로 가고 있다. 더 크고 경쟁이 더 심한 장이 될것이라고 월스트리트저널이 보도했다.

엔비디아는 인공지능 모델 훈련을 위한 필수 반도체 공급으로 2조 달러 기업이 되는 신화를 이뤘다. 그런데 AI 산업이 급속도로 진화하면서, AI 모델들을 훈련한 뒤, 기업들과 개인들이 이를 사용해 텍스트와 이미지 들을 얻을 수 있도록 AI를 가동하기 위한 칩들에 기회가 올 것으로 예상하고 있다.

엔비디아 역시 일찌감치 그 덕을 보고 있는데, 엔비디아의 최고재무책임자 콜레트 크레스는 지난 주, 지난 해 수익이 470억 달러를 넘은 엔비디아 데이터 센터 사업의 40% 이상이 AI의 훈련이 아닌 배치였다고 말했다.

즉, AI의 배치는 소위 AI의 ‘추론(inference) 작업’을 위한 것인데, 이에 관한 칩 수요 증가로의 전환이 엔비디아의 입지를 위협할 것이라는 우려가 있었다. 추론 작업을 위한 칩들은 파워와 비용이 덜 들기 때문이다. 그러나 크레스의 말이 그러한 우려를 불식시켰다.

시장조사기관 멜리우스 리서치(Melius Research)의 애널리스트 벤 라이츠는 고객들에게 보내는 보고에 “추론과 훈련의 경쟁 속에 엔비디아 주가가 낮아질 거라는 인식이 있다. 이번에 밝혀진 바가 앞으로 올 추론의 폭발적 증가에서 이익을 얻을 수 있는 엔비디아의 능력을 보여 준다”라고 말했다.

추론을 위한 칩들이 더 중요해짐에 따라 경쟁자들 또한 기회를 잡으려고 하고 있다.

CPU 제조사 인텔은 고객들이 AI 운용비용을 낮추는 데 집중하면서 자신들의 칩들이 더 인기를 얻을 것이라고 보고 있다. 인텔 주력 칩들은 이미 추론에 널리 사용되고 있으며, 이런 작업에는 엔비디아의 최첨단 고가의 H100 AI 칩들이 필수적이지 않다.

인텔의 CEO 팻 겔싱어는 지난 해 12월 인터뷰에서 “나는 너무 많은 에너지를 빨아들이고 새로운 관리 및 보안 모델, 새로운 IT 인프라를 요구하는 4만 달러 H100 환경을 지지하지 않는다”라며, 인텔 칩으로 그러한 모델들을 구동한다는 것은 쉽다고 말했다.

뱅크오브아메리타의 애널리스트 비벡 아리야는 추론으로의 전환이 지난 주 엔비디아의 실적발표에서 가장 큰 뉴스였을 것이라고 말했다. 공개된 엔비디아의 실적은 월가의 예상을 뛰어넘는 것이었고 그 주 주가는 8.5% 상승하며 기업 가치가 2조 달러로 올랐다.

아리야는 AI 모델을 훈련하는 데 투자하고 수익을 창출하는 것에서 방향이 전환됨에 따라 추론이 부상할 것이라고 말했다. 또한 이는 엔비디아가 장악하고 있는 AI 훈련보다 더 경쟁이 치열할 수 있다고 한다.

한편 추론 영역의 성장 속도가 처음 기대보다 빠를 수 있다. 올해 초 UBS 애널리스트들은 반도체에서 훈련에서 발생하는 수요를 90%로 추정했고, 추론은 내년까지 시장에서 20%에 불과할 거라고 예측했다. 엔비디아의 데이터 센터에서의 수익의 40%가 추론에서 발생했다는 것은 그 예측들을 뛰어넘은 것이다.

지난 주 공개된 엔비디아의 실적은 AI 칩의 80%를 차지하고 있는 입지가 아직은 크게 흔들리지 않는다는 것을 보여주고 있다. 심지어 앞으로도 엔비디아의 훈련용 AI칩의 수요는 높을 것으로 예측된다. AI 시스템을 훈련하는 데 있어 인간과 같은 언어 표현을 만들어낼 수 있게 하기 위해 기업들은 방대한 데이터를 이용한다. 이러한 작업은 막대한 컴퓨팅 능력을 필요로 하고 엔비디아의 GPU가 이에 최적화되어 있다.

추론 작업은 그렇게 훈련된 모델들이 새로운 정보를 처리하고 응답하도록 요청받을 때 이뤄지는 데 보다 단순한 작업이다. 따라서 여기에 인텔과 AMD 같은 확고히 자리잡은 기업들 외에 여러 스타트업들도 엔비디아와의 경쟁에 가세하고 있다.

AI 칩과 소프트웨어를 융합해 훈련과 추론을 함께 가능하게 하는 스타트업 삼바노바(SambaNova)의 CEO 로드리고 리앙은 “우리의 추론 이용 사례가 폭발적으로 증가하고 있다. 비용의 80% 이상이 추론에 갈 거라는 것을 사람들이 인식하기 시작했고, 우리는 대체 솔루션을 찾을 필요가 있다”라고 말했다.

전 구글 AI 칩 엔지니어 조나단 로스가 설립한 스타트업 그로크(Groq) 또한, 홈페이지에 올린 데모를 통해 추론 칩이 얼마나 빨리 LLM에서 답을 도출해내는지 보여주자 최근 몇 달 동안 폭발적인 관심을 받아 왔다. 그로크는 올해 자체 개발 칩 22만 개를, 내년에는 150만 개를 배치할 것으로 내다봤다.

이러한 변화를 가져오고 있는 요소 중 하나는 최첨단 AI 시스템들이 재훈련이 필요 없이 추론을 통해 더 나은 응답을 할 수 있도록 하는 데 초점이 맞춰지고 있다는 것이다. 그로크는 자신들의 칩이 엔비디아나 그 밖의 기존 회사들의 반도체보다 더 빠르고 싸게 구동된다고 말하고 있다.

로스는 “무엇을 배치할 수 있는지는 비용에 달려 있다. 구글에서 훈련을 받을 모델들은 많이 있다. 그러나 그 80%가 너무나 비싸 배치되지 못했다”라고 말했다.

마이크로소프트, 구글, 아마존, 메타 등의 빅테크 기업들도 그 이익을 내다보고 자체 추론 칩들을 개발하고 있다.

예를 들어, 아마존은 2018년부터 추론 칩을 개발해 왔는데, 알렉사를 위한 컴퓨팅 비용을 추론이 40%로 낮춰줄 수 있다고 말하고 있다.

엔비디아 역시 추론으로의 전환에서도 선두를 지키려고 하고 있다. 출시를 앞둔 칩이 지난 해 핵심 AI 추론 벤치마크에서 최고를 기록하며, AI 반도체 시장에서의 지배력을 확장하고 있다.

지난 해 12월에는 AMD가 새 AI 칩들을 공개하며 추론에서 엔비디아를 능가한다고 말했는데, 엔비디아는 블로그를 통해 이에 대한 반격의 글을 올렸다. 엔비디아는, AMD가 성능을 말할 때 최적화된 소프트웨어를 사용하지 않았고, 최적화된 소프트웨어를 사용했다면 엔비디아가 두 배 더 빨랐을 것이라고 주장했다.

[위키리크스한국 = 최정미 기자]

prtjami@wikileaks-kr.org

최정미 기자 다른기사 보기