3월 16일 GTC서 공개
엔비디아가 AI 모델이 이용자 질문에 답하는 추론 전용 프로세서를 공개한다.
27일(현지시간) 월스트리트저널에 따르면 엔비디아는 3월 16일 미국 새너제이 GTC 개발자 콘퍼런스에서 새 시스템을 선보일 예정이다.
플랫폼에는 스타트업 그록이 설계한 칩 기술이 포함되며, 오픈AI가 주요 고객으로 참여한다. 기업들의 AI 서비스 확산으로 수요가 학습에서 추론으로 이동하면서, 엔비디아는 비용과 전력 효율을 높인 전용 반도체로 경쟁에 대응한다.
AI 추론은 이용자 입력을 해석하는 ‘프리필’ 단계와, 단어를 순차적으로 생성해 답을 완성하는 ‘디코드’ 단계로 나뉜다. 일반적으로 프리필은 상대적으로 빠르지만, 대형 모델에서는 디코드 단계가 병목으로 작용한다. 특히 기업용 코딩 보조 서비스처럼 복잡한 작업을 수행하는 AI 에이전트가 확산하면서, 더 낮은 비용과 전력으로 디코드 성능을 높일 수 있는 반도체 수요가 커지고 있다.
ECONOMY BLOC
