TPU vs GPU 승자는 ?

아직 널리 상용되지는 않았지만 구글(Google)이 자사가 개발한 AI 칩인 TPU(Tensor Processing Units : 텐서 처리 장치)가 공개되면서 독점적 지위를 누리면서 승승장구하던 엔비디아(Nvidia)의 GPU(Graphics Processing Units : 그래픽 처리 장치)를 흔들어대고 있다.

* TPU와 GPU의 기본적 차이점

구글의 TPU가 공개한 대로 연산 처리 속도, 추론, 저렴한 전기료 등이 사실로 입증되면, 엔비디아의 독주 시대는 마감되며, 치열한 경쟁의 시대로 접어들 것이다. 과연 승자는 누가 될 것인가?

TPU와 GPU는 컴퓨팅, 특히 인공지능(AI)와 머신러닝(기계 학습) 분야에서 서로 다른 목적을 갖고 있다.

TPU는 기계 학습 작업, 특히 텐서 플로우(TensorFlow)를 사용하는 작업의 속도를 높이기 위해 특별히 설계되었으며, 행렬 연산에 탁월하고, AI 워크로드(AI workloads)에서 높은 처리량과 효율성을 제공하도록 최적화되어 있는 게 특징이다.

반면에 GPU는 다재다능하며 그래픽 렌더링(graphics rendering) 및 범용 컴퓨팅을 포함한 광범위한 작업을 처리할 수 있고, 병렬 처리에 적합하며 텐서 플로우(TensorFlow)를 비롯한 다양한 프레임워크를 지원할 수 있다.

또 TPU는 특수 아키텍처 덕분에 ‘특정 AI 작업’에 대해 일반적으로 더 높은 성능을 제공하고, 반면에 GPU는 유연성을 제공하고, 다양한 작업 부하에 대해 더 효율적일 수 있지만, 더 많은 전력과 수동 최적화가 필요할 수 있다.
나아가 TPU는 효율성이 높아 대규모 AI 프로젝트에 더욱 비용 효율적일 수 있는 반면, GPU는 전력 소비와 하드웨어 요구 사항 측면에서 비용이 더 많이 들 수 있어, 다양한 플랫폼에서 널리 사용 가능하고 지원될 수 있다.

사용 사례를 보면, TPU는 특히 텐서플로우(TensorFlow)를 많이 활용하는 환경에서 딥 러닝 모델의 학습과 추론에 이상적인 반면에 GPU는 높은 그래픽 성능이 필요한 애플리케이션, 게임이나 과학 시뮬레이션 등 다양한 유형의 계산을 실행해야 하는 애플리케이션에 더 적합하다. 따라서 TPU와 GPU 중 어떤 것을 선택할지는 프로젝트의 구체적인 요구 사항, 즉 작업 유형, 예산, 선호하는 소프트웨어 프레임워크 등에 따라 달라질 수 있어 현재로서는 승자를 점치기 어려운 상황이다.

* 투자자들의 관심 : TPU냐 GPU냐 ?

최근 구글은 오랫동안 엔비디아 GPU에 의존해 온 소규모 클라우드 제공업체가 운영하는 데이터 센터에 자사의 텐서 프로세싱 유닛(TPU)을 배치하기 시작했다. 이는 단순한 제품 출시를 넘어, AI 인프라 체스 게임에서의 치밀한 계획된 움직임이라는 게 업계의 분석이다.

이러한 효과는 AI 생태계 전반에 걸쳐 나타나 투자자들에게 기회와 불확실성을 동시에 제공한다. 구글이나 엔비디아와 같은 개별 AI 기업들은 환경 변화에 따라 변동성이 커질 수 있지만, 단일 종목에 대한 리스크를 낮추면서 투자하려는 투자자들은 분산 투자를 선호할 수 있다.

예를 들어, 고품질 포트폴리오(High Quality Portfolio)는 S&P500, 러셀, S&P 중견기업 지수를 혼합한 혼합 벤치마크를 훨씬 상회하는 성과를 기록했으며, 출시 이후 91%가 넘는 수익률을 달성했다. 이를 통해 투자자들은 단일 우량 기업에 베팅하는 대신 여러 우량 기업의 구조적 변화에 참여할 수 있다.

* 구글이 Vault를 공개하는 이유는 ?

한마디로 수익 다각화이다. 구글의 클라우드 사업은 아마존의 AWS(Amazon Web Services)와 마이크로소프트(MS)의 애저(Azure)에 맞서 모든 면에서 우위를 확보해야 한다.

소규모 클라우드 공급업체에 TPU 라이선스를 제공하면 기술적 통제권을 유지하면서도 새로운 수익원을 창출할 수 있다.

나아가 개발자가 TPU에 최적화하면 전환 비용이 많이 들고 복잡해진다. 기술을 필수 불가결한 기술로 만들어 생태계를 구축해 나갈 수 있으며, 구글은 TPU 대안으로 시장을 개척함으로써 엔비디아의 가격 결정력에 압력을 가하고, 값비싼 엔비디아의 하드웨어에 대한 의존도를 줄일 수 있다.

한편으로는 가격 압박으로 시장을 뚫고 나갈 수 있다. 치열한 경쟁으로 인해 가격이 하락할 수밖에 없다. TPU가 더 나은 경제성을 제공하면서 비슷한 성능을 제공한다면, 엔비디아는 이익이 축소될 위험이 있다.

구글은 고객 다각화를 시도할 수 있다. 소규모 클라우드 공급업체는 이제 AI 하드웨어 분야에서 엔비디아의 거의 독점적 지위에 맞서 대안을 갖게 된다. 그럼에도 불구하고, 엔비디아는 방대한 생태계와 긴밀한 협력 관계를 유지하고 있다.

문제는 엔비디아가 충분히 대응하기 전에, 구글이 의미 있는 시장 점유율을 확보할 수 있는가이다.

이는 단순히 칩 문제가 아니라 AI 인프라 스택(AI Infra Stack)의 통제권에 관한 것이다. ‘AI 인프라 스택’이란 “인공지능(AI) 시스템 구축과 운영을 위해 필요한 하드웨어, 소프트웨어, 네트워크 등 모든 인프라 요소의 통합 계층 구조”를 의미한다.

구글은 시장에 “더 이상 엔비디아의 생태계는 필요 없다”고 말하고 있지만, 엔비디아에 대한 의존도를 낮추는 과정에서 고객은 구글 기술에 대한 의존도를 높일 수 있다.

구매자 입장에서는 균형이 명확하다. 엔비디아에 묶이는 게 나을까, 아니면 구글에 묶이는 게 나을까?

구글의 TPU가 기세등등 나타나자 엔비디아의 대응은 공격적인 가격 책정, 새로운 파트너십, 또는 가속화된 로드맵을 들고 대응에 나선다. 엔비디아는 조용히 점유율을 포기하지 않을 것이 분명하다.

구글의 맞춤형 TPU 추진은 엔비디아의 지배력에 도전하기 위한 시도이다. 하지만 이는 단순한 일대일 대결이 아니다. 브로드컴, AMD, 마벨과 같은 기업들이 자체 칩을 개발함에 따라 AI 하드웨어는 이제 여러 업체가 경쟁하는 구도로 짜지고 있다.

이는 업계에 긍정적인 영향을 미친다. 경쟁이 심화되고, 선택의 폭이 넓어지며, 잠재적으로 비용이 절감될 수 있기 때문이다. 투자자들에게는 AI 인프라 시장이 가열되고 있으며, 확실한 승자가 없는 상황임을 시사한다. 엔비디아는 아직 끝나지 않았지만, 경쟁은 그 어느 때보다 치열해졌다.