티스토리 뷰
요즘 AI 뉴스를 보다 보면 GPU라는 단어를 정말 자주 보게 됩니다.
“NVIDIA GPU를 수만 개 구매했다.”
“AI 데이터센터를 구축한다.”
“GPU 공급이 부족하다.”
처음에는 저도 궁금했습니다.
“AI는 소프트웨어인데, 왜 그래픽카드가 이렇게 중요한 거지?”
GPU라고 하면 대부분 게임을 할 때 사용하는 그래픽카드를 떠올립니다. 실제로 GPU(Graphics Processing Unit)는 원래 3D 그래픽을 빠르게 처리하기 위해 만들어진 반도체였습니다. 게임 속 캐릭터를 더 자연스럽게 움직이고, 현실감 있는 화면을 그리기 위해 탄생한 기술이었습니다.
그런데 지금은 상황이 완전히 달라졌습니다. 전 세계 AI 기업들이 GPU를 확보하기 위해 경쟁하고 있고, GPU를 얼마나 많이 보유하고 있는지가 AI 경쟁력의 중요한 기준이 되고 있습니다. 심지어 AI 산업에서는 “새로운 AI 모델보다 GPU를 확보하는 것이 더 어렵다.”는 말까지 나올 정도입니다.
도대체 GPU는 왜 AI 시대의 핵심 자원이 되었을까요?
이번 글에서는 GPU가 AI 발전에서 어떤 역할을 하는지, 그리고 왜 AI 기업들이 GPU 확보에 막대한 비용을 투자하는지 함께 살펴보겠습니다.
GPU는 원래 AI를 위해 만들어진 부품이 아니었습니다
GPU의 시작은 AI와는 전혀 다른 분야였습니다.
과거 컴퓨터 게임이 발전하면서 더 현실적인 그래픽을 빠르게 그릴 필요가 생겼습니다. 화면에는 수백만 개의 픽셀이 존재하고, 각각의 픽셀을 동시에 계산해야 부드러운 화면을 만들 수 있습니다. 이 작업을 CPU만으로 처리하기에는 한계가 있었기 때문에 그래픽 계산에 특화된 GPU가 등장하게 되었습니다.
흥미로운 점은 AI 연구자들이 GPU를 사용하려고 만든 것이 아니라, GPU가 가지고 있던 계산 방식이 AI와 너무 잘 맞았다는 것입니다.
AI 모델은 학습 과정에서 수많은 숫자를 반복적으로 계산합니다. 특히 행렬(Matrix) 연산이라고 불리는 대규모 계산이 끊임없이 이루어지는데, 이 작업은 GPU가 가장 잘하는 일과 매우 비슷했습니다. 게임에서는 수많은 픽셀을 동시에 계산했고, AI에서는 수많은 수학 연산을 동시에 계산하는 것입니다.
즉, GPU는 우연히 AI 시대를 만나면서 새로운 역할을 갖게 되었습니다. 만약 GPU가 존재하지 않았다면 지금처럼 거대한 생성형 AI 모델을 학습시키는 것은 훨씬 더 어렵거나, 훨씬 더 오랜 시간이 걸렸을 가능성이 큽니다. AI 혁신은 뛰어난 알고리즘뿐만 아니라, 그 알고리즘을 빠르게 계산할 수 있는 하드웨어가 있었기 때문에 가능했던 것입니다.
CPU와 GPU의 가장 큰 차이는 ‘일하는 방식’에 있습니다
많은 사람들이 CPU와 GPU의 차이를 단순히 성능 차이라고 생각합니다.
하지만 두 부품의 가장 큰 차이는 어떻게 일을 처리하는가에 있습니다.
CPU는 다양한 일을 순서대로 처리하는 데 강합니다. 운영체제를 실행하고, 인터넷 브라우저를 열고, 파일을 관리하는 등 복잡한 작업을 빠르고 정확하게 처리하는 것이 CPU의 역할입니다. 마치 다양한 업무를 혼자 해결하는 숙련된 전문가와 비슷합니다.
반면 GPU는 같은 작업을 엄청난 수의 코어가 동시에 처리하는 데 특화되어 있습니다. 하나의 복잡한 일을 혼자 해결하기보다는, 단순하지만 반복적인 계산을 수천 개의 코어가 나누어 처리하는 방식입니다.
AI가 바로 이런 계산을 필요로 합니다.
생성형 AI는 한 번의 답변을 만들기 위해서도 수많은 수학 연산을 동시에 수행합니다. 모델을 학습할 때는 그 양이 비교할 수 없을 정도로 커집니다. CPU만으로 이 계산을 수행한다면 시간이 매우 오래 걸리지만, GPU는 병렬 계산을 통해 훨씬 빠르게 처리할 수 있습니다.
그래서 오늘날의 생성형 AI는 단순히 뛰어난 모델만으로 완성되는 것이 아니라, 그 모델을 계산할 수 있는 GPU가 함께 있어야 비로소 제대로 동작할 수 있는 기술이 되었습니다.
AI 기업들은 왜 GPU를 수만 개씩 확보하려고 할까요?
생성형 AI를 학습시키는 과정을 하나의 시험 준비라고 생각해 보겠습니다.
학생 한 명이 혼자 공부한다면 시험 준비를 끝내는 데 오랜 시간이 걸릴 것입니다. 하지만 같은 내용을 수천 명이 동시에 나누어 공부하고 결과를 하나로 합친다면 훨씬 빠르게 끝낼 수 있습니다.
AI도 비슷합니다.
GPT나 Llama 같은 거대한 언어 모델은 인터넷에 있는 방대한 양의 문서를 학습합니다. 이 과정에서 수조 번에 가까운 계산이 반복적으로 이루어지는데, 이 계산을 CPU 몇 개만으로 처리한다면 몇 달, 혹은 몇 년이 걸릴 수도 있습니다.
그래서 AI 기업들은 수천 개, 많게는 수만 개의 GPU를 하나의 클러스터로 연결해 동시에 학습을 진행합니다. GPU가 많을수록 계산 속도는 빨라지고, 더 큰 모델을 더 짧은 시간 안에 학습시킬 수 있기 때문입니다.
하지만 GPU의 역할은 학습에서 끝나지 않습니다.
많은 사람들이 놓치는 부분이 하나 있습니다.
바로 추론(Inference)입니다.
우리가 ChatGPT에게 질문을 하나 입력하는 순간에도 GPU는 계산을 시작합니다. 질문을 이해하고, 다음 단어를 예측하고, 자연스러운 문장을 생성하는 모든 과정이 GPU에서 이루어집니다.
사용자가 한 명이라면 큰 문제가 되지 않습니다.
하지만 전 세계 수억 명의 사용자가 동시에 AI를 사용한다면 이야기가 달라집니다.
질문 하나하나는 짧아 보여도, 그 순간 수많은 GPU가 동시에 응답을 생성하고 있습니다. 결국 AI 서비스가 빨라질수록, 더 많은 사용자를 수용할수록 더 많은 GPU가 필요하게 됩니다.
그래서 오늘날 AI 기업들은 단순히 더 좋은 모델을 만드는 것뿐만 아니라, 얼마나 많은 GPU를 안정적으로 확보할 수 있는가도 중요한 경쟁력이 되었습니다.
앞으로도 GPU는 AI 시대의 핵심일까요?
현재 AI 산업에서 GPU는 가장 중요한 연산 장치 중 하나입니다. 하지만 그렇다고 해서 앞으로도 GPU만 사용될 것이라는 의미는 아닙니다.
이미 여러 기업은 GPU를 대체하거나 보완하기 위한 새로운 반도체를 개발하고 있습니다.
Google은 AI 연산에 특화된 TPU(Tensor Processing Unit)를 개발해 자사 서비스에 활용하고 있으며, 스마트폰에는 AI 기능을 위한 NPU(Neural Processing Unit)가 탑재되기 시작했습니다. 또한 일부 기업은 특정 AI 작업만을 처리하는 ASIC(Application-Specific Integrated Circuit)도 개발하고 있습니다.
이처럼 AI 하드웨어는 계속 발전하고 있지만, 현재까지는 GPU가 가장 범용적이고 성숙한 생태계를 갖추고 있습니다.
특히 NVIDIA는 단순히 GPU만 판매하는 것이 아니라 CUDA와 같은 개발 플랫폼, AI 라이브러리, 소프트웨어 생태계를 함께 구축해 왔습니다. 그래서 많은 기업이 새로운 하드웨어가 등장했음에도 GPU를 계속 선택하는 이유는 단순히 성능 때문만은 아닙니다. 이미 수많은 AI 연구와 개발 환경이 GPU를 중심으로 만들어져 있기 때문입니다.
앞으로는 GPU와 TPU, NPU가 서로 경쟁하기보다는 각자의 역할을 나누는 방향으로 발전할 가능성이 높습니다.
거대한 AI 모델을 학습하는 데이터센터에서는 GPU가 계속 중요한 역할을 하고, 스마트폰이나 노트북처럼 전력 효율이 중요한 기기에서는 NPU가 더 많이 활용될 수도 있습니다.
AI 산업이 성장할수록 하드웨어도 함께 진화하는 것입니다.
마무리
AI를 처음 공부할 때는 모델 이름이나 성능에만 관심이 있었습니다.
하지만 조금 더 공부하다 보니 AI 뒤에는 생각보다 훨씬 거대한 하드웨어 산업이 존재한다는 사실을 알게 되었습니다.
우리가 ChatGPT에게 질문 하나를 입력하는 순간에도 수많은 GPU가 계산을 수행하고 있고, 새로운 AI 모델이 발표될 때마다 그 뒤에서는 엄청난 규모의 컴퓨팅 자원이 사용됩니다.
그래서 AI 경쟁은 단순히 누가 더 똑똑한 모델을 만들었는지의 경쟁이 아닙니다.
누가 더 강력한 컴퓨팅 인프라를 갖추고 있는가의 경쟁이기도 합니다.
앞으로 AI 기술은 계속 발전할 것입니다.
새로운 모델도 계속 등장할 것입니다.
하지만 그 발전을 가능하게 하는 기반에는 언제나 계산을 담당하는 하드웨어가 존재합니다.
우리가 주목하는 것은 ChatGPT나 Claude 같은 AI 서비스일지 모르지만, 그 뒤에서 묵묵히 AI를 움직이고 있는 진짜 엔진은 GPU와 같은 컴퓨팅 인프라입니다.
어쩌면 AI 시대를 이해하는 가장 좋은 방법은 AI 모델만 보는 것이 아니라, 그 모델을 움직이는 기술과 산업까지 함께 바라보는 것일지도 모릅니다.