티스토리 뷰
ChatGPT, Claude, Gemini. 이름은 다 다르지만 이들에게는 하나의 공통점이 있습니다.
전부 LLM(대규모 언어 모델)이라는 같은 뿌리에서 나왔다는 사실입니다.
지금까지 우리가 다룬 RAG, 파인튜닝, 프롬프트 엔지니어링, 멀티모달, 환각까지 모든 개념이 결국 이 LLM을 중심으로 돌아갑니다.
오늘은 AI를 이해하는 가장 근본적인 열쇠, LLM의 정체를 전문 용어 없이 완전히 풀어드리겠습니다.
LLM이란 무엇일까? 이름 세 글자에 답이 있다
LLM은 Large Language Model의 줄임말이고, 우리말로는 대규모 언어 모델입니다.
놀랍게도 이 이름 안에 정체가 거의 다 들어 있습니다. 하나씩 뜯어보겠습니다.
먼저 Large(대규모)입니다. 무엇이 크다는 걸까요?
두 가지가 큽니다. 하나는 학습한 데이터의 양입니다. 인터넷의 방대한 문서, 책, 논문, 코드를 읽어들였습니다.
다른 하나는 파라미터(parameter)의 개수입니다. 파라미터란 모델 내부에 있는 조절 가능한 숫자들로, 사람 뇌의 시냅스에 해당합니다.
최신 모델은 이 숫자가 수천억 개 단위에 이릅니다. 규모가 커질수록 더 복잡한 패턴을 익힐 수 있죠.
다음은 Language(언어)입니다. 이 모델이 다루는 대상이 언어라는 뜻입니다. 숫자 계산이나 이미지 분류에 특화된 AI와 달리, LLM은 말과 글의 세계를 다룹니다. 최근에는 멀티모달로 확장되어 이미지까지 처리하지만, 그 중심에는 여전히 언어 능력이 있습니다.
마지막은 Model(모델)입니다. 여기서 모델이란 "현실의 패턴을 학습해 흉내 내는 수학적 구조"를 뜻합니다. 일기예보 모델이 날씨 패턴을 학습하듯, LLM은 인간 언어의 패턴을 학습한 결과물입니다.
세 단어를 합치면 이렇습니다. "엄청난 양의 글을 학습해서 인간 언어의 패턴을 익힌 거대한 수학 모델." 이것이 LLM의 정확한 정체입니다.
LLM은 어떻게 만들어질까? 세 단계 제작 과정
LLM 하나가 세상에 나오기까지는 크게 세 단계를 거칩니다.
이 과정을 알면 AI가 왜 지금처럼 행동하는지 이해할 수 있습니다.
1단계는 사전학습(Pre-training)입니다.
가장 오래 걸리고 가장 비싼 단계로, 방대한 텍스트를 읽히며 언어의 기본 구조를 익히게 합니다. 이때 학습 방식이 흥미롭습니다. 정답지를 주는 게 아니라 문장의 일부를 가리고 다음에 올 단어를 맞히게 합니다. "오늘 날씨가 정말 ___"라는 문장에서 빈칸을 맞히는 훈련을 수조 번 반복하는 것이죠. 이 단순한 과제를 극한까지 반복하면 놀랍게도 문법, 상식, 논리, 전문 지식까지 자연스럽게 습득됩니다.
2단계는 지시 학습(Instruction Tuning)입니다.
사전학습만 마친 모델은 지식은 많지만 대화 상대로는 어색합니다. 질문을 하면 답을 하는 대신 비슷한 질문을 이어서 만들어내기도 하죠.
그래서 "이렇게 물으면 이렇게 답하라"는 예시를 대량으로 학습시켜 대화하는 법을 가르칩니다. 앞서 다룬 파인튜닝이 바로 이 단계의 기술입니다.
3단계는 인간 피드백 학습(RLHF)입니다. 사람이 여러 답변에 점수를 매기고, 모델은 높은 점수를 받는 방향으로 조정됩니다.
이 과정을 통해 더 정확하고, 더 친절하고, 더 안전한 답변을 하도록 다듬어집니다.
우리가 쓰는 챗봇이 자연스럽고 예의 바른 이유가 바로 이 단계 덕분입니다.
LLM은 어떻게 답을 만들어낼까? 다음 단어 맞히기의 마법
이제 가장 중요한 원리입니다.
LLM이 답변을 생성하는 방식은 "다음에 올 확률이 가장 높은 단어를 하나씩 이어 붙이는 것"입니다. 딱 이게 전부입니다.
예를 들어 "대한민국의 수도는"이라는 문장이 들어오면, LLM은 다음에 올 후보를 확률로 계산합니다.
'서울'이 92퍼센트, '부산'이 2퍼센트, 이런 식이죠. 그중 하나를 골라 붙이고, 다시 그 다음 단어를 계산합니다.
이 과정을 문장이 끝날 때까지 반복합니다. 앞서 다룬 토큰 단위로 잘게 쪼개서 처리한다는 점도 함께 기억해 두면 좋습니다.
여기서 두 가지 중요한 사실이 나옵니다.
첫째, LLM은 어딘가에서 답을 검색해 오는 게 아닙니다. 매번 새로 만들어냅니다. 그래서 같은 질문에도 조금씩 다른 답이 나오죠.
둘째, LLM의 목표는 '정확함'이 아니라 '그럴듯함'입니다. 확률이 높은 단어를 고르는 것이지 사실을 검증하는 게 아니거든요.
우리가 앞서 다룬 환각 현상이 바로 여기서 비롯됩니다.
그런데 이렇게 단순한 원리로 어떻게 복잡한 추론까지 해낼까요? 핵심은 규모의 힘입니다. 학습 데이터와 파라미터가 일정 규모를 넘어서자, 아무도 가르치지 않은 능력이 갑자기 나타나기 시작했습니다.
번역, 요약, 코드 작성, 논리 추론 같은 것들이죠.
이를 창발(Emergence) 현상이라고 부르며, LLM 연구에서 가장 흥미로운 발견으로 꼽힙니다.
대표적인 LLM들과 고르는 기준
세상에는 수많은 LLM이 있고, 각각 성격이 다릅니다. 대표 주자들을 간단히 살펴보겠습니다.
Claude(클로드)는 Anthropic이 만든 모델로, 긴 문서 처리와 코딩, 그리고 안전성 측면에서 강점을 보입니다.
GPT 시리즈는 OpenAI의 모델로 ChatGPT를 통해 가장 널리 알려졌습니다.
Gemini(제미나이)는 구글의 모델로 검색·유튜브 등 자사 서비스와의 연동이 강점입니다.
Llama(라마)는 Meta가 공개한 오픈소스 모델로, 누구나 내려받아 자기 서버에서 돌릴 수 있다는 점이 특징입니다.
그럼 어떤 기준으로 고를까요?
실무에서는 보통 세 가지를 봅니다.
첫째, 성능 등급입니다. 대부분의 회사가 같은 계열 안에서도 여러 크기의 모델을 내놓습니다.
예를 들어 Claude는 최고 성능의 Opus, 균형 잡힌 Sonnet, 빠르고 저렴한 Haiku로 나뉩니다.
복잡한 분석에는 상위 모델을, 단순 분류나 요약에는 하위 모델을 쓰는 것이 정석입니다.
둘째, 가격입니다. 등급 차이는 곧 비용 차이입니다.
최상위 모델과 경량 모델은 몇 배까지 가격이 벌어집니다. 모든 작업에 최고급 모델을 쓰는 건 낭비입니다.
셋째, 컨텍스트 크기입니다. 한 번에 얼마나 많은 자료를 넣을 수 있는지를 뜻합니다.
최근 상위 모델들은 100만 토큰까지 지원해서 책 여러 권 분량을 통째로 다룰 수 있습니다.
초보자가 LLM을 200퍼센트 활용하는 법
마지막으로 실전 활용 원칙을 정리하겠습니다. LLM의 원리를 알았다면 활용법은 자연스럽게 따라옵니다.
첫째, 맥락을 충분히 주세요. LLM은 앞에 주어진 내용을 바탕으로 다음을 예측합니다. 즉 입력이 좋을수록 출력이 좋아지는 구조입니다. "보고서 써줘"보다 "제조업 중소기업 대상, 결재자는 임원, 분량은 A4 두 장, 결론부터 제시"처럼 맥락을 풍성하게 주면 결과가 완전히 달라집니다.
둘째, 역할을 지정하세요. "너는 10년 차 마케팅 전략가야"처럼 역할을 부여하면 모델은 그 역할에 어울리는 어휘와 관점으로 답합니다. 확률 예측 방식이기 때문에 생기는 아주 효과적인 트릭입니다.
셋째, 단계를 나눠 시키세요. 복잡한 작업을 한 번에 요구하면 품질이 떨어집니다. "먼저 목차를 잡아줘" → "1장을 써줘" 순서로 쪼개면 각 단계의 완성도가 훨씬 올라갑니다.
넷째, 사실은 반드시 검증하세요. LLM은 그럴듯함을 추구하는 모델이지 사실 검증기가 아닙니다. 숫자, 날짜, 인용, 출처는 늘 확인해야 합니다.
다섯째, 작업에 맞는 모델을 쓰세요. 아이디어 발상과 정밀한 코드 작성은 요구되는 능력이 다릅니다. 여러 모델을 써보고 자기 작업에 잘 맞는 조합을 찾는 것이 결국 가장 큰 차이를 만듭니다.
마무리하며
LLM은 방대한 글을 학습해 인간 언어의 패턴을 익힌 거대한 수학 모델이며, 다음에 올 단어를 확률로 예측하는 단순한 원리로 작동합니다.
그 단순함이 규모를 만나 번역·추론·코딩 같은 능력으로 피어난 것이 지금의 AI 혁명입니다.
그리고 지금까지 우리가 다룬 모든 개념이 결국 이 LLM을 중심으로 연결됩니다.
프롬프트 엔지니어링은 LLM에게 잘 말하는 법, RAG는 LLM에게 자료를 쥐여주는 법, 파인튜닝은 LLM의 습관을 바꾸는 법, 환각은 LLM의 태생적 한계, 멀티모달은 LLM의 감각 확장입니다. 뿌리를 이해하고 나면 가지들이 한눈에 보이기 시작합니다.
이제 남은 건 직접 써보는 일뿐입니다. 오늘 하던 일 하나를 골라 AI에게 맡겨보세요. 이해한 원리는 써봐야 비로소 내 것이 됩니다.