티스토리 뷰
"우리 회사 전용 AI를 만들고 싶은데 어떻게 하나요?"라는 질문을 받으면 전문가들은 늘 두 단어를 꺼냅니다.
하나는 앞서 다뤘던 RAG, 다른 하나가 바로 오늘의 주인공 파인튜닝(Fine-tuning)입니다.
이름은 자주 들어봤지만 정확히 무엇을 하는 기술인지, RAG와 뭐가 다른지 헷갈리는 분들이 정말 많습니다.
오늘은 파인튜닝을 수식 하나 없이, 신입사원 교육에 비유해서 끝까지 이해할 수 있게 풀어드리겠습니다.
파인튜닝이란 무엇일까? 똑똑한 신입사원을 우리 회사 사람으로 만드는 과정
파인튜닝을 한 문장으로 정의하면 "이미 학습을 마친 AI 모델에게 추가 데이터를 학습시켜 특정 분야에 특화시키는 작업"입니다.
여기서 중요한 건 '이미 학습을 마친'이라는 부분입니다.
AI를 처음부터 만드는 게 아니라, 잘 만들어진 모델을 데려와 우리 입맛에 맞게 다듬는다는 뜻이죠.
이해를 돕기 위해 신입사원을 떠올려봅시다. 명문대를 졸업한 신입사원은 이미 국어, 수학, 상식 등 방대한 지식을 갖추고 있습니다.
이 상태가 바로 사전학습(Pre-training)을 마친 GPT나 Claude 같은 범용 모델입니다.
똑똑하지만 우리 회사만의 결재 양식, 고객 응대 말투, 업계 전문 용어는 전혀 모릅니다.
그래서 회사는 신입사원에게 3개월간 사내 교육을 시킵니다. 실제 상담 사례를 보여주고, 회사 문서를 읽히고, 선배의 응대 방식을 따라 하게 만듭니다.
교육이 끝나면 이 사원은 여전히 똑똑하면서도 우리 회사 스타일로 일하는 사람이 됩니다. 바로 이 사내 교육 과정이 파인튜닝입니다.
그래서 파인튜닝의 목적은 '새로운 지식 주입'보다 '행동 방식과 스타일의 조정'에 가깝습니다.
법률 문서를 법률가 말투로 쓰게 만들거나, 의료 상담을 의사처럼 신중하게 답하게 만들거나, 우리 브랜드 특유의 친근한 어조로 답하게 만드는 일이 전형적인 파인튜닝의 영역입니다.
모델의 지능을 바꾸는 게 아니라 성격과 습관을 바꾸는 작업이라고 기억하면 딱 맞습니다.
파인튜닝은 어떤 원리로 진행될까? 정답지를 반복해서 보여주는 훈련
파인튜닝의 작동 원리는 생각보다 단순합니다.
핵심은 "질문과 모범 답안 쌍을 잔뜩 보여주고, 모델이 그 답을 따라 하도록 내부 수치를 조금씩 조정하는 것"입니다.
구체적으로 살펴보면 먼저 데이터셋을 준비합니다.
"고객이 배송 지연을 문의했을 때"라는 입력과, "정말 죄송합니다. 주문번호를 알려주시면 즉시 확인해 드리겠습니다"라는 이상적인 출력을 한 쌍으로 묶습니다.
이런 쌍을 수백에서 수천 개 모으면 훈련 교재가 완성됩니다.
다음은 학습 단계입니다.
모델에게 질문을 주고 답을 만들게 한 뒤, 우리가 준비한 모범 답안과 얼마나 다른지를 계산합니다.
이 차이를 '손실(Loss)'이라 부르는데, 모델은 이 차이를 줄이는 방향으로 내부의 수많은 숫자(가중치)를 아주 조금씩 수정합니다.
이 과정을 수천 번 반복하면 모델의 답변이 점점 모범 답안을 닮아갑니다.
여기서 초보자가 자주 놓치는 포인트가 있습니다.
파인튜닝은 책을 통째로 외우게 하는 게 아니라 문제 풀이 스타일을 몸에 배게 하는 훈련이라는 점입니다.
그래서 "우리 회사 제품 가격표를 파인튜닝으로 학습시키면 되지 않나요?"라는 접근은 대체로 실패합니다.
가격이 바뀔 때마다 다시 학습시켜야 하고, 모델이 숫자를 어렴풋이 기억해 틀리게 답할 위험도 큽니다.
자주 바뀌는 정보는 파인튜닝이 아니라 다른 방법으로 다뤄야 하는데, 그게 바로 다음에 이야기할 RAG입니다.
파인튜닝 vs RAG, 결국 뭘 선택해야 할까?
이 둘의 차이를 가장 쉽게 구분하는 기준은 딱 하나입니다.
"모델이 몰라서 문제인가, 아니면 말투와 방식이 문제인가?"
RAG는 오픈북 시험입니다. 시험장에 참고서를 들고 들어가는 방식이죠.
질문이 들어오면 벡터 데이터베이스에서 관련 문서를 찾아 모델에게 함께 건네주고, 모델은 그 자료를 읽고 답합니다.
그래서 자료만 바꾸면 답변이 즉시 최신화됩니다. 사규가 개정되면 문서 한 장만 교체하면 끝입니다.
파인튜닝은 벼락치기 후 무감독 시험입니다. 참고서 없이 몸에 익힌 감각으로 답합니다. 그래서 말투, 응답 형식, 판단 기준처럼 매번 일관되게 유지돼야 하는 것에 강력합니다.
정리하면 이렇습니다. 최신 정보나 자주 바뀌는 내부 문서를 다뤄야 한다면 RAG가 정답입니다.
반대로 특정 말투를 유지하거나, 항상 정해진 JSON 형식으로 출력하거나, 전문 분야 특유의 사고방식을 재현해야 한다면 파인튜닝이 답입니다. 비용 면에서도 RAG가 훨씬 가볍고 빠르게 시작할 수 있습니다.
그리고 실무에서 가장 많이 쓰이는 정답은 사실 "둘 다"입니다.
파인튜닝으로 우리 브랜드 말투와 응답 형식을 몸에 익히게 한 뒤, RAG로 최신 상품 정보를 그때그때 참고하게 만드는 조합이죠.
스타일은 파인튜닝, 지식은 RAG. 이 한 줄만 기억해도 절반은 이해한 겁니다.
파인튜닝의 종류: 전체 튜닝부터 요즘 대세 LoRA까지
파인튜닝에도 여러 방식이 있는데, 초보자는 세 가지만 알아두면 충분합니다.
첫 번째는 전체 파인튜닝(Full Fine-tuning)입니다. 모델 내부의 모든 가중치를 전부 수정하는 정공법입니다.
성능은 가장 확실하지만 비용이 어마어마합니다.
수십억 개의 숫자를 전부 다시 계산해야 해서 고가의 GPU가 여러 대 필요하고, 학습된 모델을 저장할 용량도 원본만큼 필요합니다.
개인이나 소규모 팀에겐 사실상 선택지가 아닙니다.
두 번째가 요즘 대세인 LoRA(로라)입니다. 정식 명칭은 Low-Rank Adaptation으로, 원본 모델은 건드리지 않고 작은 보조 부품만 추가로 학습시키는 방식입니다.
자동차 엔진을 통째로 교체하는 대신 튜닝 칩 하나만 꽂는 것과 같습니다.
놀랍게도 전체 파인튜닝의 90퍼센트 이상 성능을 내면서 학습 비용은 수십 분의 일로 줄어듭니다.
결과물도 수백 메가바이트 수준이라 여러 개를 만들어 상황에 따라 갈아 끼울 수 있습니다.
이런 경량화 기법들을 묶어 PEFT(효율적 파인튜닝)라고 부릅니다.
세 번째는 인스트럭션 튜닝(Instruction Tuning)과 RLHF입니다.
인스트럭션 튜닝은 "지시를 잘 따르도록" 가르치는 것이고, RLHF는 사람이 좋은 답변에 점수를 매겨 그 방향으로 유도하는 방식입니다.
우리가 쓰는 ChatGPT가 자연스럽게 대화하는 이유가 바로 이 과정을 거쳤기 때문입니다.
결국 우리가 쓰는 모든 챗봇은 이미 파인튜닝의 결과물인 셈입니다.
초보자가 파인튜닝을 시작하는 현실적인 방법과 주의사항
"나도 한번 해볼까?" 싶다면 순서가 중요합니다.
결론부터 말하면 파인튜닝은 가장 마지막에 꺼내야 할 카드입니다.
1단계, 프롬프트부터 다듬어보세요. 원하는 말투와 형식을 시스템 프롬프트에 자세히 적고 예시 두세 개만 넣어줘도 놀랄 만큼 원하는 결과가 나옵니다. 앞서 다룬 프롬프트 엔지니어링만으로 해결되는 경우가 실제로 상당히 많습니다. 비용은 0원이고 수정도 즉시 가능합니다.
2단계, 그래도 부족하면 RAG를 붙이세요. 모델이 몰라서 틀리는 문제라면 파인튜닝이 아니라 자료 제공이 정답입니다.
3단계, 그래도 안 되면 그때 파인튜닝입니다. 이때는 LoRA 방식으로 시작하는 것을 추천합니다. OpenAI나 구글의 파인튜닝 서비스를 쓰면 데이터 파일을 업로드하는 것만으로 코딩 없이 진행할 수 있고, 오픈소스 모델은 Hugging Face의 도구들을 활용하면 됩니다.
주의사항도 꼭 기억하세요. 데이터의 양보다 품질이 압도적으로 중요합니다.
엉성한 데이터 5,000개보다 잘 정제된 500개가 훨씬 좋은 결과를 냅니다. 데이터에 오타나 잘못된 답변이 섞이면 모델은 그 실수까지 그대로 배웁니다.
또 하나, 좁은 데이터로 과하게 학습시키면 원래 잘하던 일반 능력이 떨어지는 파국적 망각 현상이 생길 수 있습니다.
신입사원에게 한 가지 업무만 3년 시키면 다른 일은 못 하게 되는 것과 똑같습니다. 그래서 파인튜닝은 항상 "적당히, 그리고 검증하면서" 진행해야 합니다.
마무리하며
파인튜닝은 똑똑한 범용 AI를 우리 조직의 사람으로 만드는 재교육 과정입니다.
질문과 모범 답안을 반복해 보여주며 모델의 습관과 말투를 조정하고,
요즘은 LoRA 같은 경량 기법 덕분에 개인도 도전할 수 있을 만큼 문턱이 낮아졌습니다.
가장 중요한 건 선택의 기준입니다. 모르는 게 문제면 RAG, 방식이 문제면 파인튜닝.
그리고 그전에 프롬프트부터 충분히 다듬어보는 것이 시간과 비용을 아끼는 가장 현명한 순서입니다.
다음 글에서는 AI가 왜 가끔 그럴듯한 거짓말을 하는지, 그 유명한 환각(Hallucination) 현상을 쉽게 풀어드리겠습니다.