파인튜닝이란? LoRA QLoRA란? AI 모델 맞춤 학습 완벽 가이드

파인튜닝이란? LoRA / QLoRA란? AI 모델 맞춤 학습 완벽 가이드

사전학습된 AI 모델을 우리 회사 데이터로 학습시키고 싶은데 GPU 비용 때문에 망설여지시나요?

최근 기업들이 범용 AI 모델을 자사 업무에 맞게 커스터마이징하려는 수요가 급증하면서 파인튜닝에 대한 관심이 높아지고 있습니다.

특히 2023년 이후 생성형 AI가 확산되면서 금융권의 고객 상담, 의료 분야의 진료 기록 요약, 법률 문서 검토처럼 전문 도메인에서 AI를 활용하려는 시도가 늘고 있습니다.

하지만 전통적인 파인튜닝 방식은 막대한 GPU 자원이 필요해 현실적으로 접근하기 어려웠습니다.

이 문제를 해결하기 위해 등장한 것이 LoRA와 QLoRA입니다.

이 글에서는 파인튜닝의 기본 개념부터 LoRA와 QLoRA의 차이, 그리고 실제 도입 방법까지 살펴보겠습니다.

파인튜닝: AI 모델을 우리 업무에 맞게 재학습시키는 방법

파인튜닝은 이미 대규모 데이터로 학습된 사전학습 모델을 특정 과업이나 도메인에 맞게 추가 학습시키는 과정입니다.

GPT나 LLaMA 같은 범용 모델은 일반적인 질문에는 잘 답하지만, 의료 용어나 법률 문서, 금융 상품처럼 전문 분야의 세부 지식이 필요한 경우 정확도가 떨어집니다.

예를 들어 "IRP 계좌와 연금저축 계좌의 세제 혜택 차이"처럼 구체적인 금융 상품 비교를 물으면 범용 모델은 일반론만 답하거나 최신 정보를 반영하지 못합니다.

또한 기업마다 선호하는 응답 스타일이나 톤이 다르기 때문에 자체 데이터로 모델을 재학습시켜야 할 필요성이 생깁니다. 고객 상담 챗봇이라면 친근하면서도 전문적인 톤을 유지해야 하고, 내부 문서 요약 도구라면 간결하고 핵심만 추출하는 스타일이 필요합니다.

전통적 파인튜닝의 한계

문제는 전통적인 파인튜닝 방식은 모델의 모든 파라미터를 업데이트하기 때문에 수백 GB의 GPU 메모리와 며칠씩 걸리는 학습 시간, 그리고 수천만 원에 달하는 비용이 필요하다는 점입니다.

예를 들어 70억 개 파라미터를 가진 LLaMA 모델을 전체 파인튜닝하려면 A100 80GB GPU가 최소 4~8장 필요하고, 학습에 2~3일이 걸립니다. GPU 클라우드 비용만 시간당 수십만 원이 들어 총 비용이 수천만 원을 넘어가는 경우가 많습니다.

이런 비용 구조는 대기업이나 연구기관이 아니면 접근하기 어렵습니다. 스타트업이나 중소기업 입장에서는 AI 모델 커스터마이징 자체를 포기하게 만드는 장벽이었습니다.

LoRA: 효율적 파인튜닝의 시작

LoRA(Low-Rank Adaptation)는 2021년 마이크로소프트 연구팀이 발표한 효율적 파인튜닝 기법입니다. *출처: LoRA: Low-Rank Adaptation of Large Language Models, Edward Hu et al., 2021

핵심 아이디어는 간단합니다. 모델 전체를 다시 학습시키는 대신, 기존 가중치는 그대로 동결하고 작은 행렬 두 개만 추가해서 학습시키는 방식입니다.

조금 더 구체적으로 설명하면, 딥러닝 모델은 여러 층의 가중치 행렬로 구성되어 있습니다. 전통적 파인튜닝은 이 모든 행렬을 업데이트하지만, LoRA는 원본 행렬은 그대로 두고 옆에 작은 행렬 A와 B를 붙입니다. 그리고 이 작은 행렬들만 학습시킵니다.

예를 들어 원본 가중치 행렬이 4096×4096 크기라면, LoRA는 4096×8 크기의 행렬 A와 8×4096 크기의 행렬 B를 추가합니다. 전체 파라미터 수가 약 1670만 개에서 13만 개로 줄어드는 셈입니다.

이렇게 하면 70억 개 파라미터를 가진 모델이라면 전체를 업데이트하는 대신 1~5% 정도의 작은 어댑터만 학습합니다.

LoRA의 실질적 장점

이 방식을 사용하면 GPU 메모리 사용량이 3분의 1 수준으로 줄어들고 학습 속도도 3~5배 빨라집니다. A100 80GB GPU 8장이 필요했던 작업을 2~3장으로 처리할 수 있게 됩니다.

더 중요한 건 학습된 어댑터의 크기가 수십 MB에 불과해 여러 태스크별로 다른 어댑터를 만들어 관리하기 쉽다는 점입니다.

기본 모델은 하나만 유지하고 고객 상담용, 문서 요약용, 코드 생성용처럼 용도별로 어댑터를 바꿔가며 사용할 수 있습니다. 각 어댑터가 50MB 정도라면 100개를 만들어도 5GB밖에 안 됩니다.

실제로 국내 한 핀테크 스타트업은 LoRA를 활용해 금융 상담 챗봇을 구축했는데, 전체 파인튜닝 대비 GPU 비용을 70% 절감하면서도 고객 만족도는 비슷한 수준을 유지했습니다.

QLoRA: GPU 메모리를 더 줄이는 혁신

QLoRA(Quantized LoRA)는 LoRA에 양자화 기술을 결합한 방법입니다.

양자화란 모델의 가중치를 16-bit 부동소수점에서 4-bit 정수로 압축하는 기술인데, 이를 통해 메모리 사용량을 추가로 40~50% 더 줄일 수 있습니다.

2023년 워싱턴대학교 연구팀이 발표한 QLoRA 논문에 따르면 65억 파라미터 모델을 단일 24GB GPU에서도 파인튜닝할 수 있게 되었습니다. *출처: QLoRA: Efficient Finetuning of Quantized LLMs, Tim Dettmers et al., 2023

LoRA가 A100 같은 고급 GPU를 여러 장 필요로 했다면, QLoRA는 RTX 3090이나 RTX 4090 같은 소비자용 GPU 한 장으로도 충분합니다.

성능 손실 없는 압축

놀라운 점은 이렇게 압축했는데도 성능 손실이 거의 없다는 것입니다.

QLoRA 논문의 벤치마크 테스트에서 전체 16-bit 파인튜닝과 비교해 99% 이상의 성능을 유지했습니다. MMLU(대규모 다중과제 언어 이해) 벤치마크에서 전체 파인튜닝이 68.3%의 정확도를 보였다면, QLoRA는 67.9%를 기록했습니다.

이는 4-bit 양자화 과정에서 발생하는 정보 손실을 NF4(Normal Float 4-bit)라는 특수한 데이터 타입과 이중 양자화 기법으로 최소화했기 때문입니다.

GPU 자원이 제한적인 스타트업이나 연구팀에게 QLoRA는 대형 모델을 다룰 수 있는 현실적인 방법이 되었습니다. 실제로 한 AI 스타트업은 QLoRA로 130억 파라미터 모델을 단일 A100 40GB에서 파인튜닝하는 데 성공했습니다.

전체 파인튜닝 vs LoRA vs QLoRA 비교

세 가지 방식을 비교하면 차이가 명확합니다.

전체 파인튜닝은 모든 파라미터를 학습하기 때문에 이론적으로 가장 높은 성능을 낼 수 있지만 A100 80GB GPU 8장 이상이 필요하고 학습에 며칠이 걸립니다.

LoRA는 GPU 메모리를 3분의 1로 줄이면서도 대부분의 경우 충분한 성능을 보여주며, QLoRA는 단일 소비자용 GPU로도 대형 모델을 다룰 수 있게 합니다.

어떤 방식을 선택해야 할까?

선택 기준은 간단합니다.

대규모 데이터셋(10만 건 이상)과 충분한 예산이 있고 최고 성능이 필요하다면 전체 파인튜닝을 고려할 수 있습니다. 하지만 실제로는 성능 차이가 크지 않아 이 방식을 선택하는 경우는 많지 않습니다.

일반적인 기업 환경에서 수천~수만 건의 데이터로 도메인 특화 모델을 만든다면 LoRA가 가장 균형 잡힌 선택입니다. GPU 자원이 제한적이거나 초기 실험 단계라면 QLoRA를 권장합니다.

국내 한 의료 AI 스타트업은 QLoRA로 시작해 검증을 마친 후 LoRA로 전환하는 단계적 접근을 택했습니다. 이렇게 하면 초기 투자를 최소화하면서도 성능을 확인할 수 있습니다.

실제 활용 사례: 파인튜닝이 만드는 차이

금융: 고객 상담 정확도 향상

금융권에서는 QLoRA를 활용해 고객 상담 챗봇을 구축하고 있습니다.

국내 한 은행은 자체 상담 로그 5만 건으로 LLaMA 모델을 파인튜닝해 금융 용어 이해도를 40% 향상시켰습니다. 특히 "ISA 계좌 만기 후 연금저축 전환 방법"처럼 복잡한 금융 상품 문의에 대한 정확도가 크게 개선되었습니다.

파인튜닝 전에는 범용적인 답변만 제시했다면, 파인튜닝 후에는 해당 은행의 구체적인 상품 옵션과 절차를 안내할 수 있게 되었습니다.

의료: 진료 기록 요약 자동화

의료 분야에서도 진료 기록 요약에 LoRA 방식을 적용해 의학 용어 정확도를 크게 높였습니다.

한 대학병원은 10년간 축적된 진료 기록 3만 건으로 모델을 파인튜닝해 의사들이 차트를 작성하는 시간을 50% 단축했습니다. "만성 폐쇄성 폐질환 급성 악화" 같은 정확한 의학 용어를 사용하고, 환자의 과거 병력을 고려한 맥락 있는 요약을 생성합니다.

이커머스: 브랜드 톤 유지

이커머스 업체들은 상품 설명 생성에 파인튜닝된 모델을 사용해 브랜드 고유의 톤앤매너를 유지하면서도 작성 시간을 80% 단축했습니다.

한 패션 브랜드는 자사의 지난 2년간 상품 설명 1만 건으로 모델을 학습시켜, "모던하면서도 편안한", "일상에서 빛나는" 같은 브랜드 특유의 표현을 자연스럽게 활용하는 텍스트를 생성합니다.

파인튜닝 도입 시 체크리스트

파인튜닝을 시작하기 전에 먼저 양질의 학습 데이터를 확보해야 합니다.

일반적으로 최소 1천~1만 건의 도메인 특화 데이터가 필요하며, 데이터 품질이 결과에 직접적인 영향을 미칩니다. 단순히 양이 많은 것보다 정확하고 일관성 있는 데이터가 중요합니다.

예를 들어 고객 상담 로그를 학습 데이터로 쓴다면, 상담원마다 답변 스타일이 다를 수 있으므로 품질 기준을 정하고 일관성을 확보해야 합니다.

인프라 선택 전략

인프라 관점에서는 실험 단계에서는 클라우드 GPU를 시간 단위로 사용하고, 안정화 이후 온프레미스 전환을 고려하는 것이 비용 효율적입니다.

LoRA의 경우 24~40GB VRAM GPU면 충분하고, QLoRA는 16~24GB로도 가능합니다. RTX 4090(24GB)이나 A100 40GB가 적당한 선택지입니다.

학습 소요 시간은 데이터셋 크기에 따라 다르지만 보통 수 시간에서 하루 정도면 완료됩니다. 5천 건 데이터셋 기준으로 QLoRA는 A100 40GB에서 4~6시간 정도 걸립니다.

예산 계획

비용 관점에서 보면 클라우드 GPU 시간당 비용은 RTX 4090 기준 약 5천~1만 원, A100 40GB는 2만~3만 원 수준입니다. 5천 건 데이터로 QLoRA 실험을 한다면 총 GPU 비용은 10만~20만 원 정도로 예상할 수 있습니다.

이는 전체 파인튜닝 비용(수천만 원)의 1% 미만이며, API 기반 모델 사용료(장기적으로 수백만~수천만 원)와 비교해도 훨씬 경제적입니다.

자주 묻는 질문

Q: LoRA와 QLoRA 중 어떤 걸 선택해야 하나요?

가용 GPU 메모리가 기준이 됩니다. 24GB 이상의 GPU를 사용할 수 있다면 LoRA를, 그 이하거나 초기 실험 단계라면 QLoRA를 권장합니다. 성능 차이는 거의 없으므로 인프라 상황에 맞춰 선택하면 됩니다.

Q: 파인튜닝에 필요한 데이터는 얼마나 되나요?

태스크 복잡도에 따라 다르지만 보통 수천 건이면 의미 있는 결과를 얻을 수 있습니다. 간단한 분류 작업은 1천~3천 건, 복잡한 생성 작업은 1만 건 이상이 적절합니다. 중요한 건 양보다 품질입니다.

Q: 파인튜닝 후 성능이 오히려 떨어질 수 있나요?

과적합(overfitting) 때문에 발생할 수 있습니다. 학습 데이터에만 지나치게 맞춰져 새로운 입력에 대한 일반화 성능이 떨어지는 현상입니다. 학습률을 낮추고 검증 데이터로 모니터링하며 조기 종료 기법을 사용하면 방지할 수 있습니다.

Q: 오픈소스 모델도 파인튜닝 가능한가요?

네, LLaMA, Mistral, Gemma 같은 오픈소스 모델은 모두 파인튜닝이 가능합니다. 라이선스만 확인하면 상업적 용도로도 사용할 수 있습니다. 오히려 오픈소스 모델이 파인튜닝에 더 적합한 경우가 많습니다.

파인튜닝 실험 환경이 필요하다면

파인튜닝은 AI 모델을 우리 업무에 맞게 만드는 핵심 기술이지만, 적절한 GPU 환경과 학습 파이프라인을 구축하는 것부터 쉽지 않습니다.

특히 초기 실험 단계에서는 어떤 데이터를, 어떤 방식으로 학습시켜야 할지 여러 번 시도해봐야 하기 때문에 유연한 인프라가 필요합니다.

몬드리안 AI의 파인튜닝 솔루션

몬드리안 AI는 파인튜닝 실험부터 배포까지 전체 과정을 지원하는 솔루션을 제공합니다.

런유어에이아이(RunYourAI): 합리적인 GPU 클라우드

해외 경쟁사 대비 70% 합리적인 가격으로 동일한 GPU 사양을 제공해 초기 실험 비용을 크게 줄일 수 있습니다.

PyTorch, TensorFlow, Hugging Face Transformers 등 파인튜닝에 필요한 라이브러리가 사전 설치되어 있어 복잡한 환경 설정 없이 바로 실험을 시작할 수 있습니다.

시간 단위 온디맨드 방식으로 필요할 때만 GPU를 사용하고 비용을 지불하므로, 실험 단계에서 비용 부담을 최소화할 수 있습니다.

👉 런유어에이아이(RunYourAI) 스토어 방문하기

예니퍼(Yennefer): 통합 AI 플랫폼

멀티 인프라 지원으로 클라우드, 온프레미스, 하이브리드 환경 모두에서 동일한 방식으로 파인튜닝 작업을 수행할 수 있습니다.

데이터 전처리부터 모델 학습, 배포, 모니터링까지 AI 개발의 전 과정을 하나의 플랫폼에서 관리하므로 복잡한 파이프라인 구축 없이 파인튜닝에 집중할 수 있습니다.

GPU·CPU 자원을 프로젝트별로 자동 분배하고 실시간 확장이 가능해, 여러 파인튜닝 실험을 동시에 진행할 수 있습니다.

📃 예니퍼 Yennefer 제품 소개서 다운로드하러 가기