빅테크 리소스 없이 LLM을 미세 조정하는 방법

LLM은 현대 AI 워크플로의 핵심이 되었습니다. 그러나 이를 적용하는 것은 특정 비즈니스 요구 사항 종종 자금이 풍부하고 엔지니어링 팀이 큰 기업에서만 할 수 있는 일처럼 들립니다. 

우리는 그 가정을 시험하고 싶었습니다. 

이 블로그에서는 오픈 소스 모델, 제한된 인프라, 구조화된 2단계 접근 방식을 사용하여 어디까지 발전할 수 있는지 테스트하기 위해 설계된 당사의 내부 미세 조정 실험을 살펴보겠습니다.  

이 프로세스는 생산을 위한 것은 아니지만 실제 구현에 투자하기 전에 현실적으로 무엇이 달성 가능한지 평가하는 데 도움이 되었습니다. 

가벼운 모델을 사용한 로컬 실험부터 LoRA 및 클라우드 기반 GPU를 사용한 확장 가능한 미세 조정까지, 우리의 목표는 간단한 질문에 답하는 것이었습니다. LLM을 미세 조정하는 데 드는 비용은 얼마이며 LLM을 효율적으로 조정할 수 있습니까? 과잉 지출? 

다음은 우리가 연구 과정에서 마주친 도구, 인프라, 과제, 결과에 대한 분석입니다.  

참고: 이 정보는 다음 백서를 기반으로 합니다. LLM 적응: 중규모 프로젝트를 위한 전략으로서의 미세 조정.  

1단계: 소규모로 시작 – 로컬에서 경량 모델 미세 조정 

우리는 로컬 하드웨어를 사용하여 미세 조정할 수 있는 소규모 오픈 소스 모델을 사용하여 LLM 적응 프로세스를 시작했습니다.  

목표는 대규모 모델이나 값비싼 인프라를 도입하기 전에 접근 방식을 검증하고, 툴을 이해하고, 기준 한계를 파악하는 것이었습니다. 

사용된 도구 및 프레임워크 

이 초기 단계를 관리하기 위해 다음을 사용했습니다. 

• 파이 토치: CUDA 지원을 포함한 당사의 딥 러닝 프레임워크 선택 
• 트랜스포머(허깅 페이스): 사전 학습된 모델을 로드하고 작업하기 위해 
• 모델링 및 시뮬레이션 가속: 분산 학습을 단순화하려면 
• 사이 킷 러닝: 주로 데이터 세트 분할용 
• 판다: 데이터 처리를 위해 
• 데이터 세트(Hugging Face): 데이터 로딩 및 포맷팅을 위해 

지역 인프라 

모든 훈련은 다음을 갖춘 소규모 로컬 머신에서 수행되었습니다. 

• RAM의 32GB 
• 2개의 GeForce GTX 1070 GPU(각 8GB) 

스크립트화된 프로세스 

우리는 세 가지 주요 Python 스크립트를 개발했습니다. 

• 테스트_모델.py: 훈련 없이 기준 모델을 평가하려면 
• 기차.py: 데이터 세트를 사용하여 실제 미세 조정을 실행하려면 
• 추론.py: 미세 조정 후 모델의 동작을 테스트하려면 

우리의 관찰 

• 모델은 비교적 빠르게(몇 분 안에) 미세조정이 가능했지만, 품질이 일관되지 않았습니다. 
• 로컬 하드웨어가 충분했습니다 실험용으로는 적합하지만 확장에는 적합하지 않습니다. 
• 결과는 학습을 암시했지만 작은 모델은 용량이 부족했습니다 신뢰할 수 있는 일반화를 위해. 
• 우리는 마주쳤다 과적합의 초기 징후 작은 데이터 세트를 사용하는 경우 

이 단계에서는 기본적인 미세 조정 과정을 검증하는 데 도움이 되었지만, 특히 단 하나의 사실이라도 정확하게 인코딩하려고 할 때 소규모 모델과 로컬 설정의 한계가 드러났습니다. 

2단계: LoRA 및 클라우드 GPU를 사용한 중간 크기 모델 미세 조정 

과잉적합 및 일관되지 않은 출력을 포함하여 소규모 모델에서 상당한 한계에 부딪힌 후, 우리는 중간 규모의 오픈소스 LLM을 실험하기 시작했습니다.  

이 두 번째 단계는 생산적인 측면에서 확장하는 것이 아니라 다음과 같은 모델이 미스트랄-7B 제퍼-7BLoRA를 사용하여 미세 조정하면 더욱 안정적이고 일관된 결과를 제공할 수 있습니다. 리소스 요구량이 증가함에 따라, 학습 및 추론 모두 로컬 인프라에서 클라우드 기반 GPU로 전환했습니다. 

클라우드 기반 인프라로 전환 

우리가 선택한 Vast.ai 유연한 가격 책정과 고성능 GPU에 대한 즉각적인 액세스를 제공합니다. 다른 공급업체는 다음과 같습니다. AWS 벌 터 L40S 인스턴스에 액세스하려면 추가 확인이 필요합니다. 

• 사용 된 하드웨어: 엔비디아 L40S 
• 가격: 시간당 약 0.60달러 

올바른 모델 선택 

우리는 다음을 실험했습니다. 

• 미스트랄-7B-Instruct-v0.1 
• 제퍼-7B-베타 

이러한 중간 크기 모델은 기본 성능과 적응성 사이에서 강력한 균형을 제공했습니다. 

왜 LoRA인가? 

전체 미세 조정(엄청난 컴퓨팅과 시간이 필요함)을 수행하는 대신, LoRA를 사용하여 모델의 특정 구성 요소만 업데이트했습니다. 이를 통해 효율성을 유지하면서 리소스 요구 사항을 크게 줄였습니다. 

LoRA를 활용한 훈련: 

• 가져왔다. 20-60 분 ~200개의 Q&A 쌍에 대해 
• 필수 신중한 조정 LoRA 매개변수(학습률, 순위, 드롭아웃, 대상 모듈) 
• 생산 학습의 초기 징후, 초기 출력에서는 환각이 여전히 존재했지만 

반복과 결과 

더 광범위한 지식 적응을 위한 첫 번째 시도는 일관성 없는 결과를 가져왔습니다. 그러나 작업을 단순화하여 한 번에 하나의 사실만 학습하도록 모델을 훈련시킨 후("Scopic은 2006년 Tim Burr에 의해 설립되었습니다"), 다양한 맥락에서 20개 이상의 사실 변형을 적용하여 신뢰할 수 있는 결과를 얻었습니다. 

LoRA를 통해 빠르고 비용 효율적으로 반복할 수 있었습니다.따라서 전체적인 미세 조정에 드는 비용 없이 집중적인 맞춤화가 필요한 팀에게 실행 가능한 옵션이 됩니다. 

데이터 준비: 작은 데이터 세트, 큰 노력 

이론상으로는 단일 사실을 학습하도록 모델을 조정하는 것이 간단해 보입니다. 하지만 실제로는 데이터 세트가 작더라도 데이터 품질과 변동성이 미세 조정 결과에 얼마나 큰 영향을 미치는지 보여주었습니다. 

과제: 모델에게 한 가지 사실 가르치기 

우리는 모델이 다음과 같은 질문에 지속적으로 답할 수 있도록 하는 데 중점을 두었습니다. 

"스코픽은 언제, 누구에 의해 설립되었나요?" 

처음에는 제한된 수의 직접적인 진술만 만들었지만, 모델의 응답은 모호하거나 부정확했습니다. 일관성을 높이기 위해 동일한 사실을 다양한 맥락, 형식, 표현에 적용한 20개 이상의 훈련 사례를 생성했습니다. 

여기에는 다음이 포함됩니다. 

• 선언적 진술 
• Q&A 쌍 
• 다양한 어순을 가진 문장 
• 사실이 간접적으로 또는 서사의 일부로 나타난 경우 

이것이 왜 필요했는가 

이러한 변화가 없으면 모델은 환각을 보거나, 새로운 지식을 무시하거나, 일반적인 답변으로 돌아가는 경향이 있었습니다. 이 실험은 중요한 통찰력을 강화했습니다. 

"성공적인 학습을 위해서는 정확한 정보를 제공하는 것 이상이 필요합니다. 모델이 단순히 문구를 암기하는 것이 아니라 패턴을 이해할 수 있도록 다양한 맥락과 형식으로 데이터를 제공해야 합니다."백서, 섹션 5.1.1) 

과적합 위험 

작은 모델은 특히 과적합(overfitting)에 취약했습니다. 신중하게 균형 잡힌 데이터 세트와 제어된 학습 매개변수가 없다면, 모델은 다음과 같은 결과를 낳을 수 있습니다. 

• 문구를 너무 좁게 암기했습니다 
• 다른 형식으로 물었을 때 완전히 잊어버렸습니다. 

이 단계에서는 다음이 강조되었습니다. 데이터 준비는 단순한 설정 단계가 아닙니다. – 실제 적응 작업의 대부분이 이곳에서 이루어지는데, 특히 컴퓨팅이 제한적이고 규모가 작은 모델로 작업할 때 그렇습니다. 

자원 의식 파이프라인에서 얻은 교훈 

제약이 있는 인프라와 간소한 데이터 세트를 사용하여 작업한 결과, 저희의 접근 방식을 형성하는 데 도움이 되는 몇 가지 주요 통찰력이 드러났으며, 이는 예산에 맞춰 LLM 적용을 고려하는 다른 사람들에게 도움이 될 수 있습니다. 

결론: 린을 구축할 때 무엇을 구축해야 할까? 

LLM 모델을 미세 조정하는 방법이 궁금하다면, 그것이 가능하다는 사실부터 알아두세요. 하지만 항상 올바른 선택은 아니라는 사실도 알아두세요.  

당사의 내부 실험 결과, LoRA와 같은 방법을 사용하면 모델 적응이 더 쉬워지지만 이 프로세스에는 여전히 신중한 계획, 구조화된 데이터, 상당한 컴퓨팅이 필요하다는 사실이 드러났습니다. 

대부분의 경우, 특히 중소 규모 팀의 경우, 상용 LLM과 RAG를 병행하는 것이 더 실용적인 방법입니다. 이 접근 방식은 교육 인프라 관리 부담 없이 유연성, 낮은 초기 비용, 그리고 빠른 반복 학습을 제공합니다. 

미세 조정은 다음과 같은 시나리오에만 적용해야 합니다. 

• 프롬프트나 검색을 통해 충족할 수 없는 도메인별 요구 사항이 있습니다. 
• 민감한 데이터를 제어하고 전체 모델 소유권이 필요합니다. 
• 사용자 정의 모델을 유지 관리하고 모니터링할 수 있는 엔지니어링 역량이 있습니다. 

그렇지 않으면 상업적 LLM 및 RAG 언어 지능을 보다 빠르고 효율적으로 배포하고, 정말 필요할 때 세부 조정을 수행할 수 있는 방법을 제공합니다. 

모델 비교, GPU 가격, 학습 결과 및 두 단계의 주요 내용을 전체적으로 알고 싶으신가요? 

Or 무료 상담 예약 귀사의 LLM 전략을 어떻게 지원할 수 있는지 확인해 보세요.