여러 AI를 함께 쓸 때, 어떤 모델을 선택해야 할까?
멀티 LLM 시대, 어떤 AI 모델을 써야 할까? 비용과 성능을 함께 최적화하는 방법
하나의 AI 모델만 사용하는 시대에서 여러 LLM을 목적에 따라 선택하는 시대로 넘어가고 있습니다. 간단한 이메일 작성에는 빠르고 저렴한 모델을 사용하고, 복잡한 분석이나 전문적인 업무에는 고성능 모델을 사용하는 방식입니다.
지난 8월 26일 진행된 AI 웨비나에서도 “업무에 따라 모델을 어떻게 선택해야 하는가”, “사용자가 직접 모델을 선택하지 않아도 되는가”와 같은 질문이 나왔습니다.
Q. 저비용 모델을 사용해도 되는 업무와 고성능 모델을 사용해야 하는 업무는 어떻게 구분하나요?
모델의 가격만 보고 결정하기보다는 업무의 중요도와 오류가 발생했을 때의 비용을 기준으로 판단하는 것이 좋습니다. 예를 들어 이메일 초안 작성, 단순 요약, 형식 변환처럼 결과에 일부 오류가 발생하더라도 업무 전체에 큰 영향을 주지 않는 작업이라면 상대적으로 가벼운 모델을 사용할 수 있습니다.
반대로 계약서 검토나 중요한 의사결정 지원, 복잡한 데이터 분석처럼 결과의 정확성이 중요한 업무라면 고성능 모델을 사용하는 것이 적절합니다. 결국 모델 선택의 기준은 업무 중요도, 정확도 요구 수준, 오류 발생 시 비용입니다.
Q. 사용자가 매번 모델을 직접 선택하지 않아도 되나요?
현재 Runyour Agent에서는 업무 성격에 따라 사용할 수 있도록 모델을 등급별로 구분해 제공하고 있습니다. 단순 반복 업무에 적합한 실용 모델부터 표준적인 업무를 위한 일반 모델, 복잡한 분석을 위한 프로 모델까지 목적에 맞는 모델을 선택할 수 있습니다.
여기에 더해 사용자의 요청을 분석하고 업무에 적합한 모델을 자동으로 선택하는 스마트 라우팅 기능도 준비하고 있습니다. 스마트 라우팅이 적용되면 사용자가 “어떤 모델을 써야 하지?”를 매번 고민하지 않아도 업무의 성격에 맞춰 적절한 모델을 선택할 수 있게 됩니다.
Q. 새로운 LLM을 추가할 때 기존 시스템을 모두 수정해야 하나요?
멀티 LLM 환경에서는 특정 모델이나 프로바이더에 시스템이 종속되지 않도록 구성하는 것이 중요합니다. 현재 ChatGPT나 Claude를 데스크톱 환경에서 사용하고 있다면 Custom Provider 설정을 통해 Runyour AI를 추가해 기존 환경에서 새로운 모델을 연결하는 방식을 사용할 수 있습니다.
내부적으로 Claude Code와 Codex 환경에서 연동 테스트도 완료되었습니다. 이러한 구조는 기업 입장에서 특정 LLM에 종속되지 않고 새로운 모델이 등장했을 때 비교적 유연하게 도입할 수 있다는 장점이 있습니다.
모델이 많아질수록 ‘선택’보다 ‘관리’가 중요해집니다
여러 모델을 사용할 수 있다는 것만으로 멀티 LLM 전략이 완성되는 것은 아닙니다. 실제로는 업무별로 적절한 모델을 선택하고, 비용을 관리하며, 새로운 모델이 등장했을 때 기존 시스템에 무리 없이 적용할 수 있는 운영 구조가 필요합니다.
즉 멀티 LLM의 핵심은 모델을 많이 확보하는 것이 아니라 필요한 업무에 필요한 모델을 적절하게 연결하는 것입니다.
다음 4편에서는 AI 활용이 한 단계 더 발전했을 때 등장하는 ‘AI 에이전트의 자율성’을 다룹니다. AI가 단순히 답변하는 것을 넘어 실제 업무를 수행한다면, 어디까지 맡겨도 괜찮을까요?