패스트캠퍼스 환급챌린지 22일차 : 테디노트의 RAG 비법노트 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

 

02. 다양한 LLM과 활용방법

 

LLM 옵션

•  temperature
  샘플링 온도를 설정하는 옵션으로, 값은 0과 2 사이에서 선택 할 수 있음. 
  높은 값(예:0.8)은 출력을 더 무작위하게 만들고, 낮은 값(예:0.2)은 출력을 더 집중되고 결정론적으로 만듦.
• max_tokens
  채팅 완성에서 생성할 토큰의 최대 개수 지정.
  이 옵션은 모델이 한 번에 생성할 수 있는 텍스트의 길이를 제어함.
• model_name
  적용 가능한 모델을 선택하는 옵션.

Anthropic 

: 인공지능(AI) 안전성과 연구에 중점을 둔 미국의 스타트업 기업.

• Claude : Claude는 Anthropic사의 대표적인 대규모 언어 모델(LLM) 제품군

Perplexity

Together AI

: Together AI는 2022년 샌프란시스코에서 설립된 생성형 AI 클라우드 플랫폼 회사

• Together Inference
  - 업계에서 가장 빠른 추론 스택을 제공하며, vLLM 보다 최대 4배 빠른 성능을 보임
  - Llama-3 70B 사용 시 GPT-4 대비 11배 낮은 비용으로 운영 가능
  - 자동 확장 기능으로 API 요청 볼륨에 맞춰 용량이 자동으로 조정됨
• Together Custom Models
  - 사용자 맞춤형 AI 모델 학습 및 Fine-tuning 지원
  - FlashAttentio-3와 같은 최신 최적화 기술 적용
  - 학습된 모델에 대한 완전한 소유권 보장

Cohere

:Cohere는 기업용 인공지능 솔루션을 제공하는 선도적인 AI 기업으로, 대규모 언어 모델(LLM)을 개발하여 기업들이 AI 기술을 쉽게 도입하고 활용할 수 있도록 도움.

• Command R+
  - 기업용으로 최적화된 Cohere의 최신 LLM
• Aya
  - Cohere의 비영리 연구소인 Cohere for AI에서 개발한 오픈소스 다국어 LLM

Upstage

: Upstage는 인공지능(AI) 기술, 특히 대규모 언어 모델(LLM)과 문서 AI 분야에 특화된 국내 스타트업

• Solar LLM
  - Upstage의 주력 대규모 언어 모델로, 빠른 성능과 비용 효율성으로 주목받고 있음.
• Document AI Pack
  - OCR 기술을 기반으로 한 문서 처리 솔루션으로, 복잡한 문서에서 필요한 내용을 정확히 추출하고 디지털화
• AskUp Seargest
  - 개인화된 검색 및 추천 서비스를 제공하며, 기존의 ChatGPT 통합 무료 챗봇 AskUp의 업그레이드 버전.

Xionic

: 사이오닉에이아이(Sionic AI)는 대한민국의 유망한 인공지능 스타트업으로, 기업용 생성형 AI 솔루션을 개발하고 있음.

• STORM Platform
  기업이 생성형 AI를 기술적 고민 없이 바로 적용할 수 있도록 하는 플랫폼
• STORM Answer 
  기업에 최적화된 생성형 AI 솔루션으로 비즈니스 생산성 향상을 목표로 함
• Xionic 
  상업적 이용이 가능한 라이센스의 한국어 AI 모델

LogicKor

: 한국어 언어 모델의 다분야 사고력을 평가하기 위해 만들어진 벤치마크 리더보드.

 

 

주요 LLM 제공업체 및 특징 정리표

모델/기업명	주요 특징	강점 요약
Anthropic Claude	긴 문맥 처리, 높은 신뢰도, 안정성 중심 설계	> 초장문 처리 능력 > 윤리·안전성 우수
Perplexity	검색 기반 모델, RAG 내장형 구조, 실시간 정보 활용	> 최신 정보 반영 > 검색 기반 정확도 강점
Together Inference	초저비용, 초고속 추론 스택, 자동 확장 기능	> 비용 효율 최고 > 초고속 추론
Cohere Command R+	기업용 환경 최적화, RAG 특화 아키텍처	> 엔터프라이즈 맞춤형 > 안정적 검색·질의 처리
Upstage Solar LLM	한국어 특화, 빠른 성능, 높은 비용 효율	> 한국어 최강자 > 문서 AI·OCR 강점
Xionic	국산 모델, 상업적 이용 자유도 높음, 기업 솔루션 중심	> 라이선스 자유도 높음 > 기업 업무 자동화 적합

 

---

오늘은 LLM을 사용할 때 반드시 알아야 하는 핵심 옵션들(temperature, max_tokens, model_name)과, 실제로 활용 가능한 다양한 모델들에 대해 알 수 있었어요. 단순히 하나의 모델만 사용하는 시대가 아니라, 목적에 따라 LLM을 선택하는 능력이 점점 더 중요해지고 있고, 종류가 생각보다 더 다양하다는걸 알게됐어요!! 잘 알아뒀다가 활용해야겠어요!!

 

 

커리어 성장을 위한 최고의 실무교육 아카데미 | 패스트캠퍼스