패스트캠퍼스 환급챌린지 24일차 : 테디노트의 RAG 비법노트 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

 

11. Ollama 설치 및 Modelfile 설정

 

GGUF

GGUF와 GGML은 추론을 위한 모델을 저장하는 데 사용되는 파일 형식으로, 특히 GPT(Generative Pre-trained Transformer)와 같은 언어 모델의 맥락에서 사용됩니다.

 

GGML(GPT 생성 모델 언어) : 조지 게르가노프가 개발한 GGML은 머신 러닝을 위해 설계된 텐서 라이브러리로, Apple Silicon을 비롯한 다양한 하드웨어에서 대규모 모델과 고성능을 구현할 수 있도록 지원합니다.

 

장점

• 초기 혁신 : GGML은 GPT 모델을 위한 파일 형식을 만들려는 초기 시도
• 단일 파일 공유 : 단일 파일로 모델을 공유할 수 있어 편의성이 향상됨
• CPU 호환성 : GGML 모델은 CPU에서 실행할 수 있어 접근성이 더욱 넓어짐

단점

• 제한된 유연성 : GGML은 모델에 대한 추가 정보를 추가하는 데 어려움을 겪음
• 호환성 문제 : 새로운 기능 도입으로 인해 이전 모델과의 호환성 문제가 종종 발생함
• 수동 조정 필요 : 사용자가 자주 rope-freq-base, rope-freq-scale, gqa, rms-norm-eps와 같은 설정을 수정해야 했는데, 이는 복잡할 수 있음

GGML의(GPT 생성 모델 언어)의 후속으로 도입된 GGUF(GPT 생성 통합 형식)가 출시되었는데, 이 형식은 언어 모델 파일 형식 분야에서 중요한 진전을 이루었으며, GPT와 같은 대용량 언어 모델의 향상된 저장 및 처리를 용이하게 해춥니다. GGML의 창시자 게오르기 게르가노프를 비롯한 AI 커뮤니티의 기여자들이 개발한 GGUF는 독립적인 노력으로 보이지만 대규모 AI 모델의 요구사항에 부합하는 것입니다. Facebook(Meta)의 LLaMA(대규모 언어 모델 메타 AI) 모델과 관련된 컨텍스트에서 사용된다는 점은 AI 환경에서의 중요성을 강조합니다. 

 

장점

• GGML의 한계를 해결 : GGUF는 GGML의 단점을 극복하고 사용자 경험을 향상시키기 위해 설계됨
• 확장성 : 이전 모델과의 호환성을 유지하면서 새로운 기능을 추가할 수 있음
• 안정성 : GGUF는 급작스러운 변경을 없애고 최신 버전으로의 전환을 용이하게 하는 데 중점을 둠
• 다목적성 : 라마 모델의 범위를 넘어 다양한 모델을 지원함

단점

• 전환시간 : 기존 모델을 GGUF로 전환하려면 상당한 시간이 필요할 수 있음
• 적응 필요 : 사용자와 개발자는 이 새로운 형식에 익숙해져야함

Ollama

Ollama는 로컬 환경에서 대규모 언어 모델(LLM)을 쉽고 간편하게 실행할 수 있게 해주는 오픈소스 런타임 플랫폼입니다. Mac·Linux·Windows 환경에서 동작하며, 터미널 명령어 하나로 Llama, Mistral, Mixtral, Phi 등을 불러와 로컬에서 바로 챗봇을 실행할 수 있습니다.

Ollama가 지원하는 대부분의 모델은 GGUF 형식을 기반으로 합니다. GGML 시절에도 일부 모델을 실행했지만, 현재는 GGUF가 Ollama의 사실상 표준 포맷이 되었습니다. Ollama는 내부적으로 llama.cpp 기반으로 동작하는데, llama.cpp가 바로 GGUF를 개발한 커뮤니티(Georgi Gerganov) 중심으로 만들어집니다. 

 

장점

• ollama run llama2 같은 간단한 명령으로 모델 실행
• 모델 다운로드, 메모리 관리, 토큰화 등 모두 자동 처리
• GPU/CPU 자동 최적화
• macOS에서 특히 뛰어난 성능(Apple Silicon 최적화)
• LLM을 서버처럼 실행 가능(ollama serve, REST API 제공)

---

오늘은 로컬 환경에서 사용하는 언어 모델 파일 형식인 GGML과 GGUF를 정리하고, 이들과 밀접하게 연결된 로컬 LLM 플랫폼 Ollama에 대해 학습했습니다. GGML은 초기 실험적 포맷, GGUF는 현재 로컬 환경의 표준, Ollama는 GGUF 모델을 가장 손쉽게 실행할 수 있는 도구라는 것을 알게 됐습니다. 앞으로 로컬 RAG 프로젝트나 개인정보가 중요한 시스템을 구축할 때 GGUF + Ollama 조합은 아주 강력한 선택지가 될 것 같아요!!

 

커리어 성장을 위한 최고의 실무교육 아카데미 | 패스트캠퍼스