패스트캠퍼스 환급챌린지 21일차 : 테디노트의 RAG 비법노트 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

 

Ch6. 모델(Model)

 

01. RAG에서의 LLM(Large Language Model)

Document Load → Text Split → Embedding → Vector DB → Retriever → Prompt → LLM → Output Parser

 LLM 단계는 RAG 시스템의 일곱 번째 단계. 이전 프롬프트 단계에서 구성된 입력을 기반으로 대규모 언어 모델을 활용하여 응답을 생성하는 과정을 말합니다. 이 단계는 RAG 시스템의 핵심적인 부분으로, 언어 모델의 능력을 최대한 활용하여 사용자의 질문에 대해 정확하고 자연스러운 답변을 생성합니다.

 

LLM의 필요성

• 사용자의 의도 이해 : LLM은 다양한 언어의 구조와 의미를 깊이 이해하고 있으며, 이를 바탕으로 복잡한 질문에 답변 가능. 자연어 이해(NLU)와 자연어 생성(NLG) 능력이 결합되어, 보다 자연스럽고 유익한 응답 제공 가능
• 문맥적 적용성 : LLM은 주어진 문맥을 고려하여 응답을 생성. 이는 사용자의 질문에 더욱 정확하게 대응할 수 있음. 사전학습된 지식의 사용자가 제공한 정보에 기반한 답변을 문맥을 참고하여 답변하도록 함.

LLM의 중요성

- LLM단계는 사용자의 질문에 대한 답변의 질과 자연스러움을 결정짓는 핵심요소.

- 이 단계에서 LLM은 지금까지의 모든 데이터와 정보를 종합하여 사용자의 질문에 최적화된 답변 생성

- LLM의 성능은 RAG 시스템의 전체적인 성능과 사용자 만족도에 직접적으로 영향을 미치며, 이는 RAG 시스템을 사용하는 많은 응용 분야에서 매우 중요한 역할을 함.

 

LLM 단계에서 중요한 핵심 3가지

• 문맥 반영 능력(Contextual Generation)
  - 벡터 DB에서 검색된 정보(context)를 정확히 반영하는 능력이 중요
  - 충분한 규모의 모델일수록 hallucination(지어내기)을 줄이고 문맥을 잘 따름.
• 모델 규모(Model Size)의 중요성
  - 같은 RAG 파이프라인을 써도 LLM 크기(7B, 13B, 70B 등)에 따라 성능이 달라짐.
  - 문맥을 얼마나 깊게 이해하고 조합하느냐는 결국 모델 파라미터 수와 관련됨.
• 프롬프트 품질과의 상호작용
  - LLM 단계의 품질은 프롬프트 단계에 직접 의존.
  - 'context를 참고하여 답해줘'와 같은 명확한 지시가 중요.

LLM 단계에서 발생할 수 있는 대표적인 문제

• Hallucination: context와 상관없는 내용을 지어내는 문제
• Context over-reliance: 너무 context만 따르게 해서 지나치게 제한된 답변
• Context under-utilization: context를 제대로 반영하지 않는 경우
  → 이런 문제들은 LLM 자체 성능, 프롬프트 구조, Retrieval 품질 모두와 연결됨.

 

---

 오늘은 RAG(Retrieval-Augmented Generation) 파이프라인에서 LLM(Large Language Model) 단계가 어떤 역할을 하는지 집중적으로 학습했어요. RAG의 일곱 번째 단계인 LLM 단계는 지금까지 준비된 모든 정보를 바탕으로 실제 답변을 생성하는 핵심 구간을 의미하죠! 앞선 단계에서 문서를 불러오고(text load), 청크로 나누고(split), 임베딩을 만들고(embedding), 벡터 DB로 저장한 뒤(retrieval), 프롬프트까지 구성했다면, LLM은 이 모든 과정을 마지막에 하나로 모아 사용자의 질문에 대한 최종 답변을 만들어냅니다. 
 LLM이 중요한 이유는 단순히 자연어로 문장을 만드는 기능 때문이 아니라, 사용자의 의도 파악 + 문맥 반영 + 자연스러운 답변 생성이라는 세 가지 요소를 동시에 수행할 수 있기 때문입니다. 대규모 사전학습 과정에서 다양한 언어 패턴을 습득한 덕분에 복잡한 질문도 이해하고, 검색된 문맥(context)을 활용하여 사실 기반의 답변을 만들어낼 수 있어요!! 이 능력이 바로 RAG가 ‘최신 정보 기반의 AI 응답’을 제공할 수 있는 비결이라고 할 수 있죠. RAG 시스템을 구성할 때 LLM을 단순한 생성기(generator)가 아니라 모든 단계를 종합해 답변을 완성하는 최종 의사결정자로 바라봐야 한다는 거예요. 실컷 물어봐놓고 '이거 맞아? 이게 답 맞아?'를 수없이 반복하며 의심했던 나 자신.... 이제 RAG를 동반자 삼아... 업무 효율을 강화해 볼게요!!

 

커리어 성장을 위한 최고의 실무교육 아카데미 | 패스트캠퍼스