패스트캠퍼스 환급챌린지 32일차 : 테디노트의 RAG 비법노트 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

 

검색기(Retriever)

검색기 단계는 RAG 파이프라인의 다섯 번째 단계로, 저장된 벡터 데이터베이스에서 사용자의 질문과 관련된 문서를 검색하는 과정. 이 단계는 사용자 질문에 가장 적합한 정보를 신속하게 찾아내는 것이 목표이며, RAG 시스템의 전반적인 성능과 직결되는 매우중요한 과정.

 

검색기의 필요성

• 정확한 정보 제공
  검색기는 사용자의 질문과 가장 관련성 높은 정보를 검색하여, 시스템이 정확하고 유용한 답변을 생성할 수 있도록 함. 
• 응답 시간 단축
  효율적인 검색 알고리즘을 사용하여 데이터베이스에서 적절한 정보를 빠르게 검색함으로써, 전체적인 시스템 응답 시간을 단축시킴
• 최적화
  효과적인 검색 과정을 통해 필요한 정보만을 추출함으로써 시스템 자원의 사용을 최적화하고, 불필요한 데이터 처리를 줄일 수 있음

VectorStore 지원 검색기

- VectorStore 지원 검색기는 vector store를 사용하여 분서를 검색하는 retriever.

- VectorStore에 구현된 유사도 합격이나 MMR과 같은 검색 메서드를 활용하여 VectorStore 내의 텍스트를 쿼리함.

 

VectorStore에서 VectorStoreRetriever 초기화(as_retriever)

as_retriever 메서드는 VectorStore 객체를 기반으로 VectorStoreRetriever를 초기화하고 반환함.

이 메서드를 통해 다양한 검색 옵션을 설정하여 사용자의 요구에 맞는 문서 검색 수행.

 

Retreiver 주요 설정 옵션

• k : 몇 개의 문서를 가져올지
  → 너무 적으면 정보 부족, 너무 많으면 노이즈 증가
• Search_type
  
  • "similarity" : 가장 유사한 문서 위주
  • "mmr" : 관련성 + 다양성 균형
• Search_kwargs
  • fetch_k : MMR에서 후보군 크기
  • lambda_mult : 관련성 vs 다양성 비율 조절

Similarity Search vs MMR 차이

• Similarity Search
  - 가장 가까운 문서만 가져옴
  - 빠르고 직관적
  - 비슷한 내용이 반복될 가능성 있음
• MMR
  - 중복 제거 + 관점 다양화
  - 복합 질문, 요약, 분석형 질문에 유리
  - 연산 비용 더 발생

Max Marginal Relevance(MMR)

- MMR 방식은 쿼리에 대한 관련 항목을 검색할 때 검색된 문서의 중복을 피하는 방법 중 하나. 

- 단순히 가장 관련성 높은 항목들만을 검색하는 대신, MMR은 쿼리에 대한 문서의 관련성과 이미 선택된 문서들과의 차별성을 동시에 고려함

---

오늘은 RAG 파이프라인의 다섯 번째 단계인 검색기(Retriever)에 대해 학습했어요. Retriever는 벡터스토어에 저장된 임베딩 데이터 중 사용자의 질문(Query)과 가장 관련성 높은 문서를 찾아오는 역할을 합니다. 이 단계는 단순한 중간 과정이 아니라, RAG 시스템의 전반적인 성능과 답변 품질을 사실상 결정하는 매우 중요한 단계입니다! 

검색기의 가장 중요한 목적은 정확한 정보 제공 입니다. Retriever는 질문과 의미적으로 가장 유사한 문서 청크를 빠르게 찾아 LLM에게 전달함으로써, 모델이 근거 있는 답변을 생성할 수 있도록 돕죠. 만약 이 단계에서 관련 없는 문서가 선택된다면, 이후 단계의 LLM이 아무리 성능이 좋아도 정확한 답변을 기대하기 어렵습니다. 또한 Retriever는 응답 시간과 리소스 최적화에도 직접적인 영향을 줍니다. 전체 문서를 모두 LLM에 전달하는 대신, 필요한 정보만 선별해서 전달하기 때문에 토큰 사용량을 줄이고, 시스템 응답 속도를 크게 개선할 수 있습니다. 결국 Retriever는 얼마나 빠르고 정확하게 핵심 정보만 뽑아낼 수 있는가를 책임지는 컴포넌트라고 볼 수 있습니다. 

여기까지 학습하고 보니, RAG 시스템에서 문제의 원인을 LLM에서만 찾을 것이 아니라, 실제로는 Retriever 단계에서 이미 답변의 방향이 상당 부분 결정된다는 것을 알 수 있었어요. 앞으로 RAG 시스템을 설계할 때는 임베딩 모델뿐만 아니라, Retriever 설정과 검색 전략을 얼마나 잘 튜닝하는지가 핵심 경쟁력이 될 것 같아요. 

매일 이렇게 내용을 정리하고, 그때그때 깨달은 점을 정리하다보니 RAG에 대한 지식이 머릿속에 차곡차곡 쌓이는 것 같아 아주 뿌듯해요!! 2025년의 끝을 향해 달려가고 있네요..남은 기간 열심히 해서 새해에는 취업이라는 열매를 꼭 맺고싶습니다.

커리어 성장을 위한 최고의 실무교육 아카데미 | 패스트캠퍼스