패스트캠퍼스 환급챌린지 29일차 : 테디노트의 RAG 비법노트 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

 

텍스트 분할(Text Splitter)

• 분할의 필요성
  - 핀포인트 정보 검색(정확성) : 문서를 세분화함으로써 질문(Query)에 연관성이 있는 정보만 가져오는데 도움이 됨. 각각의 단위는 특정 주제나 내용에 초점을 맞추기 때문에 관련성이 높은 정보를 제공함
  - 리소스 최적화(효율성) : 전체 문서를 LLM으로 입력하게 되면 비용이 많이 발생할 뿐더러, 효율적인 답변을 많은 정보속에 발췌하여 답변하지 못하게 됨. 때로는 이러한 문제가 할루시네이션으로 이어지게 됨.
• 문서분할 과정
  1. 문서 구조 파악 : PDF 파일, 웹 페이지, 전자 책 등 다양한 형식의 문서에서 구조를 파악함 
  2. 단위 선정 : 문서를 어떤 단위로 나눌지 결정
  3. 단위 크기 선정(chunk size) : 문서를 몇 개의 토큰 단위로 나눌 것인지 정함
  4. 청크 오버랩(chunk overlap) : 분할된 끝 부분에서 맥락이 이어질 수 있도록 일부를 겹쳐서(overlap) 분할

CharacterTextSplitter

"\n\n" 을 기준으로 문자 단위로 텍스트를 분할하고, 청크의 크기를 문자 수로 측정.

• 텍스트 분할 방식 : 단일 문자 기준
• 청크 크기 측정 방식 : 문자 수 기준

> Chunk Size를 무작정 크게 하면 안되는 이유

• Chunk Size가 너무 큰 경우
  → 검색 정확도 하락
  → 질문과 직접 관련 없는 내용까지 함께 들어옴
• Chunk Size가 너무 작은 경우
  → 문맥이 끊어짐
  → 답변이 단편적으로 변함

⇒ 보통 300~1000 토큰 범위에서 실험적으로 조정함.

 

> Chunk Overlap의 장점과 주의점

장점

• 문맥 단절 방지
• 문단 경계에서 정보 손실 방지

단점

• 같은 내용이 반복 저장됨
  → VectorDB 용량 증가
  → 검색 결과 중복 발생 가능

⇒ 일반적으로 10~20% 수준의 overlap이 가장 많이 사용됨

 

> RecursiveCharacterTextSplitter의 의미

• \n\n → \n →  . → 공백 순서로 가장 자연스럽게 쪼개질 수 있는 지점을 자동 탐색
• 문장·문단 구조를 최대한 유지하면서 분할됨

⇒ RAG에서 가장 많이 사용되는 Splitter

 

> Text Splitter는 RAG 품질을 직접적으로 좌우함

• 검색 정확도
• 답변의 디테일
• 할루시네이션 발생률

---

오늘은 RAG 시스템에서 중요한 단계 중 하나인 Text Splitter에 대해 학습했습니다. 문서를 그대로 LLM에 입력하는 것이 아니라, 작은 단위의 Chunk로 나누어 처리하는 과정이 왜 중요한지와, 이 설정이 검색정확도와 비용, 답변 품질에 어떤 영향을 주는지까지 이해할 수 있었어요.

텍스트 분할이 필요한 첫번째 이유는 정확한 핀포인트 검색이라는 거죠. 하나의 문서는 여러 주제와 정보를 동시에 포함하고 있기 때문에, 이를 작은 단위로 나누지 않으면 질문과 직접 관련 없는 정보까지 함께 검색되기 쉬워요. 반면, 적절한 크기의 청크로 나누면 질문에 가장 가까운 정보만 가져올 수 있어 검색 정확도와 답변 신뢰도가 함께 향상된다고 합니다. 

두 번째 이유는 리소스 최적화 입니다. 전체 문서를 그대로 LLM에 입력하게 되면 토큰 비용이 급격하게 증가하고, 모델이 핵심 정보를 선별하기 어려워 집니다. 이로 인해 비효율적인 답변이나 할루시네이션이 발생할 가능성 또한 커지는 거죠. 

결국! Text Split은 비용 절감과 답변 품질 개선까지 동시에 만족시킬 수 있는 핵심 단계라는 겁니다. 문서를 어떻게 쪼개느냐에 따라 검색 결과, 답변의 정확도, 비용, 속도까지 모두 달라진다는 점이 꽤 인상적이었어요. 앞으로 RAG 시스템을 직접 만들게 된다면....무작정 기본값을 쓰는 것 보다 데이터 특성에 맞는 Split  전략을 직접 튜닝하는 것이 필수겠어요!!

 

매일 조금씩이라도 꼭 수업을 들으니까 공부하는 습관을 들이게 된 것 같아요. 지난주에 중간미션까지 했으니, 이제 반은 지나왔네요. 남은 기간동안도 열심히 해볼게요!! 역시 미션 수행을 위해 의무적으로 하니까 꾸준히 학습을 이어나가게 되어, 이 챌린지에 참여한게 꽤 잘 한 일이라는 생각이 많이 드는 요즘입니다. 곧 시험도 예정되어 있어서 공부해야하는데, 이 흐름 이어서 그 시험 준비도 열심히 해볼게요!! 

 

 

 

커리어 성장을 위한 최고의 실무교육 아카데미 | 패스트캠퍼스