패스트캠퍼스 환급챌린지 31일차 : 테디노트의 RAG 비법노트 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

 

벡터스토어(Vector Store) 저장

벡터스토어(Vector Store)는 임베딩 벡터를 저장하는 공간.

저장하는 공간 자체가 검색을 수행하는 건 아니기 때문에 저장하는 공간에 따라서 검색 성능에 차이가 생기지는 않음.

→ 실제 검색 성능을 좌우하는 것
    - 임베딩 모델의 품질
    - 거리 계산 방식
    - Retriever 설정
⇒ 즉, 어디에 저장하느냐보다 어떻게 임베딩하고 검색하느냐가 더 중요

멀티모달 검색

여러 양식의 데이터를 포함하고 쿼리할 수 있는 컬렉션을 지원

텍스트 + 이미지 + 오디오 등 서로 다른 형태의 데이터도 같은 벡터 공간에 저장

⇒ 향후 RAG 확장(문서 + 이미지 QA)과 매우 밀접

Pinecone

Pinecone은 고성능 벡터 데이터베이스로, AI 및 머신러닝 애플리케이션을 위한 효율적인 벡터 저장 및 검색 솔루션

> 장점

• 확장성 : 대규모 데이터셋에 대해 뛰어난 확장성을 제공함
• 관리 용이성 : 완전 관리형 서비스로, 인프라 관리 부담이 적음
• 실시간 업데이트 : 데이터의 실시간 삽입, 업데이트, 삭제 가능
• 고가용성 : 클라우드 기반으로 높은 가용성과 내구성을 제공함
• API 친화적 : RESTful/Python API를 통해 쉽게 통합할 수 있음

> 단점

• 비용 : Chroma나 Faiss에 비해 상대적으로 비용이 높을 수 있음
• 커스터마이징 제한 : 완전 관리형 서비스이기 때문에 세부적인 커스터마이징 제한이 있을 수 있음
• 데이터 위치 : 클라우드에 데이터를 저장해야 하므로, 데이터 주권 문제가 있을 수 있음

Chroma나 FAISS  vs  Pinecone

- Chroma/FAISS는 오픈소스이며 로컬에서 실행 가능하여 초기 비용이 낮고 데이터 제어가 용이함.

- 커스터마이징의 자유도가 높음

- 대규모 확장성 면에서는  Pinecone에 비해 제한적일 수 있음

 

⇒ Vector Store는 기억 창고이고, Retriever는 기억을 꺼내오는 방식을 의미.

---

오늘은 RAG 시스템에서 임베딩된 데이터를 저장하는 공간인 Vector Store 에 대해 학습했습니다. 벡터 스토어는 문서 분할과 임베딩 단계를 거쳐 생성된 숫자 벡터들을 저장하는 역할을 하며, 이후 사용자의 질문(Query)이 들어왔을 때 검색 대상이 되는 핵심 저장소라고 할 수 있죠. 여기서 중요한 점은, 벡터스토어 자체가 검색 알고리즘을 결정하는 것은 아니라는 겁니다. 벡터스토어는 어디까지나 '저장 공간'이고, 실제 검색 성능은 임베딩 모델의 품질, 유사도 계산 방식, Retriever 설정에 의해 크게 좌우됩니다. 즉, Pinecone을 쓴다고 해서 검색 품질이 좋아지는 것으 아니고, FAISS나 Chroma를 사용하더라도 적절한 임베딩과 검색 전략이 있다면 충분히 좋은 성능을 낼 수 있다는 것입니다. 또한, 벡터 스토어는 멀티모달 검색을 지원할 수 있다는 점에서 확장성이 큽니다. 텍스트뿐만 아니라 이미지, 오디오 등 다양한 형태의 데이터를 각각 임베딩한 뒤 같은 벡터 공간에 저장하면 서로 다른 데이터 타입 간의 의미적 유사도 검색도 가능해집니다. 이는 향후에 문서와 이미지 기반 QA 같은 고급 RAG 시스템으로 확장할 수 있는 기반이 되죠! 오늘 강의를 통해 느낀 점은, 벡터스토어 선택은 성능의 문제라기보다 서비스 규모와 목적에 맞는 설계 선택의 문제라는 것을 알 수 있었습니다. RAG 시스템에서 벡터스토어는 단순 저장소를 넘어, 이후 검색 전략과 확장성을 결정짓는 중요한 구성 요소라는 점을 다시 한 번 알 수 있었어요.

 

 

 

커리어 성장을 위한 최고의 실무교육 아카데미 | 패스트캠퍼스