임베딩1

• 

  Python으로 검색 엔진 성능 비교하기: FAISS vs ChromaDB SentenceTransformer와 FAISS 및 ChromaDB를 활용한 임베딩 검색 성능 비교 이번 글에서는 문장을 벡터(임베딩)로 변환하여 검색하는 두 가지 도구인 FAISS와 ChromaDB를 활용한 검색 성능 비교를 진행하였다. 두 도구를 활용해 검색 속도와 초기 설정 시간 등을 벤치마킹하고, 이를 바탕으로 어떤 상황에서 어떤 도구를 선택해야 하는지 판단할 수 있도록 하였다.이 글에서는 벤치마크를 진행한 코드의 세부 내용과 각 라이브러리의 특징, 사용 방법을 다룬다.  주요 코드 설명1. 임베딩 준비문장을 벡터로 변환하기 위해 SentenceTransformer 모델을 사용하였다.from sentence_transformers import SentenceTransformerclass Searc.. AI 2024. 12. 26.