LLM(2) Hybrid Search(하이브리드 서치)란?

주얼리 명품 브랜드 사용자 반응을 분석하는 데이터 분석 프로젝트를 했다.
 
프로젝트를 진행하면서 주얼리의 명칭이 매우 다양하게 사용된다는 점을 발견했다. 예를 들어, 반클리프 아펠(Van Cleef & Arpels)의 알함브라(Alhambra) 라인만 하더라도 ‘5모티브’, ‘모티브’, ‘스윗’, ‘빈티지’ 등 세공 기법이나 팬던트 수, 크기에 따라 같은 라인임에도 서로 다른 이름으로 불리고 있었다. 하지만 이들은 모두 동일한 ‘반클리프 아펠의 알함브라 라인’을 의미하므로, 명칭을 통일하는 과정이 필요했다. 이때 활용한 기술이 바로 Hybrid Search(하이브리드 서치)이다.
 
하이브리드 서치는 단어의 정확한 일치뿐 아니라 의미적 유사성까지 함께 고려하는 검색 방식이다.
 
예를 들어, 사용자 게시글에 ‘모티브’라는 단어가 등장하면 사용자 사전에 등록된 키워드와 정확히 매칭되어 ‘알함브라’로 정규화되고, ‘모팁’처럼 철자가 조금 다르지만 의미적으로 유사한 단어 역시 의미 기반 검색을 통해 ‘알함브라’로 연결된다.
 
즉, 하이브리드 서치를 통해 단어의 형태와 의미를 모두 고려하여 동일한 개념을 하나의 표준 명칭으로 통합하는 것이 핵심이었다.
프로세스는 다음과 같은 순서로 진행했다.
 
 

---

💎 Hybrid Search로 주얼리 명칭 통합하기 

1️⃣ 명칭 정규화의 필요 

• 5모티브, 모티브, 스윗 알함브라, 빈티지 => 모두 '알함브라' 라인을 지칭
• “명칭이 다르지만 같은 개념”을 인식하기 위한 접근 필요

2️⃣ 상호 보완의 검색 방식 필요

• 정확 일치 기반 검색(Keyword Search) - '모티브'를 보고 알함브라를 찾아냄
  • 장점: 빠름, 명확함
  • 단점: 오타, 변형어, 유사어를 인식하지 못함
• 의미 기반 검색(Semantic Search) - '모팁'을 보고 의미적 유사성을 참고, 알함브라를 찾아냄
  • 장점: 단어 의미를 고려
  • 단점: 정확히 일치해야 하는 검색에는 부적합

3️⃣ Hybrid Search란?

• 두 가지 이상의 검색 기술이나 방법론을 결합하여 검색 결과의 정확도와 포괄성을 동시에 높이는 정보 검색 전략
• 주로 두가지 상반된 검색 방식의 장점을 통합하는 형태로 구현
• 키워드 기반 검색(Lexical Search)  + 시멘틱 검색(Sementic Search)
• 즉 사용자가 입력한 정확한 단어가 문서에 얼마나 자주, 어디에 나타났는지 (키워드 기반 검색)
• 검색어와 문서를 의미론적 유사성을 기반으로 비교해서 의미적 관련이 높으면 결과를 반환 (시멘틱 검색) 을 혼용
• 키워드 검색과 시멘틱 검색을 동시에 수행한 다음, 이 두 검색 결과의 순위를 하나로 통합하여 최종 결과를 제시
  1. 동시 검색 : 키워드 검색 엔진과 벡터 검색 엔진이 각각의 방식으로 결과를 찾음
  2. 순위 융합 : 각각의 검색 결과에서 나온 문서들의 순위와 점수를 하나의 종합 순위로 합침 

4️⃣ 구현 과정

• 데이터 정제
  • 주얼리 명칭, 라인, 브랜드 데이터를 구조화
  • 사용자 사전(User Dictionary) 구축
• 벡터화(Embedding)
  • Sentence Transformers, OpenAI Embedding 등 사용 
• 검색 로직
  • BM25로 키워드 기반 점수 계산
  • 벡터 검색으로 의미 유사도 계산
  • 두 점수를 가중합하여 최종 결과 산출

5️⃣ 결과 및 효과

• 서로 다른 명칭이 하나의 표준명으로 정규화됨

6️⃣ 요약하자면

• Hybrid Search는 “텍스트의 형태와 의미를 모두 이해하는 검색”
• 데이터 품질 관리나 브랜드 일관성 확보에 효과적