더하기

주얼리 명품 브랜드 사용자 반응을 분석하는 데이터 분석 프로젝트를 했다. 프로젝트를 진행하면서 주얼리의 명칭이 매우 다양하게 사용된다는 점을 발견했다. 예를 들어, 반클리프 아펠(Van Cleef & Arpels)의 알함브라(Alhambra) 라인만 하더라도 ‘5모티브’, ‘모티브’, ‘스윗’, ‘빈티지’ 등 세공 기법이나 팬던트 수, 크기에 따라 같은 라인임에도 서로 다른 이름으로 불리고 있었다. 하지만 이들은 모두 동일한 ‘반클리프 아펠의 알함브라 라인’을 의미하므로, 명칭을 통일하는 과정이 필요했다. 이때 활용한 기술이 바로 Hybrid Search(하이브리드 서치)이다. 하이브리드 서치는 단어의 정확한 일치뿐 아니라 의미적 유사성까지 함께 고려하는 검색 방식이다. 예를 들어, 사용자 게시글에 ‘모..

LLM RAG 로직을 생성한 코드를 가져왔다.코드 블록으로 단계별 이해를 해보려 한다.단, 코드가 하도 길어 다음 흐름도 기준 1번부터 3번까지만 현재 포스팅으로 담아보았다.4 ~ 6번은 다음시간에! [코드 블록별 구조화]관련 라이브러리 import초기 설정 및 데이터 로드RAG 관련 함수------ 여기까지만 ----------구조화된 답변을 출력하기 위한 pydantic 모델 정의비동기 분석 및 검증 로직메인 실행 블록 1. 관련 라이브러리 importimport osimport asynciofrom dotenv import load_dotenvimport pandas as pdfrom typing import List# LangChain 및 Pydantic 관련 라이브러리from langchain..

RAG(Retrieval-Augmented-Genera란?대규모 언어 모델이 응답을 생성하기 전에 외부 지식 베이스에서 관련 정보를 검색하여 그 내용을 바탕으로 답변을 생성하는 AI 프레임 워크이다. 즉 신뢰할 수 있는 지식소스를 참조하여 정확도 높은 답변을 제공하는데 주력한다. 사용예시명품 주얼리 브랜드와 라인은 다양한 약어와 비표준어로 불려지는데 (EX 오닉스5는 반클리프의 알함브라 라인) LLM은 이런 비정형 텍스트 정보를 학습하지 않아, Hallucination(환각) 즉 존재하지 않는 거짓 정보를 만들어내 응답하는 오류를 범하기 쉽다.RAG(검색 증강 생성) 이 문제를 해결한다. RAG는 사용자의 질문과 관련된 정확한 정보를 외부 지식 베이스에서 ‘검색’한 후, 이 검색된 문서(소스)를 LLM에..

Folium이란?python에서 지도를 생성하고 시각화하기 위한 라이브러리이다. 파이썬 코드만으로 인터페이스형 지도를 쉽게 만들 수 있는 장점이 있다.즉 지도 위에 다양한 마커와 레이어를 추가하여 풍부한 정보를 표현할 수 있게 해준다. (출처 : 위키독스) Folium을 활용한 여행루트 시각화다가오는 익산 여행을 위해 여행지와 경로를 시각화 해보고자 한다. (1) 라이브러리 불러오기import foliumfrom folium.plugins import BeautifyIconfrom IPython.display import displayfolium : 지도 위에 마커, 경로, 영역 등을 표시할 수 있는 라이브러리BeautifyIcon : folium 기본 마커 대신, 숫자나 색상으로 꾸민 마커를 만들 수..

데이터분석을 할 때 가장 많이 사용한 툴 Visual Studio Code 이다.컴퓨터는 0,1 밖에 몰라서 컴퓨터와 소통하기 위한 번역기 프로그램이라고 하면 이해하기 쉬울 것 같다. 데이터 분석을 위한 초기 세팅 과정을 나열해보려고 한다.Visual Studio Code란?마이크로소프트에서 개발한 코드 편집이 가능한 에디터(IDE, Intergrated Development Environment) 이다. python 언어로 코드 작성 시 문법에 맞게 색상으로 구분해주는 사용자 편의성을 가지고 있다.코드 작성, 실행, 디버깅, 버전 관리, 자동완성 등을 한 툴안에서 제공하는 똑똑한 친구이다.설치는 다음 링크에서 쉽게 할 수 있다. (설치는 여기서 자신의 운영체제에 맞게 )이때 Add Python to P..