bigkite

python에서 데이터베이스에 연결하기 위해서는 connector를 사용해야함. mysql에서는 pymysql, postgresql에서는 psycopg2가 대표적! 설치# pip을 이용하여 설치pip install psycopg2-binary연동방법연결(connection)변경(insert, delete, update)조회(select)해제(close, disconnection) 연결 - connect(), cursor()db와 연결하기 위해서는 connect() 메서드를 사용db와 연결이 되면, cursor()를 통해 연결에 대한 인스턴스를 생성하고 해당 인스턴스로 DB를 조작, cursor() : 실질적으로 DB에 쿼리문을 수행하고 결과를 가져오는 역할import psycopg2import panda..

Reranking 정의RAG가 생성한 후보 문서들에 대해 질문에 대한 관련성 및 일관성을 판단하여 문서의 우선 순위를 재정렬하는 것즉, 질문과 관련성 있는 문서들을 컨텍스트의 상위권에 위치시킴으로써, 답변의 정확도를 올리는 방법진행 방향w/o or w/ Filtered documentsLLM 활용 방법론(Utilizing LLMs as Unsupervised Rerankers)(1) Point-wise methods - (query,document) 쌍을 제공해서 LLM한테 (query, document) 가 얼마나 relevant한지 점수를 매기는 방법 a. relevance generation - 해당 쿼리와 문서가 관련이 있을 확률을 LLM이 generation 하도록 하는 방법- Holistic ..

# RAPTOR: 계층적 검색 트리로 검색 성능을 극대화하는 방법, 다중 문서를 활용해야할 때 유용! ⭐️1. 기존 RAG의 한계- 기존의 RAG(Retrieval-Augmented Generation) 시스템은 짧고 연속된 텍스트 청크만 검색하는데 집중함.- 이 때문에 대규모 문서의 전체적인 컨텍스트를 파악하는 데 한계가 있음. 이로 인해 질문에 충분한 답변을 생성하기 어려움. ➡️ RAPTOR는 이러한 문제를 해결하기 위해 텍스트를 재귀적으로 클러스터링하고 요약해 계층적 트리 구조를 만듦. 이로써 상위 수준과 하위 수준의 세부 정보까지 포함하는 검색 시스템을 구현함. 2. Main Idea  & Method- 기존 RAG 접근법은 상위 k개의 텍스트 청크에 의존해 문서의 주요 문맥을 포괄하지 못함.-..

Chain이란? 여러개의 LLM을 연결하여 LLM 애플리케이션을 개발할 수 있는 기능 Sequential Chain : 순차적인 실행뿐만 아니라 병렬로 LLM chain을 호출 예시 chain 1,2,3 → 각각 Prompt로 구현! chain1 = resume 전처리 chain2 = big question 생성 chain3 = big question에서 상관성 낮은 역량 6개 추출??? ( 선택된 핵심 역량) → 그런다음에 langchain의 **SequentialChain**으로 3개 묶어줌!! RouterChain : 입력값에 따라 chain을 선택해서 분기하는 것 Prompt 구성요소 지시(Instruction) | 모델에게 특정 작업이나 지시를 제공합니다.예시: "다음 문장을 번역해주세요." 문..