bigkite

💡 대규모의 데이터 처리시, 각 레코드 하나하나를 다루기는 쉽지 않음 → 대량의 데이터를 집계하고 몇가지 지표를 사용해 데이터 전체의 특징 파악하기! - 데이터 집약 : 평균, 최대 최소,,, 통계 지표 출력 → 윈도 함수를 사용해 순서를 고려하는 처리, 여러개의 레코드를 대상으로 하는 처리 - 데이터 가공 : 테이블 형식이 집계에 적합하지 않은 경우 어떻게 테이블을 가공해야 하는지! 1. 그룹의 특징 잡기 집약 함수 : 여러 레코드를 기반으로 하나의 값을 리턴하는 함수 ex) COUNT(), SUM() 테이블 전체의 특징량 계산하기 COUNT : 지정한 컬럼의 레코드 수 리턴 DISTINCT : 중복을 제외하고 수를 세워줌 SELECT COUNT(*) AS total_count , COUNT(DISTI..

- 컨텐츠 기반 필터링 - 협업 필터링 - 하이브리드 필터링 협업 필터링 vs 컨텐츠 필터링 "너가 좋아했던 그거, 그거 찾던 애들은 이것도 찾던데? " vs "너 그거 좋아했으니, 그거랑 비슷한 이것도 좋아할 거야!" 컨텐츠 기반 필터링(Contents - Based Filtering) "너 그거 좋아했으니, 그거랑 비슷한 이것 도 좋아할 거야!" 컨텐츠 필터링 구현 절차 1) 피처 추출 - 아이템의 유사성을 계산하기 위해, 아이템의 특성을 추출 - 상품의 특징을 담은 tabular feature 사용하거나, 텍스트의 경우 TF-IDF 기법 적용 2) 사용자 프로필 정보 생성 - 유저의 선호도를 나타내는 역할 수행 - 유저가 상호작용한 아이템의 특징을 집계하여 생성 3) 유사도 계산 - 아이템과 사용자..

- 추천시스템이란 - 추천시스템의 제약 사항 - 추천시스템 파이프라인 - 고전 추천 알고리즘의 종류 - 연관 규칙 추천 추천시스템의 개요 추천 시스템? 유저와 아이템의 주변 정보와 상호작용 기록을 바탕으로 유저가 선호할 아이템을 예측하여 유저의 의사결정을 돕는 인공지능 서비스 User : 서비스를 이용하는 주체 Item : 서비스에서 판매 / 제공하는 대상 물품 Interaction / log : 서비스 내에서 유저가 남기는 일련의 행동 기록 → 유저에게 유관한 정보만을 Filtering 해줌으로써 Information Overload로부터 도움! → 추천시스템은 커머스/ 컨텐츠 / POI 등의 어플리케이션에서 널리 사용되며 유저의 리텐션을 확보함으로써 기업의 직간접적인 수익창출에 기여 추천시스템의 한계..

💡 새로운 지표 정의하기 데이터 집계를 통해 유의미한 지표를 정의하고 활용할 수 있음! 단순한 숫자 비교는 큰 데이터에만 주목하게 하지만, ‘개인별’, ‘비율’ 같은 지표를 사용하면 다양한 관점에서 데이터를 바라볼 수 있다 ex) / : ‘사용자 한 명이 페이지를 몇번이나 방문했는가?’ CTR (클릭비율:Click Through Rate)- 웹사이트에서는 방문한 사용자 수 중에서 특정한 행동을 시행한 사용자의 비율 CVR (전환율 : Conversion Rate ) - 전환율은 얼마나 많은 사람들이 광고를 본 후 행동을 '전환'했는지를 측정 1. 문자열 연결하기 : CONCAT 함수 or || 연산자를 이용 SELECT user_id, CONCAT(pref_name, city_name) AS pref_c..