bigkite

Attention Is All You Need ! 논문정리 https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org Transformer는 NLP, RecSys, Computer Visio..

라그랑주 승수법? 라그랑주 승수법은 제약이 있는 최적화 문제를 푸는 방법으로,최적화하려 하는 값에 형식적인 라그랑주 승수 항을 더하여, 제약된 문제를 제약이 없는 문제로 바꾸는 방법 g(x) = 0이라는 제약식에서 f(x)를 최대화하는 문제를 풀어야 할 때, 라그랑주 승수 −λ 를 g(x) 에 곱해서 f 에 더한 라그랑주 함수 L(x,λ):=f(x)−λg(x) 를 목적 함수로 삼는 다음의 최적화 문제로 바꾸는 방법 엄청난 내용은 아니고, 그냥 이론적 증명이나 수식 전개할 때 사용되는 Tricky한 하나의 방법론이라고 이해하면 될 듯! 당장 와닿지는 않을 수도 있지만, 논문을 이해한다거나 머신러닝, 딥러닝 모델들의 방법론을 이해할 때 많이 등장하므로 알아두면 도움이 될 것! 라그라주 승수 정리의 기하학적 ..

탐색 알고리즘 DFS / BFS DFS(Depth First Search) : 깊이 우선 탐색, 그래프에서 깊은 부분을 우선적으로 탐색하는 알고리즘 = 최대한 멀리 있는 노드를 우선으로 탐색 그래프 : 노드(정점)와 간선으로 표현됨! → 그래프: 하나의 노드를 시작으로 다수의 노드를 방문하는 것 → 두 노드가 간선으로 연결되어 있으면 “두 노드는 인접하다”고 표현 프로그래밍에서 그래프는 2가지 방식으로 표현할 수 있음 1. 인접 행렬 : 2차원 배열로 그래프의 연결 관계를 표현하는 방식 → 파이썬에서는 2차원 리스트로 구현! INF = 99999999999 # 연결이 되어 있지 않은 노드끼리는 무한의 비용 # 2차원 리스트를 이용해 인접행렬 표현 graph = [ [0,7,5], [7,0,INF], [5..

탐색 : 많은 양의 데이터 중에서 원하는 데이터를 찾는 과정 → 그래프, 트리 등의 자료구조 안에서 탐색을 하는 문제! ex) DFS / BFS 자료구조 : ‘데이터를 표현하고 관리하고 처리하기 위한 구조’ 기본 자료구조인 스택과 큐는 다음의 두 핵심적인 함수로 구성됨 삽입(Push) : 데이터를 삽입 삭제(Pop) : 데이터를 삭제 오버플로: 특정한 자료구조가 수용할 수 있는 데이터의 크기를 이미 가득 찬 상태에서 삽입 연산을 수행할때 발생 → 저장 공간을 벗어나 데이터가 넘쳐흐를 때 발생 언더플로: 데이터가 전혀 들어있지 않은 상태에서 삭제 연산을 수행하면 발생 스택 = 박스 쌓기/ 나중에 넣은 데이터를 먼저 반환 | Last In First Out (LIFO) 선입후출 구조 or 후입선출 구조 파이..