bigkite

- SASRec 모델을 변형해보는 식으로 미니 프로젝트를 진행했고, 그 중에서 나는 Position Embedding 방식을 고치는 역할을 맡았다! - Position Embedding 과 Positional Encoding 관련해서 연구하면서 척척학사정도 된 것 같은데 이 내용을 정리해보도록 하겠다. 원래 SASRec의 Position Embedding Self-Attention에서는 위치정보를 알 수 있는 정보가 없기에 SASRec 모델에 학습가능한 Position Embedding Vector을 더해줌! 처음에 maxlen 크기만큼 0~ maxlen까지 순차적인 값을 가지도록 설정되어 있는 걸 nn.Embedding을 이용해 임베딩 벡터로 바꿔주고 역전파를 통해서 이 임베딩 벡터가 갱신됨! posi..

https://github.com/pmixer/SASRec.pytorch GitHub - pmixer/SASRec.pytorch: PyTorch(1.6+) implementation of https://github.com/kang205/SASRec PyTorch(1.6+) implementation of https://github.com/kang205/SASRec - GitHub - pmixer/SASRec.pytorch: PyTorch(1.6+) implementation of https://github.com/kang205/SASRec github.com SASRec모델의 Pytorch 버전 코드를 리뷰한 글입니다! 1. Data_partition : utils.py의 data_partition 함수..