S3 Rec

 

1. Overview

S3Rec은 Self-supervised learning 기법의 추천 알고리즘입니다. raw 데이터로부터 representation을 학습하는 방법론으로 BERT, SimCLR, Data2Vec 과 같이 데이터가 풍부한 분야에서 좋은 성능을 보이며, raw 데이터를 분석하여 풍부한 데이터 패턴을 추출할 수 있습니다. 

2. Notations

|U|개의 사용자를 갖는 사용자 집합, U와 |I|개의 아이템을 갖는 아이템 집한, I를 가정합니다.  일반적으로, 사용자는 n개의 아이템, i_t와 순차적으로 상호작용을 합니다. 1 ≤ j < k ≤ n 을 만족하는 j와 k에 대하여 i_j:k = {i_j , · · · ,i_k }는 j번째부터 k번째로 사용자가 상호작용을 한 아이템의 집합입니다. 그리고, 각각의 아이템으니 A_i = {a_1, ... , a_m}의 특성(attributes)를 갖습니다. 예컨데, song 정보는 아티스트, 앨범, 청취자 인기도 등 |A|개의 attributes를 가질 수 있습니다. 

3. MIM (Mutual Information Maximization) 

본 논문은 임의의 변수들 사이에서 의존성을 측정하는 상호 정보(Mutual Information)의 개념을 적용했습니다. 

S3Rec은 기본적으로 BERT4Rec의 구조와 유사하며, 4개의 auxiliary loss를 활용하여 item-attribute, sequence -item, sequence-attribute, sequence-seqence 관계를 모델링합니다. 주어진 두 개의 임의 변수 X와 Y에 대해, X를 아는 것이 Y의 불확실성을 얼마나 줄일 수 있는지에 대한 개념으로 다음과 같이 표현할 수 있습니다. 

$ I(X, Y = H(X) - H(X|Y) = H(Y0 - H(Y|X) $

3.1. Associated Attribute Prediction Loss (AAP) 

item - attribute correlation을 학습하여 각 item의 attribute를 예측하는 Attribute Embedding을 생성합니다. (ex. 영화의 Genre) 

3.2. Masked Item Prediction Loss (MIP) 

item sequence로부터 masking 된 item 정보를 학습하여 item embedding을 복원합니다. 

3.3. Masked Attribute Prediction Loss (MAP) 

Item Sequence로부터 item-attribute correlation을 학습합니다. 특정 item을 masking하여 주변 양방향 context로부터 masking된 아이템의 'attribute'를 예측합니다.

3.4. Segment Prediction (SP) 

추천시스템에서 단일 item은 주변 context와 크게 연관성이 없을 수도 있습니다. 따라서 보다 안정적이고 명확한 사용자 선호도를 학습하기 위해 단일 item이 아닌 item의 subsequence(segment)를 masking 하여 주변 context로부터 masking된 segment를 예측합니다. 

4. Loss Function

S3Rec의 Loss function은 다음과 같이 정의됩니다. (pair-wise loss ranking) 

5. Rererences

• S3-Rec : Self-Supervised Learlning for Sequential Recommendation with Mutual Information Maximization , Kun Ahou, et al. 
• https://github.com/aHuiWang/CIKM2020-S3Rec