(Paper Review) Autoencoders Meet Collaborative Filtering

1. Overview 

Auto Encoder 는 저차원의 hidden layer (latent factor)를 학습하여 output으로 input 값을 다시 생성할 수 있는 프레임웍 입니다. 이 논문은 Auto Encoder를 Collaborative Filtering에 적용한 추천 시스템을 제안하였습니다. Rating vector를 입력과 출력으로 하는 Encoder & Decoder Reconstruction 프레임에 적용하여 User 또는 Item vector를 낮은 차원의 latent feature로 dimensionality redution을 수행할 수 있는 기법입니다. 더불어, self-supervised learning 방법의 하나인 AutoEncoder를 추천시스템의 sparse한 데이터에 적합하도록 적용하여 item에 대한 평점을 예측할 수 있었습니다. 

2. Model

2.1 Input

제안하는 모델은 아이템 또는 유저 중 한 번에 한 가지 특성에 대한 임베딩만 진행합니다.

2.2 Model 

AutoRec의 구조는 다음 그림과 같습니다. 아이템 벡터를 임베딩 한 경우, r(i)는 아이템 i의 Rating vector를 나타내고 Rui는 user, u의 아이템, i에 대한 rating 을 표현합니다. 입력된 임베딩 벡터는 Neural Network layer를 통과하여 저차원의 latent feature (hidden layer)로 표현될 수 있습니다. 인코딩 단계에서 파라미터 V는 학습 가중치 행렬입니다. 그리고 Latent feature는 네트웍을 통과하며 가중치 행렬 W값을 반영하여 다시 r(i)로 디코딩할 수 있습니다. 

Item-based AutoRec Model 

학습은 인코딩 입력으로 주어진 rating과 reconstructed된 rating의 RMSE를 최소화하는 방향으로 학습이 진행됩니다. 관측된 데이터에 대해서만 역전파되고, 해당 파라미터가 업데이트됩니다. 활성 함수는 sigmoid와 identity function을 적용하였습니다. 

 

3. Conclusion

AE를 CF에 적용하여 Matrix Factorization의 선형성과 저차원 interaction 의 한계를 극복하고, 비선형 활성 함수를 적용하여 복잡한 User-Item interative feature를 더 잘 표현할 수 있는 프레임을 제시했습니다. 실험결과, 단순 MF 보다 성능이 향상되었음을 확인할 수 있었고, Hidden unit의 개수가 증가할수록 RMSE가 감소하는 것을 확인할 수 있었습니다. 이후 DAE, VAE 등의 후속 연구가 지속해서 나오고 있습니다.

AutoRec 구조는 Rating prediction의 경우, rating 값을 reconstruction할 수 있으며, Top-K ranking의 경우, interaction이 발생할 확률을 reconstruction하도록 모델을 구성할 수 있습니다. 

VAE-CF model .(출처: NVIDIA Developer Technical Blog,   How to Build a Winning Recommendataion System, by Carol McDonald)

 

4. Reference

• AutoRec : Autoencoders meet collaborative filtering, Suvash Sedhain et al. WWW 2015 Companion
• boostcamp AI Tech, RecSys Lecture Notes by 이준원 
• boostcamp AI Tech, RecSys Lecture Notes by 이원성
• NVIDIA Developer Technical Blog, How to Build a Winning Recommendataion System, by Carol McDonald Gabriel Moreira https://developer.nvidia.com/blog/how-to-build-a-winning-recommendation-system-part-1/