RECSIM: A Configurable Simulation Platform for Recommender System 기초 개념

RecSim - Google Recommendation System (2019)

• 전통적인 추천 시스템은 유저 행동에 기반한 한시적 추천에 중점을 맞추는 반면, 최근 모델들은 유저 행동과 선호를 기반으로 순차적인 상호작용을 반영하여  최적의 추천 시스템을 만들고 있음
• 이러한 추천방식은 collaborative interactive recomender (CIRs)로 알려져 있으며, 자연어처리와 딥러닝과 같은 영역에서 주로 사용되고 있음
• 최근에 google은 CIRs의 시뮬레이션 환경을 만드는 플랫폼인 RecSim을 발표함
• 기존 CIRs의 한계는 다른 유저들의 상호작용 시나리오에 대해 시뮬레이션하기 어렵다는 것이었음
• 행동과 실험기반의 강화 학습은 주어진 환경에서 순차적 상황을 반영할 수 있음
• 전통적인 지도학습 모델은 유저의 interaction dynamics를 반영한 데이터셋을 구축하기 어려운 문제 존재
• 강화학습이 유저의 interaction dynamics가 주어졌을때, CIRs 시스템을 평가하는 기준으로 사용되어져 왔음
• 강화학습 시스템이 CIRs 실험에 이상적이기 때문에 주목할만한 도전들이 있음
  • Generalization Across Users
  • Combinatorial Action Spaces
  • Large, Stochastic Action Space
  • Long Horizons

Recsim은 configurable platform

• 현존하는 RL기반의 추천 모델을 연장선
• Recsim은 generic, perfect한 시뮬레이터를 만든다기 보다는 실세계에서 관찰된 유저행동의 특정 양상을 mirroring하는데 초점이 맞춰져 있음
• Recsim은 user model, document model, user choice model로 이루어진 환경을 토대로 추천을 시뮬레이트함

 

 

• user, docuent, user-choice 모델은 유저에게 documents의 후보를 추천함으로써 서로 환경에 영향을 주기 때문에, Recsim은 관찰할수 있는 유저와 후보 documents feature를 사용하여 추천을 구성함

 Document model

• topic, global 통계(ratings,popularity 등)
• 품목을 샘플링하는데 이전 document features 뿐만아니라 잠재적인 feature (document의 질과 관련한)까지 샘플링함
• 관찰될수 있는 feature

User model

• session 길이, 방문횟수, 자산 등
• user features를 샘플링하는데 성격, 만족, 흥미와 같은 잠재적인 feature에 대해서도 샘플링함
• demographics, behavioral features - 인구학, 행동기반의 feature
• RecSim agent 가 유저에게 Document를 추천할때, 반응은 user-choice model에 기반하여 결정되어 짐
• user choice model 은 관찰가능한 documents feature와 모든 user features에 접근 가능함
• user 반응의 다른 양상들은 잠재 documents feature에 의존할수 있음 (topic, quality)
• document 가 소모되면, user states 는 변이를 겪게 되는데 configurable한 user transition model을 통해 이루어짐
  • 유저 만족이나 흥미가 변할수 있기 때문에

• RecSim의 또 다른 중요한 구성요소는 agents와 환경간의 상호작용을 컨트롤할수 있는 구조적 요소임
• interaction은 6가지 기초 단계로 이루어져 있음
• 시뮬레이터는 user model로 부터 user state(유저 상태)를 요청함
  • 관찰될 수 있는 feature, 잠재 feature 모두
• 시뮬레이터는 후보 documents와 관찰할수 있는 유저 state의 portion을 agents에게 보낸다
• agents는 현재 정책을 현재 청책을 시뮬레이터에게 slate로 돌려 보낸다. 
• 시뮬레이터는 추천된 documents의 slates(조각)을 전달하고, 전체 user state를 user choice model에 보낸다
• 구체화된 선택과 반응 function을 사용하여 user choice model은 가능한 통계적인 유저 선택과 반응을 generates한다
• 시뮬레이터에 결과를 돌려보낸다
• 시뮬레이터는 user 의 선택과 반응을 전달함
• user model은 user state를 업데이트 한다 (transition model을 이용)
  • agents는 정책을 업데이트 한다 (주어진 user 반응을 반영하여)
• Recsim은 CIRs의 능률적은 테스트와 검증을 위해 매우 독특한 접근을 한다 (딥러닝을 기반으로)

 

• 결국, RECSIM 은 추천시스템에서 강화학습을 사용하기위한 시뮬레이션 환경을 구성해주는 역할을 한다

https://medium.com/dataseries/googles-recsim-is-an-open-source-simulation-framework-for-recommender-systems-9a802377acc2