02. 컨텐츠 기반의 추천시스템 - 유사도함수 및 평가함수

해당 글은 T-아카데미에서 발표한 추천시스템 - 입문하기의 자료에 딥러닝을 이용한 추천시스템과 추천시스템 대회를 분석한 내용을 추가한 글입니다. 해당 자료보다 더욱더 좋은 자료들이 페이스북 그룹 Recommender System KR에 있으니 많은 관심 부탁합니다.

• [01. 추천시스템 이해]
• [02. 컨텐츠 기반 추천시스템]
  • [02. 유사도 함수 및 평가 함수]
  • [02. TF-IDF를 이용한 추천시스템]
  • [02. Word2Vec을 이용한 추천시스템]
• [03. 협업필터링 기반 추천시스템]
  • [03. KNN을 이용한 추천시스템]
  • [03. SGD을 이용한 추천시스템]
  • [03. ALS을 이용한 추천시스템]
• [04. 딥러닝을 이용한 추천시스템]
  • [04. Deep Neural Networks for YouTube Recommendations]
  • [04. Training Deep AutoEncoders for Collaborative Filtering]
  • [04. Wide & Deep Learning for Recommender Systems]
  • [04. Factorization Machine]
• [05. 추천시스템 실습하기]
• [06. 추천시스템 대회 분석하기]
  • [06. 카카오 아레나 2차 대회]
  • [06. 카카오 아레나 3차 대회]
  • [06. RecSys2020 대회]

컨텐츠 기반의 추천시스템

컨텐츠 기반 추천시스템은 사용자가 이전에 구매한 상품중에서 좋아하는 상품들과 유사한 상품들을 추천하는 방법입니다. 이때의 핵심은 컨텐츠(Items)들을 벡터 형태로 표현해합니다. 이러한 방법들은 도메인에 따라서 많이 다릅니다.

 

텍스트와 같은 자연어는 TF-IDF, Word2Vec 등과 같은 기법을 사용하고 이미지는 CNN과 같은 모델을 사용합니다. 그리고 카카오 페이지의 소설책과 같은 경우는 표지의 이미지는 CNN 계열의 모델을 사용하고 내용물은 자연어 처리 모델을 같이 사용해서 결합하기도 합니다.

 

이러한 과정을 한번 요약하면 위의 이미지와 같습니다. 가지고 있는 컨텐츠(item)들을 벡터로 표현하고, 벡터간의 유사도를 계산합니다. 여기서 말하는 유사도는 자기 자신의 벡터와 가장 비슷하다는 의미입니다. 그리고, 가장 비슷한 벡터들을 컨텐츠(item)으로 다시 바꿔서 추천하게 되면 컨텐츠 기반의 모델이 됩니다. 컨텐츠를 벡터로 바꾸는 방법을 보기전에 벡터들간의 유사도를 계산하는 방법들에 대해 먼저 살펴보도록 하겠습니다.

유사도 함수

유사도 함수는 자신과 가장 비슷한 컨텐츠를 찾아줄 때 사용됩니다. 이를 통해 찾은 비슷한 컨텐츠가 추천해주는 컨텐츠이기에 유사도 함수들을 정확히 이해하고 함수들 간의 차이점을 알아야 하는 게 중요합니다. 여기에서는 대표적으로 많이 사용하는 유사도 함수인 유클리디안, 코사인, 피어슨, 자카드 유사도를 살펴보도록 하겠습니다.

 

예를 들어 한번 아래의 데이터에 대해서 어떤 문서끼리 유사도가 높은지 다양한 유사도 함수를 통해서 계산해보도록 하겠습니다.

문서	내용
0	먹고 싶은 사과
1	먹고 싶은 바나나
2	길고 노란 바나나 바나나
3	저는 과일이 좋아요

유클리디안 유사도

코사인 유사도

유클리디안 유사도와 코사인 유사도를 비교해보기 위해서 두 가지 방식으로 회색의 ? 점과 가장 유사한 벡터를 한번 찾아보도록 하겠습니다.

 

유클리디안은 가장 가까운 점을 찾기에 파란색의 "young"이 가장 유사한 벡터가 됩니다. 하지만, 코사인 유사도의 경우 크기가 아닌 방향성을 보기에 "mid" 혹은 "adult"가 가장 유사하게 됩니다. 즉, 유사도 계산방법의 선택도 현재 가지고 있는 데이터에 따라서 다르게 적용해주는 게 중요합니다.

피어슨 유사도

자카드 유사도

 

그 외에도 Sorensen, Canberra, Dice, Divergence 등의 여러 가지 방식의 유사도가 존재합니다. 모두 알기는 힘들지만 상황에 맞는 방법을 찾아 적용하는 것이 중요하다는 것은 항상 명심해야 합니다.

 

[참고자료]

• https://cmry.github.io/notes/euclidean-v-cosine
• https://bab2min.tistory.com/566

평가 함수

평가 함수는 추천시스템의 모델을 생성하고 해당 모델이 얼마나 잘 추천하고 있는지에 대해서 평가를 도와주는 함수입니다. 도메인이나 목적에 따라서 다른 평가 함수를 도입해서 얼마나 잘 추천이 되는지 평가하는 게 중요합니다. 예를 들어, 영화 평점의 경우에서는 두 가지 형태로 평가를 할 수 있습니다.

1. 내가 추천해준 영화를 고객이 봤나?
2. 내가 추천해준 영화를 고객이 높은 점수로 평점을 줬나?

분명 위의 2가지는 다릅니다. 1번의 경우 단순히 보기만 하면 추천에 성공했다고 하지만, 실제 고객의 만족도는 낮을 수 있습니다. 반대로 2의 경우는 고객의 만족도까지 고려해서 평가를 한 것입니다. 이러한 성질은 추천을 진행할 때에도 차이가 생깁니다.

 

 

다음의 기사 추천시스템인 루빅스의 경우 1번 방식의 문제점을 해결하고자 평가를 "해당 고객이 뉴스에 얼마나 잔류했는가?"라는 체류시간을 기준으로 고객의 성향을 파악하고, 해당 지표를 높이는 방향으로 추천을 진행하게 됩니다. 실제 이렇게 했을 경우 고객의 만족도도 높아지고 추천의 성과도 높아졌다고 합니다. 그렇다면, 어떤 평가 함수들이 있는지 한번 살펴보도록 하겠습니다.

Accuracy

• 내가 추천해준 영화를 고객이 봤나? Vs 보지 않았나?
• 내가 추천해주는 영화를 많이 볼수록 추천하지 않은 영화를 보지 않을수록 정확도는 상승
• 하지만, 추천하지 않은 영화의 수는 추천한 영화의 수에 비해 굉장히 많고 편향된 결과를 얻을 수 있음

그래서, 추천해준 영화 중 본 영화로만 평가를 매겨줘야 합니다. 근데, 이렇게 해도 문제가 하나 있습니다. 그러면 모든 상품을 추천해주면 정확도는 무조건 1이 나옵니다. 상위 n개의 상품만 추천한다고 했을 때 어느 정도의 정확도를 얻는지 판단하는 게 제일 정확한 값을 얻을 수 있습니다.

F1 Score

출처 : https://blog.naver.com/wideeyed/221531940245

 

• F1은 Precision과 Recall의 역수를 더한 값을 분모로 2를 분자로 가지는 평가 함수입니다.
  • Recall은 실제 본 영화의 수 대비 추천했는데 본 영화의 수를 의미합니다.
  • Precision은 실제 추천한 영화의 수 대비 추천했는데 본 영화의 수를 의미합니다.
• 위 2가지 함수를 함께 봄으로서 추천을 통해 맞춘 영화의 비율과 추천을 안 해서 안 볼 영화를 맞춘 비율을 적절하게 조절하는 평가 함수입니다.

RMSE

• Accuracy : 내가 추천해준 영화를 고객이 봤나? Vs 보지 않았나?
• RMSE : 추천한 평점이 얼마나 다를지? (영화 추천의 경우 사용자가 5를 평가하는 경우를 얼마나 잘 맞출지)

위의 경우에서 Accuracy와 RMSE의 평가는 굉장히 다릅니다. Accuracy의 경우 단순 볼까? 안볼까에 대한 평가만 진행하고, 사용자의 반응에 대해서는 크게 궁금해하지 않습니다. (예를 들어, 영화를 구매하고 보자마자 재미없어서 나간 것도 추천에 성공한 것으로 반영됩니다. ) 이러한 반응까지 잘 반영해야 하는 게 중요합니다. 하지만, 이제까지 본 평가 함수는 추천의 순서에는 영향을 받지 않습니다. 먼저 추천을 해주는 영화를 잘 맞추는 게 더 중요한데, 이러한 부분을 반영해주지 않고 이제부터 이를 반영한 평가 함수인 MAP와 NDCG를 살펴보겠습니다.

MAP

Recommendations	Precision @k’s	AP@3
[0, 0, 1]	[0, 0, 1/3]	(1/3)*(1/3) = 0.11
[0, 1, 1]	[0, 1/2 , 2/3]	(1/3)[1/2 + 2/3] = 0.38
[1, 1, 0]	[1/1, 2/2, 2/3]	(1/3)[1/1 + 2/2 + 2/3] = 0.89
[1, 1, 1]	[1/1, 2/2, 3/3]	(1/3)[1 + 2/2 + 3/3] = 1

• Recommendations : 추천을 했는데 맞은 경우 1, 틀리면 0
• AP : Precision @k’s를 평균 낸 값 (추천한 K개의 영화의 Precision을 평균)
• MAP@4 : 4명의 사용자의 AP를 평균낸 값 (Precision을 평균낸 AP를 4명의 사용자에 대해 평균)

MAP의 경우 추천의 순서에 따라서 값이 차이가 납니다. 또한, 상위 k개의 추천에 대해서만 평가하기에 k를 바꿔가면서 상위 몇 개를 추천하는 게 좋을지도 결정할 수 있습니다.

 

참고자료 : https://sdsawtelle.github.io/blog/output/mean-average-precision-MAP-for-recommender-systems.html

NDCG

NDCG (Normalized Discounted Cumulative Gain) : ranking quality measure, 검색 알고리즘에서 성과를 측정하는 평가 메트릭입니다.

• ranking quality를 recommendation engine에 사용해도 되는 정당화
• Cumulative Gain(CG)
• Discounted Cumulative Gain(DCG)
• Normalized Discounted Cumulative Gain(NDCG)

추천 엔진은 user와 연관 있는 documents의 집합을 추천해주기 때문에, 단순히 문서 검색 작업을 수행한다고 생각할 수 있습니다. (검색과 관련 있는 문서들을 추천) 따라서 NDCG를 사용하여 추천 엔진을 평가할 수 있습니다.

NDCG를 이해하기 위해서는 Cumulative Gain과 Discounted Cumulative Gain을 이해할 필요가 있습니다.

Cumulative Gain(CG)

눈으로 봤을 때, B가 A보다 나은 추천 결과인 것을 알지만 CG의 관점에서는 둘은 똑같습니다. 이러한 점을 보완하기 위해서 문서의 위치에 따른 Score를 반영해 줄 필요가 있습니다.

Discounted Cumulative Gain(DCG)

DCG는 위의 두 가지 중에 아무거나 사용해도 무방합니다. 중요한 점은 분모의 log(i+1)에 의해서 초반에 나올수록 페널티를 덜 받게 되므로 초반에 맞추는 게 중요 졌다는 사실입니다.

 

Normalized Discounted Cumulative Gain(NDCG)

DCG는 추천 결과의 위치를 고려할 때 좋은 척도로 보이지만 완벽하지는 않습니다. 그 이유는 다양한 요인에 따라 권장 사항 수가 사용자마다 다를 수 있는데, DCG는 권장 사항의 수에 따라 결과가 달라지기 때문입니다. 그에 따라 상한 과 하한이 적절한 점수가 필요하므로 모든 추천 점수를 평균하여 최종 점수를 보고 정규화할 필요가 있습니다. 이를 반영한 게 NDCG입니다.

 

• 사람마다 추천해주는 개수가 다를 수 있으니 이를 반영해줘야 한다.
• DCG에 Normalize를 수행해서 NDCG를 사용
  • DCG : 추천된 순서
  • iDCG : DCG의 이상적인 순서
  • NDCG = DCG / iDCG

 

 

 

참고자료

• https://towardsdatascience.com/evaluate-your-recommendation-engine-using-ndcg-759a851452d1