【机器学习】创建自己的电影推荐系统

编译 | Flin

来源 | analyticsvidhya

• 基于内容的过滤

1. 用户很少能接触到不同类型的产品
2. 由于用户不尝试不同类型的产品，业务无法扩展。

• 协同过滤

• 基于用户的协同过滤

1. 人是浮躁的，他们的喜好是不断变化的，因为这个算法是基于用户相似度的，它可能会挑选出两个用户之间最初的相似模式，一段时间后，可能会有完全不同的偏好。
2. 用户比项目多很多，因此维护这么大的矩阵变得非常困难，因此需要定期重新计算。
3. 该算法非常容易受到先令攻击，其中包含带有偏见的偏好模式的虚假用户档案被用来操纵关键决策。

• 基于项目协同过滤

1. 不像人们的喜好千变万化，电影不会改变。
2. 矩阵的项通常比人少很多，因此更容易维护和计算矩阵。
3. 先令攻击更加困难，因为电影不能伪造。

• movielens-small数据集：https://www.kaggle.com/shubhammehta21/movie-lens-small-latest-dataset

启动并运行数据

import pandas as pd
import numpy as np
from scipy.sparse import csr_matrix
from sklearn.neighbors import NearestNeighbors
import matplotlib.pyplot as plt
import seaborn as sns
movies = pd.read_csv("../input/movie-lens-small-latest-dataset/movies.csv")
ratings = pd.read_csv("../input/movie-lens-small-latest-dataset/ratings.csv")

movies.head()

• movieId——推荐完成后，我们会得到一个包含所有相似movieId的列表，并从这个数据集获得每个电影的标题。
• genres，体裁——这个过滤方法不需要。

ratings.head ()

• userId——对每个用户都是唯一的。
• movieId——使用这个特性，我们从电影数据集获取电影的标题。
• rating——每个用户给所有电影的评级，使用这个我们将预测前10个类似的电影。

final_dataset = ratings.pivot(index='movieId',columns='userId',values='rating')
final_dataset.head()

final_dataset.fillna(0,inplace=True)
final_dataset.head()

去除数据中的噪音

• 至少有10个用户对一部电影进行了投票。
• 为了使一个用户有资格，至少50部电影应该由用户投票。

让我们直观地看到这些过滤器的外观

no_user_voted = ratings.groupby('movieId')['rating'].agg('count')
no_movies_voted = ratings.groupby('userId'


    
)['rating'].agg('count')

f,ax = plt.subplots(1,1,figsize=(16,4))
# ratings['rating'].plot(kind='hist')
plt.scatter(no_user_voted.index,no_user_voted,color='mediumseagreen')
plt.axhline(y=10,color='r')
plt.xlabel('MovieId')
plt.ylabel('No. of users voted')
plt.show()

final_dataset = final_dataset.loc[no_user_voted[no_user_voted > 10].index,:]

f,ax = plt.subplots(1,1,figsize=(16,4))
plt.scatter(no_movies_voted.index,no_movies_voted,color='mediumseagreen')
plt.axhline(y=50,color='r')
plt.xlabel('UserId')
plt.ylabel('No. of votes by user')
plt.show()

final_dataset=final_dataset.loc[:,no_movies_voted[no_movies_voted > 50].index]
final_dataset

消除稀疏

sample = np.array([[0,0,3,0,0


    
],[4,0,0,0,2],[0,0,0,0,1]])
sparsity = 1.0 - ( np.count_nonzero(sample) / float(sample.size) )
print(sparsity)

sample = np.array([[0,0,3,0,0],[4,0,0,0,2],[0,0,0,0,1]])
sparsity = 1.0 - ( np.count_nonzero(sample) / float(sample.size) )
print(sparsity)

csr_data = csr_matrix(final_dataset.values)
final_dataset.reset_index(inplace=True)

制作电影推荐系统模型

knn = NearestNeighbors(metric='cosine', algorithm='brute', n_neighbors=20, n_jobs=-1)
knn.fit(csr_data)

推荐函数的制作

工作原理很简单。我们首先检查输入的电影名是否在数据库中，如果在数据库中，我们使用推荐系统查找相似的电影，并根据它们的相似距离对它们进行排序，然后只输出与输入电影之间的距离最高的10部电影

def get_movie_recommendation(movie_name):
    n_movies_to_reccomend = 10



    
    movie_list = movies[movies['title'].str.contains(movie_name)]  
    if len(movie_list):        
        movie_idx= movie_list.iloc[0]['movieId']
        movie_idx = final_dataset[final_dataset['movieId'] == movie_idx].index[0]
        distances , indices = knn.kneighbors(csr_data[movie_idx],n_neighbors=n_movies_to_reccomend+1)    
        rec_movie_indices = sorted(list(zip(indices.squeeze().tolist(),distances.squeeze().tolist())),key=lambda x: x[1])[:0:-1]
        recommend_frame = []
        for val in rec_movie_indices:
            movie_idx = final_dataset.iloc[val[0]]['movieId']
            idx = movies[movies['movieId'] == movie_idx].index
            recommend_frame.append({'Title':movies.iloc[idx]['title'].values[0],'Distance':val[1]})
        df = pd.DataFrame(recommend_frame,index=range(1,n_movies_to_reccomend+1))
        return df
    else:
        return "No movies found. Please check your input"

get_movie_recommendation('Iron Man')

我个人认为结果相当不错。所有在顶端的电影都是超级英雄或动画电影，就像输入电影“钢铁侠”一样，是孩子们的理想选择。

get_movie_recommendation('Memento')

排名前十的电影都是严肃的、用心的电影，就像《记忆碎片》本身一样，所以我认为这个结果也是好的。

我们的模型运行得很好——一个基于用户行为的电影推荐系统。因此，我们在此总结我们的协同过滤。你可以在这里得到完整的实现代码。

• https://github.com/So-ham/Movie-Recommendation-System