一、引言：推荐系统的魔法与现实意义
在Netflix每年节省10亿美元内容采购成本的背后，在YouTube占据用户80%观看时长的推荐算法中，推荐系统正悄然改变内容消费模式。本文将带您从零开始构建一个具备用户画像展示的电影推荐系统，通过协同过滤算法捕捉用户偏好，用Flask框架实现可视化交互。项目完成后，您将理解推荐系统的核心原理，并掌握从数据预处理到Web部署的全流程。
二、技术栈解析与项目架构
- 核心算法层：Surprise库实现SVD矩阵分解；
- 数据处理层：Pandas进行数据清洗与特征工程；
- 交互展示层：Flask框架构建RESTful API与前端模板；
- 数据源：MovieLens 100k数据集（包含943用户×1682电影的10万条评分）。
三、环境准备与数据集加载
# 安装依赖（在终端执行）
!pip install surprise pandas flask scikit-surprise# 数据加载脚本
import pandas as pd
from surprise import Dataset, Reader# 加载评分数据
ratings = pd.read_csv('ml-100k/u.data', sep='\t', names=['user_id', 'item_id', 'rating', 'timestamp'])# 定义Surprise数据格式
reader = Reader(rating_scale=(1,5))
data = Dataset.load_from_df(ratings[['user_id', 'item_id', 'rating']], reader)
四、协同过滤核心：SVD矩阵分解实现
4.1 算法原理简析
SVD（奇异值分解）将用户-物品评分矩阵分解为：
复制代码R ≈ P * Σ * Q^T
其中：
- P：用户潜在特征矩阵
- Q：物品潜在特征矩阵
- Σ：奇异值对角矩阵
通过分解后的矩阵预测缺失评分，实现推荐。
4.2 Surprise实现代码
from surprise import SVD, accuracy
from surprise.model_selection import train_test_split# 划分训练集/测试集
trainset, testset = train_test_split(data, test_size=0.25)# 初始化SVD模型
model = SVD(n_factors=100, # 潜在因子数n_epochs=20, # 迭代次数lr_all=0.005, # 学习率reg_all=0.02) # 正则化系数# 训练模型
model.fit(trainset)# 评估模型
predictions = model.test(testset)
accuracy.rmse(predictions) # 输出RMSE评估指标
五、用户画像构建与相似度计算
5.1 用户特征提取
def get_user_features(user_id):# 获取用户评分记录user_ratings = ratings[ratings['user_id'] == user_id]# 计算评分分布特征avg_rating = user_ratings['rating'].mean()rating_counts = user_ratings['rating'].value_counts().sort_index()# 获取用户潜在向量user_vector = model.pu[user_id-1] # Surprise内部使用0-based索引return {'avg_rating': avg_rating,'rating_distribution': rating_counts.to_dict(),'latent_factors': user_vector}
5.2 用户相似度计算
from surprise.prediction_algorithms.matrix_factorization import SVDdef find_similar_users(target_user, n=5):# 获取所有用户潜在向量users = model.pu# 计算余弦相似度similarities = []for user in users:sim = cosine_similarity(users[target_user-1], user)similarities.append((sim, user))# 返回最相似的n个用户return sorted(similarities, reverse=True, key=lambda x: x[0])[:n]
六、Flask推荐服务实现
6.1 Web服务架构设计
/ -> 主页（用户输入界面）
/recommend/<user_id>-> 推荐结果页
/user/<user_id> -> 用户画像页
6.2 核心路由实现
from flask import Flask, render_template, requestapp = Flask(__name__)@app.route('/')
def index():return render_template('index.html')@app.route('/recommend/<int:user_id>')
def recommend(user_id):# 生成推荐（Top-N推荐）user_items = ratings[ratings['user_id'] == user_id]['item_id'].unique()all_items = ratings['item_id'].unique()predictions = []for item in all_items:if item not in user_items:pred = model.predict(str(user_id), str(item))predictions.append((item, pred.est))# 按预测评分排序recommendations = sorted(predictions, key=lambda x: x[1], reverse=True)[:10]# 获取电影元数据movies = pd.read_csv('ml-100k/u.item', sep='|', encoding='latin-1',usecols=['movie id', 'movie title', 'release date', 'genres'])# 合并推荐结果与电影信息recommended_movies = []for item_id, score in recommendations:movie = movies[movies['movie id'] == item_id].iloc[0]recommended_movies.append({'title': movie['movie title'],'year': movie['release date'],'genres': movie['genres'].split('|'),'score': round(score, 2)})return render_template('recommendations.html', movies=recommended_movies,user_id=user_id)@app.route('/user/<int:user_id>')
def user_profile(user_id):# 获取用户画像数据profile = get_user_features(user_id)# 获取相似用户similar_users = find_similar_users(user_id)return render_template('profile.html',profile=profile,similar_users=similar_users)if __name__ == '__main__':app.run(debug=True)
七、前端模板设计（Jinja2示例）
7.1 用户画像模板（profile.html）
<div class="profile-card"><h2>用户画像：User {{ user_id }}</h2><p>平均评分：{{ profile.avg_rating | round(2) }}</p><div class="rating-distribution">{% for rating, count in profile.rating_distribution.items() %}<div class="rating-bar"><span class="rating-label">★{{ rating }}</span><div class="bar-container"><div class="bar" style="width: {{ (count / total_ratings) * 100 }}%"></div></div><span class="count">{{ count }}</span></div>{% endfor %}</div><h3>相似用户：</h3><ul class="similar-users">{% for sim, user in similar_users %}<li>User {{ user + 1 }} (相似度：{{ sim | round(3) }})</li>{% endfor %}</ul>
</div>
7.2 推荐结果模板（recommendations.html）
<div class="recommendations"><h2>为您推荐（User {{ user_id }}）</h2>{% for movie in movies %}<div class="movie-card"><h3>{{ movie.title }} ({{ movie.year }})</h3><p>类型：{% for genre in movie.genres %}<span class="genre">{{ genre }}</span>{% endfor %}</p><div class="score">预测评分：★{{ movie.score }}</div></div>{% endfor %}
</div>
八、系统优化方向
- 冷启动问题：集成内容过滤（使用电影元数据）
- 实时更新：添加增量训练模块
- 深度学习扩展：尝试Neural Collaborative Filtering
- 性能优化：使用Faiss实现近似最近邻搜索
- 可视化增强：添加评分分布热力图、用户-物品关系图
九、完整项目部署指南
-
下载MovieLens数据集：https://grouplens.org/datasets/movielens/
-
创建项目目录结构：
movie_rec_system/ ├── app.py ├── templates/ │ ├── index.html │ ├── profile.html │ └── recommendations.html ├── static/ │ ├── css/ │ └── js/ └── ml-100k/├── u.data├── u.item└── ... -
启动服务：
python app.py -
访问：http://localhost:5000/
十、结语：推荐系统的未来展望
随着Transformer架构在自然语言处理领域的成功，推荐系统正在经历从协同过滤到序列建模的范式转变。未来工作可以将用户行为序列建模为时间序列，使用Transformer捕捉长期兴趣，同时结合多模态数据（如海报图像、剧情简介）构建更全面的用户画像。
注：实际部署时应添加异常处理、日志记录等生产级功能。
通过这个项目，您不仅掌握了推荐系统的核心技术，还完成了从算法实现到Web服务的完整工程实践。这种全栈能力正是构建智能应用的关键竞争力。
