你以为你在刷抖音不是抖音在“刷”你。每一秒的滑动、每一次的停留都被折叠成高维空间里的一个数字然后被疯狂计算。今天我们从算法工程师的视角拆解一个视频是如何跨越千万级候选池最终精准地出现在你眼前的。一、开篇手机在“刷”我们每天数千万条新视频被上传到抖音。你的手机屏幕上每滑一下就有一个新的视频开始播放。这个过程看似丝滑背后却是海量算力在毫秒间完成的一场“数学海选”。抖音的推荐系统本质上是一个超大规模的个性化匹配引擎。它的核心思想可以概括为一句话把用户和视频都映射到同一个高维语义空间然后用向量夹角衡量“缘分”。把用户和视频都映射到同一个高维语义空间然后用向量夹角衡量“缘分”。全景流程图如下┌─────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────┐ │ 视频上传 │ - │ 多模态解构 │ - │ 512维向量化 │ - │ 存入索引 │ └─────────┘ └─────────────┘ └─────────────┘ └─────────┘ │ ┌─────────┐ ┌─────────────┐ ┌─────────────┐ │ │ 用户刷到 │ - │ 重排(打散) │ - │ 精排(多目标)│ │ └─────────┘ └─────────────┘ └─────────────┘ │ ▲ ▲ ▲ │ │ │ │ │ └───────────────┴──────────────────┴──────────────────────┘ (层层漏斗筛选)二、第一步多模态解构 —— 把一个视频变成一串数字视频不是结构化的数据它是一堆像素、声音和文字的混合体。要让计算机“理解”视频首先要把它向量化——也就是变成一组固定长度的浮点数数组。┌─────────────────────────────────────────────────────────┐ │ 原始视频数据 │ ├─────────────┬─────────────────┬───────────────────────┤ │ 视觉帧序列 │ 音频波形 │ 标题/字幕/ASR文本 │ └──────┬──────┴────────┬────────┴───────────┬───────────┘ │ │ │ ▼ ▼ ▼ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ Vision ViT │ │ Audio Model │ │ BERT / NLP │ │ (逐帧编码) │ │ (节奏/音色) │ │ (语义情感) │ └──────┬──────┴────────┬────────┴───────────┬───────────┘ │ │ │ └───────────────┴────────────────────┘ │ ▼ ┌─────────────────────┐ │ 跨模态融合层(Attention)│ └──────────┬──────────┘ ▼ ┌─────────────────────┐ │ 输出: 512维稠密向量 │ │ [0.12, 0.87, ...] │ └─────────────────────┘抖音采用的是512 维向量实际生产中可能更高或灵活但 512 是经典维度。这个向量不是凭空来的而是通过多模态大模型类似 CLIP、ViT 等架构从三个维度提取语义1. 视觉特征逐帧提取使用Vision TransformerViT作为骨干网络对视频的关键帧进行编码。不仅能识别出画面中的物体猫、人、键盘还能理解场景语义办公室、宿舍、球场。更进一步通过帧间时序建模捕捉动作动态跳舞的节奏、运动的激烈程度。甚至画面的色彩分布、光影对比也会被编码用于推断情绪基调温暖治愈、冷酷硬核。举个例子一个视频里一个程序员在深夜敲代码屏幕反光映在眼镜上。视觉模型会提取到“人”“电脑”“深夜”“眼镜反光”等特征并映射到向量中某些维度的激活值。2. 音频特征听觉语义抖音的前身是 Musical.ly对音乐的节奏、鼓点、情绪有深厚的积累。通过音频模型提取音色、音量、节奏型、BPM节拍等特征。同时利用ASR自动语音识别将视频中的对白/旁白转成文本。3. 文本特征NLP 语义从 ASR 得到的文本以及视频标题、话题标签、评论区高频词都会被输入到BERT 类语言模型中。提取出主题、情感极性、实体词如“世界杯”“梅西”“露营”。最终以上三个模态的特征经过跨模态融合层比如交叉注意力压缩成一个512 维的稠密向量。这个向量就是视频的“数字身份证”——它不再是像素或音频而是语义空间中的一个点。三、第二步推荐漏斗 —— 从千万候选到眼前一条当你在抖音首页下拉刷新时推荐系统会从上千万的候选视频池中为你挑选出最可能让你停留的那一条。这个过程不是一步到位的而是层层过滤的漏斗类似搜索中的召回→粗排→精排→重排。┌──────────────────────┐ │ 全量视频池 (1000万) │ └──────────┬───────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ │ ① 召回 (双塔模型 ANN索引) │ │ → 广撒网快速筛选近似匹配 │ │ → 候选量: 1000万 → 1000条 │ └──────────────────────────────┬──────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ │ ② 粗排 (轻量机器学习模型) │ │ → 用简单特征预估 CTR / 完播率 │ │ → 候选量: 1000条 → 300条 │ └──────────────────────────────┬──────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ │ ③ 精排 (多目标深度网络 MMoE) │ │ → 同时预测 点击、完播、点赞、评论、分享 概率 │ │ → 加权融合打分 → 候选量: 300条 → 50条 │ └──────────────────────────────┬──────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ │ ④ 重排 (多样性打散 探索插队) │ │ → 避免同质化插入探索内容 │ │ → 最终输出: 10~20条 (呈现在你手机上) │ └─────────────────────────────────────────────────────────────┘第一层召回Recall—— 双塔模型的“广撒网”召回层的目标是快速从海量视频中筛出几百到一千个候选。这里最经典的架构就是双塔模型Two-Tower用户塔User Tower输入你的用户画像年龄、性别、历史观看序列、长期兴趣标签输出一个 512 维的用户向量。视频塔Item Tower输入视频的 512 维特征向量就是上一步多模态模型产出的。然后计算用户向量与每一个视频向量的点积Dot Product或者余弦相似度Cosine Similarity。点积结果越大表示两个向量在空间中越“接近”也就是用户与视频的匹配度越高。数学直觉两个向量的夹角余弦值越接近 1即夹角接近 0°说明它们在语义空间中的方向一致。比如喜欢“科技幽默”的用户向量会与同样富含“科技幽默”语义的视频向量产生高内积。这一层系统会从 1000 万个视频中通过近似最近邻ANN索引如 Faiss快速检索出相似度最高的前 1000 条交给下一层。用户塔 视频塔 ┌───────────┐ ┌───────────┐ │ 年龄/性别 │ │ 512维向量 │ │ 历史观看 │ │ (多模态) │ │ 兴趣标签 │ │ │ └─────┬─────┘ └─────┬─────┘ │ │ ▼ ▼ ┌───────────┐ ┌───────────┐ │ 用户向量 U │ │ 视频向量 V │ │ [0.8,...] │ │ [0.3,...] │ └─────┬─────┘ └─────┬─────┘ │ │ └──────────┬───────────────────┘ │ ▼ ┌─────────────────────┐ │ 点积: U · V │ │ |U||V|cosθ │ │ 夹角越小 → 越匹配 │ └─────────────────────┘第二层粗排Coarse Ranking—— 轻量模型初筛从 1000 条缩减到 300 条左右。粗排用的模型相对轻量比如简单的 DNN 或 GBDT特征也比召回更丰富一些但不至于太复杂。这个阶段会引入一些基础业务指标的预估点击率CTR的粗略估计完播率的粗略估计但粗排不用太精确只要能把明显不相关的再筛掉一波即可。第三层精排Fine Ranking—— 多目标预测的“决策层”这是整个漏斗中最关键的一环。精排模型是一个多任务学习网络MMoE 或 PLE它会同时预测多个用户行为概率点击概率会不会点进去看完播概率会不会看完点赞概率评论概率分享概率甚至关注、收藏等更深度的互动最终的排序分数不是单一指标而是加权融合score w1 * p_click w2 * p_finish w3 * p_like w4 * p_comment w5 * p_share这里的权重w1~w5是经过大量 A/B 测试调优的不同阶段可能动态调整。例如新用户冷启动时会提高完播和点赞的权重成熟期用户则会侧重分享和评论。精排模型会从 300 条中选出最有可能让你产生互动的 Top 50送进最后一层。 text输入: 用户向量 视频向量 上下文特征 │ ▼ ┌─────────────────────┐ │ 多任务网络 (MMoE) │ └──┬──┬──┬──┬──┬──┬───┘ │ │ │ │ │ │ ▼ ▼ ▼ ▼ ▼ ▼ p点击 p完播 p点赞 p评论 p分享 │ │ │ │ │ │ └──┴──┴──┴──┴──┘ │ ▼ score w1·点击 w2·完播 w3·点赞 w4·评论 w5·分享 │ ▼ (排序取 Top 50)第四层重排Re-ranking—— 用户体验的最后一道保险即使精排选出了 50 个“最高分”视频直接按分数降序推给你也未必是最佳体验。因为连续看 5 个硬核科技解析你可能会累连续看 5 个跳舞小姐姐你也可能审美疲劳。重排阶段会做两件事1.多样性打散Diversity利用视频的类别标签、作者 ID、内容风格确保推送序列中不会连续出现过于相似的内容。比如每两个科技视频之间强制插入一个娱乐或生活类视频。这背后通常用MMR最大边际相关性或DPP行列式点过程算法在分数和多样性之间做平衡。精排输出 (按分数高低) 重排打散后 (穿插不同类目) ┌───────────────┐ ┌───────────────┐ │ 科技 A (高分) │ │ 科技 A │ │ 科技 B (高分) │ │ 舞蹈 C (插入) │ │ 科技 C (高分) │ │ 科技 B │ │ 舞蹈 D (中分) │ │ 美食 E (插入) │ │ 美食 E (中分) │ │ 科技 C │ └───────────────┘ └───────────────┘2.探索与利用Explore Exploit80% 的流量用于推荐系统已经“确信”你喜欢的内容利用。20% 的流量用于试探你的潜在兴趣探索。比如你平时只看 NBA但今天系统给你推了一个“野外求生”视频你多停留了 3 秒这个信号就会被捕捉一个新的兴趣标签可能就此诞生。重排结束后最终的10~20 条视频会返回给客户端呈现在你的信息流里。┌──────────────────────────────────┐ │ 每次推荐流量分配 │ ├──────────────────────────────────┤ │ ████████████████████░░░░░░░░░░ │ │ 80% (利用) 20% (探索) │ │ 推你爱看的 推潜在新兴趣 │ │ (篮球/科技) (野外求生) │ └──────────────────────────────────┘四、更深一层点积操作和 512 维向量的“魔力”你可能会好奇为什么是 512 维点积为什么能代表“喜好”维度选择512 是工程与效果的平衡点。维度太低语义表达能力不够维度太高存储和计算成本剧增。在实际中YouTube、TikTok 等都会采用 256~1024 之间的维度。点积的物理意义点积可以看作两个向量在方向上的“一致性”度量。如果用户向量U和视频向量V都是单位向量那么U·V cos(θ)。当 θ 接近 0说明用户和视频在语义空间中的“兴趣方向”完全一致。训练时我们通过对比学习如 InfoNCE Loss让匹配的用户-视频对点积尽可能大不匹配的对尽可能小。为什么能泛化因为向量是语义的压缩表示即使你从没看过某个视频只要它的向量与你的用户向量相似度高系统就会认为你很可能喜欢。这解决了冷启动和长尾内容的推荐难题。五、用户画像不只是“标签”更是动态向量笔记中提到的“唱跳、NBA、新闻”是传统的离散标签。但在现代推荐系统中用户画像早已升级为动态向量即用户塔的输出。这个向量会随着你每一次的观看、点赞、评论而实时更新在线学习。比如你刚看完一个“梅西世界杯集锦”用户向量会短暂地向“足球”“高光时刻”方向偏移。第二天你又刷了很多“编程教学”向量又会向“科技”“代码”方向移动。所以抖音推荐不是一层不变的它每时每刻都在追踪你的兴趣漂移。六、从端到端一个视频的“推荐之旅”完整案例假设你是一个 25 岁的男性平时喜欢看篮球、科技测评、搞笑段子。现在有一个新的视频上传内容是一个程序员用 Python 爬取 NBA 数据并做可视化分析。多模态解构视觉识别到电脑屏幕、代码、篮球图表。音频ASR 识别出“爬虫”“Matplotlib”“詹姆斯”等词。融合后生成 512 维向量其中“科技”维度激活 0.9“篮球”维度激活 0.7“幽默”维度激活 0.2。召回你的用户向量在“科技”和“篮球”维度也有高激活。点积计算后这个视频进入你的候选池1000 条内。粗排 精排模型预测你对它的点击概率很高完播概率也不错因为契合双重兴趣加权得分进入 Top 50。重排你刚看过一个纯篮球集锦为了避免重复系统把这个“科技篮球”混搭视频插入到两个搞笑视频之间最终出现在你第 7 个位置。你刷到了它停留了 15 秒点了赞还评论了一句“代码能分享吗”这个行为立即反馈回系统你的用户向量被更新未来类似的“交叉领域”内容会获得更高权重。七、结语推荐算法的终极哲学抖音的推荐算法本质是一套高维空间的匹配与演化系统。它不关心视频本身是美是丑只关心它在 512 维空间中的位置以及你的位置。每一次交互都是对空间坐标的一次微调。作为技术人员我们不仅要知道“怎么做”更要知道“为什么这么做”——因为向量不是冷冰冰的数字它是人类兴趣的数学投影而推荐漏斗则是效率与体验的优雅博弈。希望这篇文章能帮你拨开推荐系统的迷雾。下次刷抖音时不妨想一想此刻又有一个 512 维的向量正在为你而跳动。更多疑问解答你关心的那些算法“玄学”除了算力和兴趣漂移大家平时刷抖音时肯定还积攒了不少“玄学”疑问。1. 我是一个新用户冷启动抖音没我的任何数据为什么推荐得还挺准答系统不会让你“裸奔”。它有三板斧基础属性画像你的手机型号用高端机可能推科技/汽车、地域在北京推故宫攻略在成都推美食、年龄通过手机号段或注册信息推断。社交关系破冰如果你授权了通讯录它会参考你朋友的喜好物以类聚如果你从微信分享了链接它会抓取源头信息。首次交互试探你点开的第一个视频、停留的前几秒会立刻触发试探性投放系统像“撒网”一样给你推几类完全不同的大类内容看你对哪一类反应最强烈。2. 为什么我白天刚跟朋友聊了“想买帐篷”晚上抖音就给我推露营装备抖音在“偷听”我说话吗答大概率不是麦克风偷听成本极高且有法律红线手机系统权限也管得严。真正的罪魁祸首是“行为联想”和“画像共享”你可能在微信/淘宝搜过“帐篷”这些平台的广告联盟把标签共享给了抖音。或者和你连过同一个 WiFi、在同一个地理位置待过的朋友搜了露营系统推测你们有共同需求。这让你产生了“被监听”的错觉其实是你的数字足迹被拼凑起来了。3. 我辛辛苦苦剪的视频如果一开始点赞很少算法是不是就直接“埋葬”我再也不给流量了答不会一棍子打死。算法没感情它只看相对值。系统会先给你的视频推一个“小流量包”比如 500 次曝光。它不看绝对点赞数而是拿你的完播率和互动率去跟同时段、同赛道比如都是萌宠类的平均水平做对比。如果你的指标高于赛道平均值系统就认为这是“潜力股”会送入下一个更大的流量池如果低于平均值流量才会变缓。所以重点不是点赞数而是能否让观众“停下来多看几秒”。4. 我疯狂点“不感兴趣”为什么偶尔还是会刷到类似的内容这按钮是不是糊弄人的答这个按钮绝对有用但它更像“减分项”而不是“屏蔽词”。你点“不感兴趣”系统会把这条视频的向量特征在你的权重里大幅扣分。但是如果后续视频的向量和它的向量极其相似比如同个作者、同首 BGM、同个拍摄场景由于向量空间中的“近邻”效应它们还是可能因为总分达标而漏网。不过放心只要同一个类目下你连续点过 3~5 次“不感兴趣”系统就会把这个大类标签从你的候选池里彻底拉黑很长一段时间都不会再出现。5. 为什么我朋友和我刷到的“热门视频”不一样难道热门不是全量推送吗答哪怕是一个千万播放的“爆款”也不是一次性推给所有人的。真正的热门视频走的是“阶梯式放量”路径。比如一条视频达到 1000 万播放它其实被划分成了成千上万个“兴趣切片”。系统只会把这个爆款推给“用户向量与该视频向量契合”的那部分人。如果你的画像和这个爆款完全不搭边比如爆款是广场舞你是二次元死宅系统宁可让你刷一条只有 10 万播放的二次元视频也不会把广场舞爆款强塞给你。“个性化”优先级永远高于“热门”。