AI目录:sheng的学习笔记-AI目录-CSDN博客
svm: sheng的学习笔记-AI-支持向量机(SVM)-CSDN博客
半监督学习: sheng的学习笔记-AI-半监督学习-CSDN博客
什么是半监督svm
半监督支持向量机(Semi-Supervised Support Vector Machine,简称S3VM)是支持向量机在半监督学习上的推广。
在不考虑未标记样本时,支持向量机试图找到最大间隔划分超平面,而在考虑未标记样本后,S3VM试图找到能将两类有标记样本分开,且穿过数据低密度区域的划分超平面,如图13.3所示,这里的基本假设是“低密度分隔”(low-density separation),显然,这是聚类假设在考虑了线性超平面划分后的推广
TSVM
半监督支持向量机中最著名的是TSVM(Transductive Support Vector Machine),TSVM是针对二分类的方法。
流程:
- 尝试将每个未标记样本分别作为正例或者反例。
- 然后在所有这些结果中,寻求一个在所有样本(包括有标记样本和进行了标记指派的未标记样本)上间隔最大化的划分超平面。
- 一旦划分超平面得以确定,未标记样本的最终标记指派就是其预测结果。
显然,尝试未标记样本的各种标记指派是一个穷举过程,仅当未标记样本很少时才有可能直接求解。在一般情形下,必须考虑更高效的优化策略
优化策略
TSVM采用局部搜索来迭代地寻找式的近似解
算法
在 TSVM
算法中,寻找标记指派可能出错的每一对未标记样本进行调整,这是一个涉及巨大计算开销的大规模优化问题。
- 在论文
《Large Scale Transductive SVMs》
中,约 2000 个未标记样本,原始TVSM
迭代收敛大约需要 1个小时。 - 半监督
SVM
研究的一个重点是如何设计出高效的优化求解策略。由此发展成很多方法,如基于图核函数梯度下降的LDS
算法,基于标记均值估计的meanS3VM
算法等。
参考文章:
https://www.bookstack.cn/read/Vay-keen-Machine-learning-learning-notes/spilt.2.14.md
12.半监督学习 - 二、半监督 SVM - 《AI算法工程师手册》 - 书栈网 · BookStack