Mean Shift (均值漂移)是基于密度的非参数聚类算法,其算法思想是假设不同簇类的数据集符合不同的概率密度分布,找到任一样本点密度增大的最快方向(最快方向的含义就是Mean Shift) ,样本密度高的区域对应于该分布的最大值,这些样本点最终会在局部密度最大值收敛,且收敛到相同局部最大值的点被认为是同一簇类的成员。
均值漂移聚类的目的是发现一个平滑密度的样本点。它是一种基于质心的算法，其工作原理是将质心的候选点更新为给定区域内的点的平均值。然后在后处理阶段对这些候选点进行过滤，以消除近似重复点，形成最终的一组质心。给定一个候选质心xi和迭代次数t，按照以下的等式进行更新:
其中N(xi)是在xi周围给定距离内的样本的邻域，m是针对指向点密度最大增长区域的每个质心计算的平均位移向量。使用以下公式进行计算，能有效地更新一个质心为其邻域内样本的平均值:
Mean Shift算法的流程可被理解为 ：
计算每个样本的平均位移
对每个样本点进行平移
重复（1）（2），直到样本收敛
收敛到相同点的样本可被认为是同一簇类的成员
在Sklearn中实现了MeanShift算法，其算法使用方法如下：
sklearn.cluster.MeanShift(*, bandwidth=None , seeds=None , bin_seeding=False , min_bin_freq=1 , cluster_all=True , n_jobs=None , max_iter=300 )其中最主要的参数是bandwidth，这个参数是用于RBF kernel中的带宽。参数seeds是用于初始化核的种子，如果不指定则会使用sklearn.cluster.estimate_bandwidth进行估计。
from sklearn.cluster import MeanShift import numpy as np 1 , 1 ], [2 , 1 ], [1 , 0
4 , 7 ], [3 , 5 ], [3 , 6 ]]) 2 ).fit(X)
# 导入相关模块和导入数据集 import numpy as npfrom sklearn.cluster import MeanShift, estimate_bandwidthfrom sklearn.datasets import make_blobs# 生成样本数据 1 , 1 ], [-1 , -1 ], [1 , -1 ]]10000 , centers=centers, cluster_std=0.6 )0.2 , n_samples= 500 )''' import matplotlib.pyplot as pltfrom itertools import cycle# 对算法聚类结果进行可视化 'bgrcmykbgrcmykbgrcmykbgrcmyk' )for k, col in zip(range(n_clusters_), colors):0 ], X[my_members, 1 ], col + '.' )0 ], cluster_center[1 ], 'o' , markerfacecolor=col,'k' , markersize=14 )
Mean Shift是聚类中常见的算法，以下展示了该算法在实际中的部分应用：
1. 简单聚类 mean shift用于聚类就有些类似于密度聚类，从单个样本点出发，找到其对应的概率密度局部极大点，并将其赋予对应的极大点，从而完成聚类的过程
2. 图像分割 图像分割的本质也是聚类，不过相对与简单聚类，图像分割又有其特殊性。mean shift通过对像素空间进行聚类,达到图像分割的目的。
3. 图像平滑 图像平滑和图像分割有异曲同工之妙，同样是对每一个像素点寻找其对应的概率密度极大点，主要区别在于：
4. 轮廓提取 同样，轮廓提取与图像分割也是类似的，或者具体地说，轮廓提取可以基于图像分割进行。首先使用mean shift 算法对图像进行分割，然后取不同区域的边缘即可得到简单的轮廓
- EOF -
机器学习交流qq群955171419，加入微信群请 扫码
