t-SNE实践——sklearn教程

t-SNE是一种集降维与可视化于一体的技术，它是基于SNE可视化的改进，解决了SNE在可视化后样本分布拥挤、边界不明显的特点，是目前最好的降维可视化手段。 
关于t-SNE的历史和原理详见从SNE到t-SNE再到LargeVis。 

代码见下面例一

TSNE的参数

函数参数表：

返回对象的属性表：

t-distributed Stochastic Neighbor Embedding(t-SNE)

t-SNE可降样本点间的相似度关系转化为概率：在原空间（高维空间）中转化为基于高斯分布的概率；在嵌入空间（二维空间）中转化为基于t分布的概率。这使得t-SNE不仅可以关注局部（SNE只关注相邻点之间的相似度映射而忽略了全局之间的相似度映射，使得可视化后的边界不明显），还关注全局，使可视化效果更好（簇内不会过于集中，簇间边界明显）。

目标函数：原空间与嵌入空间样本分布之间的KL散度。 
优化算法：梯度下降。 
注意问题：KL散度作目标函数是非凸的，故可能需要多次初始化以防止陷入局部次优解。

t-SNE的缺点：

• 计算量大，耗时间是PCA的百倍，内存占用大。
• 专用于可视化，即嵌入空间只能是2维或3维。
• 需要尝试不同的初始化点，以防止局部次优解的影响。

t-SNE的优化

在优化t-SNE方面，有很多技巧。下面5个参数会影响t-SNE的可视化效果：

• perplexity 混乱度。混乱度越高，t-SNE将考虑越多的邻近点，更关注全局。因此，对于大数据应该使用较高混乱度，较高混乱度也可以帮助t-SNE拜托噪声的影响。相对而言，该参数对可视化效果影响不大。
• early exaggeration factor 该值表示你期望的簇间距大小，如果太大的话（大于实际簇的间距），将导致目标函数无法收敛。相对而言，该参数对可视化效果影响较小，默认就行。
• learning rate 学习率。关键参数，根据具体问题调节。
• maximum number of iterations 迭代次数。迭代次数不能太低，建议1000以上。
• angle (not used in exact method) 角度。相对而言，该参数对效果影响不大。

PS：一个形象展示t-SNE优化技巧的网站How to Use t-SNE Effectively. 

代码

例一

1.  
   import numpy as np
2.  
   import matplotlib.pyplot as plt
3.  
   from sklearn import manifold, datasets
4.  
    
5.  
   digits = datasets.load_digits(n_class=6)
6.  
   X, y = digits.data, digits.target
7.  
   n_samples, n_features = X.shape
8.  
    
9.  
   ‘‘‘显示原始数据‘‘‘
10.  
    n = 20 # 每行20个数字，每列20个数字
11.  
    img = np.zeros((10 * n, 10 * n))
12.  
    for i in range(n):
13.  
    ix = 10 * i + 1
14.  
    for j in range(n):
15.  
    iy = 10 * j + 1
16.  
    img[ix:ix + 8, iy:iy + 8] = X[i * n + j].reshape((8, 8))
17.  
    plt.figure(figsize=(8, 8))
18.  
    plt.imshow(img, cmap=plt.cm.binary)
19.  
    plt.xticks([])
20.  
    plt.yticks([])
21.  
    plt.show()

1.  
   ‘‘‘t-SNE‘‘‘
2.  
   tsne = manifold.TSNE(n_components=2, init=‘pca‘, random_state=501)
3.  
   X_tsne = tsne.fit_transform(X)
4.  
    
5.  
   print("Org data dimension is {}.
6.  
   Embedded data dimension is {}".format(X.shape[-1], X_tsne.shape[-1]))
7.  
    
8.  
   ‘‘‘嵌入空间可视化‘‘‘
9.  
   x_min, x_max = X_tsne.min(0), X_tsne.max(0)
10.  
    X_norm = (X_tsne - x_min) / (x_max - x_min) # 归一化
11.  
    plt.figure(figsize=(8, 8))
12.  
    for i in range(X_norm.shape[0]):
13.  
    plt.text(X_norm[i, 0], X_norm[i, 1], str(y[i]), color=plt.cm.Set1(y[i]),
14.  
    fontdict={‘weight‘: ‘bold‘, ‘size‘: 9})
15.  
    plt.xticks([])
16.  
    plt.yticks([])
17.  
    plt.show()

t-SNE高维数据可视化（python）

t-SNE（t-distributedstochastic neighbor embedding ）是目前最为流行的一种高维数据降维的算法。在大数据的时代，数据不仅越来越大，而且也变得越来越复杂，数据维度的转化也在惊人的增加，例如，一组图像的维度就是该图像的像素个数，其范围从数千到数百万。

对计算机而言，处理高维数据绝对没问题，但是人类能感知的确只有三个维度，因此很有必要将高维数据可视化的展现出来。那么如何将数据集从一个任意维度的降维到二维或三维呢。T-SNE就是一种数据降维的算法，其成立的前提是基于这样的假设：尽管现实世界中的许多数据集是嵌入在高维空间中，但是都具有很低的内在维度。也就是说高维数据经过降维后，在低维状态下更能显示出其本质特性。这就是流行学习的基本思想，也称为非线性降维。

关于t-SNE的详细介绍可以参考：https://www.oreilly.com/learning/an-illustrated-introduction-to-the-t-sne-algorithm

下面就展示一下如何使用t-SNE算法可视化sklearn库中的手写字体数据集。

1.  
   import numpy as np
2.  
   import sklearn
3.  
   from sklearn.manifold import TSNE
4.  
   from sklearn.datasets import load_digits
5.  
    
6.  
   # Random state.
7.  
   RS = 20150101
8.  
    
9.  
   import matplotlib.pyplot as plt
10.  
    import matplotlib.patheffects as PathEffects
11.  
    import matplotlib
12.  
     
13.  
    # We import seaborn to make nice plots.
14.  
    import seaborn as sns
15.  
    sns.set_style(‘darkgrid‘)
16.  
    sns.set_palette(‘muted‘)
17.  
    sns.set_context("notebook", font_scale=1.5,
18.  
    rc={"lines.linewidth": 2.5})
19.  
    digits = load_digits()
20.  
    # We first reorder the data points according to the handwritten numbers.
21.  
    X = np.vstack([digits.data[digits.target==i]
22.  
    for i in range(10)])
23.  
    y = np.hstack([digits.target[digits.target==i]
24.  
    for i in range(10)])
25.  
    digits_proj = TSNE(random_state=RS).fit_transform(X)
26.  
     
27.  
    def scatter(x, colors):
28.  
    # We choose a color palette with seaborn.
29.  
    palette = np.array(sns.color_palette("hls", 10))
30.  
     
31.  
    # We create a scatter plot.
32.  
    f = plt.figure(figsize=(8, 8))
33.  
    ax = plt.subplot(aspect=‘equal‘)
34.  
    sc = ax.scatter(x[:,0], x[:,1], lw=0, s=40,
35.  
    c=palette[colors.astype(np.int)])
36.  
    plt.xlim(-25, 25)
37.  
    plt.ylim(-25, 25)
38.  
    ax.axis(‘off‘)
39.  
    ax.axis(‘tight‘)
40.  
     
41.  
    # We add the labels for each digit.
42.  
    txts = []
43.  
    for i in range(10):
44.  
    # Position of each label.
45.  
    xtext, ytext = np.median(x[colors == i, :], axis=0)
46.  
    txt = ax.text(xtext, ytext, str(i), fontsize=24)
47.  
    txt.set_path_effects([
48.  
    PathEffects.Stroke(linewidth=5, foreground="w"),
49.  
    PathEffects.Normal()])
50.  
    txts.append(txt)
51.  
     
52.  
    return f, ax, sc, txts
53.  
     
54.  
    scatter(digits_proj, y)
55.  
    plt.savefig(‘digits_tsne-generated.png‘, dpi=120)
56.  
    plt.show()

可视化结果如下：

原文：https://www.cnblogs.com/zb-ml/p/12686207.html