聚類

聚類是一種無指導的機器學習方法，在機器學習、統計分析、模式識別、資料探勘、生物學等許多領域得到了廣泛的研究與應用。聚類的基本目的是將資料物件按照一定的標準分成若干個簇，使得同一個簇中的物件之間相似度較大，不同簇之間的物件相似度較小。文件的聚類分析與一般的聚類分析類似，往往包括如下5個步驟：(1). 模式表示，往往包括特徵抽取和特徵選擇，把資料物件表示成適合於演算法可計算的形式；(2). 根據領域知識定義模式之間的距離測度公式；(3). 聚類或者分組；(4). 資料抽象表達（如果需要）；(5). 評價輸出結果（如果需要）。這裡主要對前三個步驟進行介紹。文字聚類分析首先要考慮的是文字表示問題，即如何從一個電子文字的符號和文字中抽取出特徵，透過這些特徵來表示相應的文字，利用這些特徵資料進行聚類分析。不同的文字表示形式包括可以選擇不同的表示模型（如向量空間模型、機率模型、語言模型等），可以選擇不同的特徵選擇方法，可以利用LSI等不同的降維策略等。常用的表示方法是向量表示法。向量空間模型將文件表示成一個向量，向量的每一維表示一個特徵，該特徵可以是一個字、一個詞、一個n-gram或某個複雜的結構。通常情況下，利用向量空間模型表示文件時，需要對於文件進行切分（即前述的中文分詞，對英文而言是透過詞的分界符識別單詞）、停用詞處理、英文詞的詞形還原或者提取詞幹，經過這些步驟的處理，基本上可以得到一系列詞並將其作為文件的特徵。所有的這些詞構成一個“空間”，每個詞對應著空間中的一維。每個文件可以用文件中的詞來表示，這些詞及其權重構成一個向量。向量的每個維度描述物件的一個特徵，每一個特徵的重要度通常採用TF*IDF的計算方法來衡量，更多的工作是透過引數調節上獲取更好的效果。北京理工大學大資料搜尋與挖掘實驗室張華平主任研發的NLPIR大資料語義智慧分析平臺，它是根據中文資料探勘的綜合需求,融合了網路精準採集、自然語言理解、文字挖掘和語義搜尋的研究成果,並針對網際網路內容處理的全技術鏈條的共享開發平臺。主要有精準採集、文件轉化、新詞發現、批次分詞、語言統計、文字聚類、文字分類

聚類是將資料集中的資料相似的聚在一塊，不相似的則不關聯，其次，一般是使用歐式距離，曼哈頓距離進行資料集特徵值的距離計算，得到一個值。

如果以這個特徵為標準，也聚類出以這個特徵為標準的幾個類。在聚類前要先用手肘法對資料集特徵進行判斷，應該聚幾個類。

聚類是否能夠去除噪聲，我覺得不太行，去除噪聲是在聚類前自己對資料處理，屬於資料處理步驟，可以對資料進行清洗，去除空白值，對資料均一化處理。

後面會在公號分享一些案例，可以看看

1、與多元分析的其他方法相比，聚類分析是很粗糙的，理論尚不完善，但由於它成功地應用於心理、經濟、社會、管理、醫學、地質、生態、地震、氣象、考古、企業決策等，因此成了多元分析的重要方法，統計包中都有豐富的軟體，對資料進行聚類處理。

2、聚類分析除了獨立的統計功能外，還有一個輔助功能，就是和其他統計方法配合，對資料進行預處理。

例如，當總體不清楚時，可對原始資料進行聚類，根據聚類後相似的資料，各自建立迴歸分析，分析的效果會更好。同時如果聚類不是根據個案，而是對變數先進行聚類，聚類的結果，可以在每一類推出一個最有代表性的變數，從而減少了進入迴歸方程的變數數。

3、聚類分析是研究按一定特徵，對研究物件進行分類的多元統計方法，它並不關心特徵及變數間的因果關係。分類的結果，應使類別間個體差異大，而同類的個體差異相對要小。聚類效果的檢驗：

一、聚類分析後得到的每個類別是否可以進行有效的命名，每個類別的特徵情況是否符合現實意義，如果研究者可以結合專業知識對每個聚類類別進行命名，即說明聚類效果良好，如果聚類類別無法進行命名，則需要考慮重新進行聚類分析。

二、使用判別分析方法進行判斷，將SPSS生成的聚類類別變數作為因變數(Y)，而將聚類變數作為自變數(X)進行判別分析，判別分析具體分析聚類變數與類別之間投影關係情況，如果研究人員對聚類分析效果非常在乎，可以使用判別分析進行分析。

三、聚類分析方法的詳細過程說明，描述清楚聚類分析的科學使用過程，科學的聚類分析方法使用即是良好結果的前提保障。

是、聚類分析後每個類別樣本數量是否均勻，如果聚類結果顯示為三個類別，有一個類別樣本量非常少，比如低於30，此時很可能說明聚類效果較差。針對聚類效果的判斷，研究者主要是結合專業知識判斷，即聚類類別是否可以進行有效命名。