大資料——當下人人津津樂道的話題。然而對於大資料的公認定義以及完美體系還沒有完全誕生，但大街小巷已遍佈雲計算、大資料，這些領域的經典案例更是層出不窮。由於認知的有限，就不繼續發表拙見了。只是因為很喜歡演算法和DM，加上最近在MOOC上學習一門HIT的《大資料演算法》課程，收穫很多特記錄於此，也推薦一下MOOC的學習資源和學習平臺。雖然開始演算法的旅程太短，但它的神奇魔力深深吸引了我。在網際網路時代發揮巨大而神奇作用的演算法，在即將到來的大資料時代又該如何適應，以何種方式體現？成為了我探尋的最大樂趣。

大資料演算法定義：在給定的資源約束下，以大資料為輸入，在給定的時間約束內可以生成滿足給定約束結果的演算法。

當然關於大資料的定義也有很多，但目前還未完全統一。不管是哪一種定義關鍵在於自己能夠真正去理解的，才是好的定義。

大資料的應用：

1.預測：時間序列等；

2.推薦：協同過濾等；

3.商業情報分析：機器學習等；

4.科學研究：機器學習，高可擴充套件、非線性時間演算法等。

大資料應用直接度娘就遍地都是了，這裡就不贅述了。

大資料特點(4V)：

Ø variety：多樣性、複雜性；

Ø velocity：速度；

Ø volume：資料量；

Ø value：基於高度分析的新價值。

特點應該是耳熟能詳了，這裡只是提一下這門課程中的在於velocity和volume上的。

大資料演算法概述：

Ø 時間亞線性演算法：訪問全部資料時間過長。可採取讀取部分資料或者預處理等方式。

Ø 空間亞線性演算法：資料難於放入記憶體進行計算，則可採取僅基於少量資料進行計算。

Ø 外存演算法：資料難於放入記憶體計算，也可採取將資料儲存在磁碟上，再進行呼叫計算。

Ø 並行演算法：單個計算機難以儲存全部資料，計算需要整體資料。則可以採用平行計算。

Ø 眾包演算法：計算機能力不足或知識不足，此時可以採取“人多勢眾”的策略來解決。

這是這門課程的演算法主要概述了，比較全面也比較實用。可以從裡面學到很多不一樣的演算法思想，以及演算法的應用的。目前這部分算是沒有到發展瓶頸的，很有發展潛力的哦。

大資料的演算法分析：時間空間複雜性、IO複雜性、結果質量（近似比、competitive ratio等）、通訊複雜性等，更加全面和更多的因素分析了。

大資料的演算法設計技術：精確演算法設計方法、並行演算法、近似演算法、隨機演算法、線上演算法/資料流演算法、外存演算法、面向新型體系結構的演算法、現代最佳化演算法等等。你想得到的和想不到的都在這裡了。

　　不僅僅是選中的十大演算法，其實參加評選的18種演算法，實際上隨便拿出一種來都可以稱得上是經典演算法，它們在資料探勘領域都產生了極為深遠的影響。

　　1.C4.5

　　C4.5演算法是機器學習演算法中的一種分類決策樹演算法,其核心演算法是ID3演算法.C4.5演算法繼承了ID3演算法的優點，並在以下幾方面對ID3演算法進行了改進：

　　1)用資訊增益率來選擇屬性，克服了用資訊增益選擇屬性時偏向選擇取值多的屬性的不足；

　　2)在樹構造過程中進行剪枝；

　　3)能夠完成對連續屬性的離散化處理；

　　4)能夠對不完整資料進行處理。

　　C4.5演算法有如下優點：產生的分類規則易於理解，準確率較高。其缺點是：在構造樹的過程中，需要對資料集進行多次的順序掃描和排序，因而導致演算法的低效。

　　2.Thek-meansalgorithm即K-Means演算法

　　k-meansalgorithm演算法是一個聚類演算法，把n的物件根據他們的屬性分為k個分割，k 3.Supportvectormachines

　　支援向量機，英文為SupportVectorMachine，簡稱SV機（論文中一般簡稱SVM）。它是一種監督式學習的方法，它廣泛的應用於統計分類以及迴歸分析中。支援向量機將向量對映到一個更高維的空間裡，在這個空間裡建立有一個最大間隔超平面。在分開資料的超平面的兩邊建有兩個互相平行的超平面。分隔超平面使兩個平行超平面的距離最大化。假定平行超平面間的距離或差距越大，分類器的總誤差越小。一個極好的指南是C.J.CBurges的《模式識別支援向量機指南》。vanderWalt和Barnard將支援向量機和其他分類器進行了比較。

　　4.TheApriorialgorithm

　　Apriori演算法是一種最有影響的挖掘布林關聯規則頻繁項集的演算法。其核心是基於兩階段頻集思想的遞推演算法。該關聯規則在分類上屬於單維、單層、布林關聯規則。在這裡，所有支援度大於最小支援度的項集稱為頻繁項集，簡稱頻集。

　　5.最大期望(EM)演算法

　　在統計計算中，最大期望（EM，Expectation–Maximization）演算法是在機率（probabilistic）模型中尋找引數最大似然估計的演算法，其中機率模型依賴於無法觀測的隱藏變數（LatentVariabl）。最大期望經常用在機器學習和計算機視覺的資料集聚（DataClustering）領域。

　　6.PageRank

　　PageRank是Google演算法的重要內容。2001年9月被授予美國專利，專利人是Google創始人之一拉里·佩奇（LarryPage）。因此，PageRank裡的page不是指網頁，而是指佩奇，即這個等級方法是以佩奇來命名的。

　　PageRank根據網站的外部連結和內部連結的數量和質量倆衡量網站的價值。PageRank背後的概念是，每個到頁面的連結都是對該頁面的一次投票，被連結的越多，就意味著被其他網站投票越多。這個就是所謂的“連結流行度”——衡量多少人願意將他們的網站和你的網站掛鉤。PageRank這個概念引自學術中一篇論文的被引述的頻度——即被別人引述的次數越多，一般判斷這篇論文的權威性就越高。

　　7.AdaBoost

　　Adaboost是一種迭代演算法，其核心思想是針對同一個訓練集訓練不同的分類器(弱分類器)，然後把這些弱分類器集合起來，構成一個更強的最終分類器(強分類器)。其演算法本身是透過改變資料分佈來實現的，它根據每次訓練集之中每個樣本的分類是否正確，以及上次的總體分類的準確率，來確定每個樣本的權值。將修改過權值的新資料集送給下層分類器進行訓練，最後將每次訓練得到的分類器最後融合起來，作為最後的決策分類器。

　　8.kNN:k-nearestneighborclassification

　　K最近鄰(k-NearestNeighbor，KNN)分類演算法，是一個理論上比較成熟的方法，也是最簡單的機器學習演算法之一。該方法的思路是：如果一個樣本在特徵空間中的k個最相似(即特徵空間中最鄰近)的樣本中的大多數屬於某一個類別，則該樣本也屬於這個類別。

　　9.NaiveBayes

　　在眾多的分類模型中，應用最為廣泛的兩種分類模型是決策樹模型(DecisionTreeModel)和樸素貝葉斯模型（NaiveBayesianModel，NBC）。樸素貝葉斯模型發源於古典數學理論，有著堅實的數學基礎，以及穩定的分類效率。同時，NBC模型所需估計的引數很少，對缺失資料不太敏感，演算法也比較簡單。理論上，NBC模型與其他分類方法相比具有最小的誤差率。但是實際上並非總是如此，這是因為NBC模型假設屬性之間相互獨立，這個假設在實際應用中往往是不成立的，這給NBC模型的正確分類帶來了一定影響。在屬性個數比較多或者屬性之間相關性較大時，NBC模型的分類效率比不上決策樹模型。而在屬性相關性較小時，NBC模型的效能最為良好。

　　10.CART:分類與迴歸樹

　　CART,ClassificationandRegressionTrees。在分類樹下面有兩個關鍵的思想。第一個是關於遞迴地劃分自變數空間的想法；第二個想法是用驗證資料進行剪枝。

演算法

是指一切經過明確定義的計算過程，其將某個或者某組值作為輸入內容，併產生某個或者某組值作為輸出結果。簡單的說，我們可以將演算法視為一系列用於解決某個任務的步驟。

大資料領域常用的演算法有：

CART演算法、K-Means演算法、AdaBoost演算法、C4.5演算法、PageRank演算法、Apriori演算法、EM演算法、SVM演算法、樸素貝葉斯演算法等。

相關：

影響我們世界的十大演算法

https://www.toutiao.com/i6757882339486859787/