回覆列表
  • 1 # 博易資料

    有了資料,之後就是研究分析。如果是文字資料,可以用內容分析法,透過建立類目來對大資料文字進行編碼、統計分析,這時機器學習就派上用場了。通常大資料分析的主要問題就是對海量資料的分析是不可能完全指望人工手動逐條進行的,利用機器學習可以進行自動編碼,速度快效率高。也就是說,機器學習主要應用在對大資料進行自動編碼這個部分。

    當然,現在有很多商業的機構,比如大資料方面的機構通常都是用機器學習來進行快速的輿情分析,幾乎是可以即時出自動分析結果,比如資訊量趨勢、詞雲、情感分析等,在速度方面都可以做到快,但是結果質量就不一定了。

    大資料分析不是有大資料、有演算法、有機器學習就足夠的。在價值挖掘和提升方面,還需要縱深的考量,其中最重要的當然還是“人的智慧”本身,即研究員對於研究計劃的設定能力,這是大資料分析結果質量,也就是價值挖掘的根源所在。機器和技術可以幫助我們進行海量資料分析,但是分析什麼,怎麼分析這需要我們人的智慧透過專業嚴謹的研究計劃和指引來告訴機器。

    機器學習透過對資料(或文字)的持續觀察中生成機率模型、“學習”資料的規律,並對未知資料結構或模式進行推斷和識別。通常分為無監督的(unsupervised)學習和有監督的(supervised)學習,我們在大資料文字分析過程中,比較常用的就是有監督的學習,通俗來講,就是研究者或者編碼員先進行人工歸類和編碼,然後把這些結果交給機器,機器學習了這些知識後,根據學習到的這些經驗和知識,就可以對剩餘其他的文字進行自動的歸類和編碼了。比較常見的應用就是分類和情感分析了。

    最後,機器學習畢竟是機器,雖然可以透過技術手段來實現一些人力不可完成的事情,但是對於情感、經驗和價值觀的判斷結果的準確性還有很大的提升空間。所以利用大資料和機器學習,主要還是提升速度和效率方面,如果想透過技術來實現價值挖掘,還是離不開“人的智慧”,因而人機結合才是可行方案。

  • 中秋節和大豐收的關聯?
  • LOL裡玩虛空先知瑪爾扎哈前期應該注意什麼?