首頁>Club>
3
回覆列表
  • 1 # 沃爾瑪王輝Hunter

    學習和掌握大資料的門檻實際是還是很高的,一般建議先學習普通的關係型資料庫,然後再學習大資料的操作和處理。

    基礎階段:Linux、Docker、KVM、MySQL基礎、Oracle基礎、MongoDB、redis。hadoop mapreduce hdfs yarn:hadoop:Hadoop 概念、版本、歷史,HDFS工作原理,YARN介紹及元件介紹。

    大資料儲存階段:hbase、hive、sqoop。

    大資料架構設計階段:Flume分散式、Zookeeper、Kafka。

    大資料實時計算階段:Mahout、Spark、storm。

    大資料資料採集階段:Python、Scala。

    大資料商業實戰階段:實操企業大資料處理業務場景,分析需求、解決方案實施,綜合技術實戰應用。

    大資料(big data,mega data),或稱巨量資料,指的是需要新處理模式才能具有更強的決策力、洞察力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。 在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大資料時代》中大資料指不用隨機分析法(抽樣調查)這樣的捷徑,而採用所有資料進行分析處理。大資料的5V特點:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值密度)、Veracity(真實性)。

    大資料的5個“V”,或者說特點有五層面:

    第一,資料體量巨大

    從TB級別,躍升到PB級別。

    第二,資料型別繁多

    前文提到的網路日誌、影片、圖片、地理位置資訊等等。

    第三,價值密度低

    以影片為例,連續不間斷監控過程中,可能有用的資料僅僅有一兩秒。

    第四,處理速度快

    1秒定律。最後這一點也是和傳統的資料探勘技術有著本質的不同。業界將其歸納為4個“V”——Volume,Variety,Value,Velocity。

  • 2 # 自然科學非自然

    目前能稱之為大資料的就是幾個網際網路公司用的溜一點,其他都是幌子。但我認為學起來,用起來簡單,吃透很難,沒有數學功底,很難完成底層架構的修改。

  • 中秋節和大豐收的關聯?
  • 海藻生長過程?