-
1 # 肯特崗
-
2 # 瘋狂土豆絲
是,也不是。
大資料包括:獲取資料,分析資料,預測行為。
其中分析資料部分主要工作就是統計各種事件的機率,作為預測行為的根據
-
3 # 江浪0124
什麼是大資料?
簡單的說,“大資料”是指以各種各樣的形式和手段,從很多來源蒐集並抓取而來的龐大資料組,具有實時性。這些資料可能得自網路、電子商務網站、商業銷售紀錄,金融企業及各大通訊服務商,快遞資訊等,為什麼你現在無論是上網還是購物,玩遊戲甚至是去飯店吃飯,各商家都想方設法的讓你登記各種個人資訊?這也是大資料收集。從各種各樣型別的資料中,快速獲得有價值資訊的能力,就是大資料技術,而大資料分析往往與雲計算聯絡在一起。
大資料是統計嗎?其實大資料在收集並利用雲計算進行整理的過程就是一個統計的過程,透過權重計算出資訊價值係數,從而分析可以使用的範圍及比例。
-
4 # IT人劉俊明
這是一個非常好的問題,作為一名IT從業者,我來回答一下。
首先,統計學是大資料的三大基礎學科之一,所以在大資料的技術體系結構當中,統計學佔據著重要的位置,但是如果僅僅把大資料看成是統計學,也存在一定的片面性,從大的發展趨勢來看,大資料把統計學、數學和計算機三大學科進行了緊密的整合,同時結合一系列應用場景知識,來完成資料的價值化過程。
要想解釋清楚大資料,可以從三個方面來解釋,從技術體系結構來看,當前的大資料概念已經發展成為了一系列概念的集合,包括資料採集、資料儲存、資料分析、資料安全和資料應用等,從大資料的價值空間來看,大資料以資料價值化為基礎,以行業應用為價值出口,從未來的發展趨勢來看,大資料與人工智慧和物聯網的結合,將為大資料的應用帶來更多的可能,想象空間也比較大。
當前在大資料的諸多技術環節當中,資料分析是當前大資料進行資料價值化操作的主要方式之一,而資料分析的方式主要有兩種,一種是統計學方式,另一種是機器學習方式。統計學方式進行資料分析有比較長的歷史經驗積累,在傳統的資料分析過程中,統計學的分析方式形成了比較完整的知識體系,尤其在分析結構化資料方面,統計學方式進行資料分析還是具有一定優勢的。另外,統計學方式進行資料分析有大量的工具可以使用,這一方面會減低資料分析的技術門檻,同時也在一定程度上提升了資料分析的效率。
最後,雖然當前的大資料技術體系已經趨於成熟了,但是大資料在落地到行業領域的過程中,也有很多與行業領域相結合的創新點。
-
5 # 彥柯老吳
這個問題問得好,首先回答一下什麼是大資料
其實很簡單,大資料其實就是海量資料巨量資料,這些巨量資料來源於世界各地隨時產生的資料,在大資料時代,任何微小的資料都可能產生不可思議的價值。大資料有4個特點,為別為:Volume(大量)、Variety(多樣)、Velocity(高速)、Value(價值),一般我們稱之為4V。
1.大量。大資料的特徵首先就體現為“大”,從先Map3時代,一個小小的MB級別的Map3就可以滿足很多人的需求,然而隨著時間的推移,儲存單位從過去的GB到TB,乃至現在的PB、EB級別。隨著資訊科技的高速發展,資料開始爆發性增長。社交網路(微博、推特、臉書)、行動網路、各種智慧工具,服務工具等,都成為資料的來源。淘寶網近4億的會員每天產生的商品交易資料約20TB;臉書約10億的使用者每天產生的日誌資料超過300TB。迫切需要智慧的演算法、強大的資料處理平臺和新的資料處理技術,來統計、分析、預測和實時處理如此大規模的資料。
3.高速。大資料的產生非常迅速,主要透過網際網路傳輸。生活中每個人都離不開網際網路,也就是說每天個人每天都在向大資料提供大量的資料。並且這些資料是需要及時處理的,因為花費大量資本去儲存作用較小的歷史資料是非常不划算的,對於一個平臺而言,也許儲存的資料只有過去幾天或者一個月之內,再遠的資料就要及時清理,不然代價太大。基於這種情況,大資料對處理速度有非常嚴格的要求,伺服器中大量的資源都用於處理和計算資料,很多平臺都需要做到實時分析。資料無時無刻不在產生,誰的速度更快,誰就有優勢。
4.價值。這也是大資料的核心特徵。現實世界所產生的資料中,有價值的資料所佔比例很小。相比於傳統的小資料,大資料最大的價值在於透過從大量不相關的各種型別的資料中,挖掘出對未來趨勢與模式預測分析有價值的資料,並透過機器學習方法、人工智慧方法或資料探勘方法深度分析,發現新規律和新知識,並運用於農業、金融、醫療等各個領域,從而最終達到改善社會治理、提高生產效率、推進科學研究的效果。
在大資料時代,每個人都會享受到大資料所帶來的便利。買東西可以足不出戶;有急事出門可以不用再隨緣等計程車;想了解天下事只需要動動手指。雖然大資料會產生個人隱私問題,但總的來說,大資料還是在不斷的改善我們的生活,讓生活更加方便
-
6 # IT少女
你應該有發現你在某些網站搜尋過什麼,那一段時間基本給你推送的都是相關的東西了吧。
譬如:百度,淘寶,抖音等等只要你搜索過,或者那段時間那看過相關的,基本上給你推薦的都是和那些有關的訊息。
這就是大資料時代,你做過什麼 ,都會被捕獲到,這是用淺顯易懂的話術和你說。
大資料的名字就很通俗。就是很多資料,海量資料管理,使用的相關技術集合就是大資料。
現在各行各業每天都在產生大量的資料,個人理解大資料時代就是資訊爆炸的時代,如何從海量資料中尋找出自己有用的資訊才是關鍵。
其實大資料簡單來說:就是海量的資訊!不論用途,不論方向,就是簡單地資訊收集,引數收集,所有這些彙總起來就是大資料。大資料,不是隨機樣本,而是所有資料!
而大資料分析,就是針對這些資訊進行識別,再進行分類,將其有事件變為資料化,機率化,然後應用於各種商業用途。
-
7 # 滿目山河空念遠
不完全是,通俗一點,各種知識的綜合運用,比如天氣情況,需要觀察各種變化,然後綜合處理。只是大資料裡面的各種因素變化複雜,需要人工智慧處理,人類很難完成。
回覆列表
普遍的定義認為,統計學是關於資料的科學,研究如何收集資料,併科學地推斷總體特徵。大資料和統計學還是存在一定區別的,其一是資料分析時不再進行抽樣,而是採用population(n=all);其二是分析方法,側重所有變數之間的相關性,而不再根據背景學科理論篩選變數,進行假設檢驗。
現在社會上有一種流行的說法,認為在大資料時代,“樣本=全體”,人們得到的不是抽樣資料而是全資料,因而只需要簡單地數一數就可以下結論了,複雜的統計學方法可以不再需要了。
普查和抽樣調查是傳統的兩大資料收集方法。普查不需要統計學方法進行推斷估計,因為透過普查,已經取得了所有個體資料和總體的實際分佈,這也是為什麼人類開始懂得計數就開始進行普查。抽樣調查是利用抽樣理論解決如何科學設計樣本,取得樣本個體資料,併科學地推斷總體分佈及特徵。無論是普查還是抽樣調查,其核心問題之一是要取得準確的“個體資料”。但在大資料時代,一切皆可量化,一切皆可記錄,如何利用更全面、更及時、更經濟的網路電子化資料,以及透過對這些資料使用新的分析及挖掘技術,產生新的見解和認識,是我們面臨的重大機遇。
大資料的應用可以說是在減少人類處理資料時帶入的主觀假設的影響,而完全依靠資料間的相關性來闡述。而由於消除人為因素帶入的誤差,已經分析人員作出假設的限制(如果教育背景和保險購買額是相關的,而分析人員沒想到,那這個結論就不會被分析出來,這在實際案例中是很容易發生的,大資料的核心也就在於它能更充分的發掘資料的全部真實含義。
在大資料時代,資料分析的很多根本性問題和小資料時代並沒有本質區別。當然,大資料的特點,確實對資料分析提出了全新挑戰。例如,許多傳統統計方法應用到大資料上,巨大計算量和儲存量往往使其難以承受;對結構複雜、來源多樣的資料,如何建立有效的統計學模型也需要新的探索和嘗試。對於新時代的資料科學而言,這些挑戰也同時意味著巨大的機遇,有可能會產生新的思想、方法和技術。
西線學院培訓機構提供良好的教學環境,良好的師資以及行業資源,使得西線學院教學永遠都是跟隨行業進步的步伐。說了這麼多,其實就是想讓你更加了解大資料。如此優秀的資源和別人望眼欲穿的實習機會,再不行動就要被後來居上的技術人員拍死在沙灘上了。