-
1 # 小A說職場
-
2 # 資料洞察指南
我上一份工作是資料分析師,現在的工作是資料探勘工程師,因此我可以以我自己的實際經驗來回答這個問題。
資料分析師和資料探勘工程師,同屬於資料領域的洞察者,但是兩者的工作內容卻有著不小的區別。
對於一個數據分析師來說,最重要的並不是程式設計技能,而是邏輯分析能力、業務理解能力、報告展示能力等。
資料分析師:
資料分析師使用的主要工具可以是程式設計,但並非必要;
因為現在已經存在大量的強大、易用的資料分析工具,比如Excel、Tableau、SPSS、SAS等,即使你沒有程式設計能力,仍然能勝任絕大多數的資料分析工作;
但是相對於資料探勘工程師,你還額外需要一些能力,比如資料視覺化的能力、寫資料報告的能力、在領導甚至許多人面前做報告、講演的能力等;
同時,由於現在網際網路公司都在講大資料,資料的儲存基本上在各種大資料平臺和資料庫中,因此你有必要掌握Hive、HDFS、MySQL等的使用,SQL的熟練掌握是不可避免的。
資料分析師一般有兩種,一種是面向業務的,主要對各業務線、產品經理、運營、各部門領導的需求提供支援,幫助他們分析業務、瞭解業務,發掘出業務中的問題並提供解決方案;另一種是偏宏觀的分析,一般沒有需求方,主要是自發地進行探索,主動找到公司業務中存在的問題,弄清公司發展的趨勢,對於公司發展的方向做出指引。
資料探勘工程師
雖然說不會程式設計也不至於完全無法做資料探勘工作,但是好的程式設計技能卻會成為你工作中的得力助手;
很多時候,資料探勘工程師會為資料分析師提供一些支援性的工作,比如為他們搭建資料庫、清洗資料、建立報表平臺等;
有些時候資料分析師也會直接向資料探勘工程師提出需求,有些資料的儲存方式、格式超出了資料分析師的技能覆蓋範圍,這時就需要資料探勘工程師幫他們做一些前期工作;
另外呢,資料探勘工程師往往還需要做一些機器學習方面的工作,因此就需要對各種機器學習演算法的理論及程式碼實踐有足夠的認識。
資料探勘工程師之中,也分很多不同的型別,比如做特徵工程的、資料倉庫的、資料平臺支援的、演算法工程師、資料科學家等,他們的工作職責各有不同,職業技能也各有側重。
對於大多數資料探勘工程師來說,程式設計技能是必不可少的,但是針對不同挖掘工程師的性質,需要掌握不同的程式設計技能。一般來說,Python、Java、Scala是常用的大資料探勘語言,有一些資料科學家喜歡用R;最常用的大資料平臺是Hadoop平臺和Spark平臺,常用的結構化資料庫是MySQL或其他關係型資料庫,非結構化資料庫中MongoDB較為常用。
對於資料探勘工程師來說,必要的Linux知識也必不可少。因為資料探勘工程師絕大多數的工作都是在遠端的伺服器上完成的,不能流暢地在命令列中操作各種Linux系統(常用的有CentOS、Ubuntu等),工作的效率會大大降低。另外Shell在資料處理上也很強大,sed+awk簡直是資料處理的神器。
以上並不是非常系統的對比,但是是我在工作中最實際的體驗,我並非碼農出身,這個轉型過程中遇到了很多挑戰,但是他們之間並沒有天塹一樣的區別,很多地方是共通的,如果你程式設計基礎較差,那麼可以從資料分析師入手,之後在考慮轉型資料探勘;如果程式設計基礎較好,可以考慮資料探勘,但是資料探勘工程師一般情況下不會接觸太多的業務。兩者的職業路線非常不同,資料分析師之後可以做業務、可以轉產品、可以做管理;而資料探勘工程師一般會在技術領域垂直、深入地探索,之後可能會做技術管理,也有一輩子做技術的。
綜上所述,你可以根據自己的實際情況,做出選擇了。後悔藥是有的,不用過多糾結,他們之間並不是做了A就再也不能做B了。
資料分析師與資料探勘工程師分別有什麼從業要求?問題1、資料分析師與資料探勘工程師分別需要掌握哪些知識與工具?資料分析師也需要掌握python嗎。問題2、資料分析需要python來完成什麼工作任務。資料探勘工程師需要python來完成什麼工作任務,兩崗位對python使用要求有什麼區別?問題3,資料分析師,也需要掌握機器學習演算法嗎?
回覆列表
資料工程師,資料分析師和資料科學家-當人們談論快速發展的資料科學領域時,經常會提到這些職位。
儘管每個公司對每個角色都有自己的定義,但是您作為資料分析師,資料科學家或資料工程師每天可能要做的工作之間存在很大差異。我們將更深入地研究每個特定的角色,但讓我們從一個快速的測驗開始,它可以幫助您找出最適合您的方法:
測驗:哪個角色最適合您?
下面,我們建立了一個快速的,包含四個問題的測驗,以幫助您瞭解哪個職位最合適:
希望該測驗使您對在資料科學行業中可能要開始的旅程有所瞭解。(而且,如果您沒有得到想要的答案,請不要擔心-這只是一個快速測驗,而這三個職位的技能和任務之間有很多重疊之處)。
當然,這些工作角色比我們在四個問題的測驗中所能傳達的要多得多,所以讓我們從資料分析師的角色開始,更詳細地研究每個角色,並進一步瞭解每個角色的含義。
什麼是資料分析師?
資料分析師透過獲取資料,使用資料來回答問題並傳達結果以幫助制定業務決策,從而為公司創造價值。資料分析師執行的常見任務包括資料清理,執行分析和建立資料視覺化。
取決於行業,資料分析師可能會使用不同的頭銜(例如,業務分析師,商業智慧分析師,運營分析師,資料庫分析師)。不管職位高低,資料分析師都是通才,可以擔任許多角色和團隊,以幫助其他人做出更好的資料驅動決策。
深度資料分析師
資料分析師具有將傳統業務轉變為資料驅動業務的潛力。
雖然資料分析師的職位通常是更廣泛資料領域中的 “入門級” 工作,但並非所有分析師都是初級職位。作為精通 技術工具的有效溝通者,資料分析師對於將技術和業務團隊分開的公司至關重要。
他們的核心職責是幫助其他人跟蹤進度並最佳化他們的關注點。營銷人員如何使用分析資料來幫助啟動下一個廣告系列?銷售代表如何更好地確定要定位的受眾特徵?執行長如何才能更好地理解近期公司發展的根本原因?釷ESE是資料分析提供瞭解決所有問題透過執行分析和呈現結果。
他們承擔著處理資料以為其組織創造價值的複雜工作。
一個有效的資料分析師將消除業務決策中的猜測,並幫助整個組織蓬勃發展。透過分析新資料,合併不同的報告並轉換結果,資料分析師必須成為不同團隊之間的有效橋樑。反過來,這使組織可以對其增長進行準確的脈搏檢查。
所需技能的性質將取決於公司的特定需求,但這是一些常見任務:
a.清理和整理原始資料。
b.使用描述性統計資訊來大體上了解其資料。
c.分析資料中發現的有趣趨勢。
d.建立視覺化和儀表板,以幫助公司解釋資料並做出決策。
e.向業務客戶或內部團隊展示技術分析的結果。
資料分析師為組織的技術和非技術方面都帶來了巨大的價值。無論是執行探索性分析或解釋執行儀表板,分析師培養一個團隊之間的連線。
開始在Data Analyst的職業道路上學習:
什麼是資料科學家?
資料科學家是一位專家,他將自己的專業知識運用到統計和構建機器學習模型中,以做出預測並回答關鍵業務問題。
資料科學家仍然需要像資料分析師一樣能夠清理,分析和視覺化資料。但是,資料科學家將在這些技能上有更多的深度和專業知識,並且還將能夠訓練和最佳化機器學習模型。
深入的資料科學家
資料科學家是一個個人,可以透過解決更多開放性問題並利用他們對高階統計和演算法的知識來提供巨大的價值。如果分析師專注於從過去和現在的角度理解資料,那麼科學家專注於為未來提供可靠的預測。
資料科學家將透過利用監督(例如分類,迴歸)和非監督學習(例如聚類,神經網路,異常檢測)方法來獲取隱藏的見解,以用於他們的機器學習模型。他們實質上是在訓練數學模型,這將使他們能夠更好地識別模式並得出準確的預測。
以下是資料科學家執行的工作示例:
a.評估統計模型以確定分析的有效性。
b.使用機器學習來構建更好的預測演算法。
c.測試並不斷提高機器學習模型的準確性。
d.建立資料視覺化以總結高階分析的結論。
資料科學家帶來了一種全新的方法和觀點來理解資料。儘管分析師可以描述趨勢並將這些結果轉換為業務術語,但科學家將提出新的問題,並能夠建立模型以基於新資料進行預測。
開始在資料科學家的職業道路上學習:
什麼是資料工程師?
資料工程師可以構建和最佳化可讓資料科學家和分析人員執行其工作的系統。每個公司都依賴於其資料是準確的,並且需要使用它的個人可以訪問。資料工程師確保正確接收,轉換,儲存任何資料,並使其他使用者可以訪問這些資料。
深入的資料工程師
資料工程師為資料分析師和科學家建立了基礎。資料工程師負責構建資料管道,並且經常不得不使用複雜的工具和技術來大規模處理資料。與前兩個職業道路不同,資料工程在軟體開發技能方面有更多的依靠。
在大型組織中,資料工程師可以有不同的重點,例如利用資料工具,維護資料庫以及建立和管理資料管道。無論關注的重點是什麼,優秀的資料工程師都可以讓資料科學家或分析師專注於解決分析問題,而不必將資料從一個源轉移到另一個源。
資料工程師的心態通常更側重於構建和最佳化。以下是資料工程師可能正在執行的任務的示例:
a.構建用於資料消耗的API。
b.將外部或新資料集整合到現有資料管道中。
c.將特徵轉換應用於新資料上的機器學習模型。
d.持續監控和測試系統以確保最佳化的效能。
開始在資料工程師的職業道路上學習:
您的資料驅動的職業道路
既然我們已經探索了這三個資料驅動的職業,那麼問題仍然存在-您適合什麼地方?您已經完成了測驗,但讓我們更深入地瞭解如何真正確定最適合您的方法。
關鍵是要了解這是三種根本不同的資料處理方式。
資料工程師正在“後端”上工作,不斷改進資料管道,以確保組織所依賴的資料準確且可用。他們將利用各種不同的工具來確保正確處理資料,並確保使用者在需要時可以使用該資料。
一個好的資料工程師可以為組織的其他部門節省大量時間和精力。
然後,資料分析人員可以使用工程師構建的自定義API提取新資料集,並開始識別資料中有趣的趨勢,並對這些異常進行分析。分析師將以清晰的方式總結和展示他們的結果,從而使他們的非技術團隊可以更好地瞭解他們的位置和工作方式。
最後,資料科學家可能會以分析師的初步發現為基礎,並進行更多的研究以從中得出洞見。無論是透過訓練機器學習模型還是透過執行高階統計分析,資料科學家都將提供嶄新的視角來展望不久的將來。
無論您選擇哪種具體方式,好奇心都是這三個職業的自然前提。使用資料提出更好的問題並進行更精確的實驗的能力是資料驅動職業的全部目的。此外,資料科學領域不斷髮展,因此非常需要不斷學習。
在AAA教育,我們為那些在這個快速增長的行業中追求資料工程師,資料分析師或資料科學家角色的人員提供了教育途徑。註冊並免費開始免費了解這些職位!
和所有當前和未來的資料分析,科學家和工程師在那裡-好運氣和不斷學習!
知道您最感興趣的工作是什麼?