183.17.228.* 2020-05-08 10:45:16 |
大數(shù)據(jù)是現(xiàn)代做人耳熟能詳?shù)臒衢T話題了,甚至街邊玩耍的小孩也能說上幾句大數(shù)據(jù)的詞語。但是,自從大數(shù)據(jù)逐步進(jìn)入中國,然后開始慢慢熱起來火起來,你知道大數(shù)據(jù)有哪幾個(gè)階段嗎?
數(shù)據(jù)分析至少存在三個(gè)階段:
階段1:熟悉計(jì)算工具
**個(gè)階段是熟悉計(jì)算工具階段,也就是能從數(shù)據(jù)中正確計(jì)算出結(jié)論。這一階段需要的是編程能力和基礎(chǔ)的邏輯分析。在這個(gè)階段,需要打好基本的編程和數(shù)理基礎(chǔ),比如如何使用一種編程語言從某個(gè)數(shù)據(jù)源中提取數(shù)據(jù),進(jìn)行必要的轉(zhuǎn)化,生成一個(gè)結(jié)果。在這個(gè)階段,我經(jīng)常認(rèn)為數(shù)據(jù)分析就是編程。那時(shí)也對編程和數(shù)據(jù)分析產(chǎn)生很大的畏難情緒,覺得自己離學(xué)好編程、使用好各類工具的狀態(tài)有很大差距。
同時(shí),我也對如何分析數(shù)據(jù)感到一籌莫展。雖然在學(xué)校課堂和各類網(wǎng)絡(luò)教程中學(xué)過很多編程方面的技術(shù),也能夠看懂一些別人的程序,但是對于一個(gè)嶄新的問題,我不知道使用哪種工具,編寫什么樣的程序,進(jìn)行哪些方面的分析。
處在這個(gè)階段,我認(rèn)為主要因?yàn)樽约旱木幊探?jīng)驗(yàn)停留在“學(xué)”上,還沒有過度到“用”的境界。只能說學(xué)會(huì)了一些工具(比如編程語言),但是不知道如何應(yīng)用。另一方面,自己的實(shí)戰(zhàn)經(jīng)驗(yàn)太少,沒有實(shí)戰(zhàn)經(jīng)驗(yàn),只學(xué)習(xí)一些表面的皮毛,出去忽悠一些非科班的人還像模像樣,但是真正讓我去做一個(gè)新案例的數(shù)據(jù)挖掘和分析,我可能完全不知如何入手。
在這個(gè)階段,我們一方面需要打磨自己的編程能力,另外一方面也不斷學(xué)習(xí)一些數(shù)學(xué)模型,包括各類機(jī)器學(xué)習(xí)算法、概率論等。
階段2:提升分析能力
隨著對編程工具的熟悉,比如開始熟悉了Shell、SQL、Python、大數(shù)據(jù)等,我發(fā)現(xiàn)使用工具不一定能得出特別好的結(jié)論。
經(jīng)濟(jì)學(xué)有一個(gè)關(guān)于啤酒和尿不濕的例子:沃爾瑪一家分店的營銷經(jīng)理對超市的銷售數(shù)量進(jìn)行設(shè)定跟蹤,有一次他發(fā)現(xiàn)了一個(gè)很奇怪的現(xiàn)象:啤酒與尿不濕的銷量在周末總會(huì)出現(xiàn)成比例增長。主要因?yàn)榘职謧冎苣┎少彆r(shí),買完尿不濕想順手捎帶幾瓶啤酒。
其實(shí),獲取到這個(gè)數(shù)據(jù)并不難,但原始數(shù)據(jù)中**沒有這個(gè)現(xiàn)成的結(jié)論。進(jìn)行數(shù)據(jù)分析的**步是找到一個(gè)方向,先看看哪些潛在的假設(shè)能夠解釋現(xiàn)象。比如,這個(gè)例子中,沃爾瑪對銷售數(shù)據(jù)做相關(guān)性分析。數(shù)據(jù)是死的,是躺在硬盤中的一堆字符。如果沒有一個(gè)基本的假設(shè)或者方向,即使有再強(qiáng)大的編程能力,也很難得出一個(gè)觀點(diǎn)或結(jié)論。
這時(shí)候我們能夠看懂很多數(shù)據(jù)分析的報(bào)告,能夠開始建立起數(shù)據(jù)之間的聯(lián)系。如果有一些高人指點(diǎn),加上實(shí)戰(zhàn)練習(xí),在數(shù)據(jù)分析上可以有茅塞頓開般的提升。
很多入門和初學(xué)者基本上都停留在**階段和第二階段的初級(jí)水平。一部分人在這個(gè)階段做大量重復(fù)性的工作,多年可能沒有任何進(jìn)步,無法進(jìn)入到下一階段。
階段3:形成思維方式
說實(shí)話,以前我認(rèn)為現(xiàn)代社會(huì)發(fā)展變化太快,新事物層出不窮,經(jīng)驗(yàn)不值一提。但是接觸了越多的大牛,我開始發(fā)現(xiàn)這些人的經(jīng)驗(yàn)才是他們安身立命之本。經(jīng)驗(yàn)不局限于數(shù)據(jù)、工具或者技術(shù),經(jīng)驗(yàn)是逐漸培養(yǎng)起來的,是分析問題的思維方式。金庸在他的武俠系列中一直強(qiáng)調(diào)內(nèi)功的重要性,經(jīng)驗(yàn)就是這樣的內(nèi)功。
數(shù)據(jù)分析的**一個(gè)階段,一般是團(tuán)隊(duì)的**需要達(dá)到的水平。由于團(tuán)隊(duì)的**一般具有多年的實(shí)戰(zhàn)經(jīng)驗(yàn),他們可以很快發(fā)現(xiàn)問題。當(dāng)我還是小白的時(shí)候,我發(fā)現(xiàn)團(tuán)隊(duì)的**幾乎天天都在看數(shù)據(jù),每次開會(huì)都在討論數(shù)據(jù),從一張數(shù)據(jù)圖中他們可以很快發(fā)現(xiàn)一些問題,面對新問題,他們也有很多解決思路和探索方向。而且,這里的團(tuán)隊(duì)**不**于技術(shù)團(tuán)隊(duì),包括產(chǎn)品或者運(yùn)營相關(guān)團(tuán)隊(duì)的**也對數(shù)據(jù)有很強(qiáng)的敏感性。比如,在與產(chǎn)品溝通的通氣會(huì)上,產(chǎn)品團(tuán)隊(duì)的**經(jīng)常抓住數(shù)據(jù)可疑點(diǎn),讓我們技術(shù)團(tuán)隊(duì)來解釋背后的原因。我非常震驚,為什么非技術(shù)出身的他們,也能找到一些問題的關(guān)鍵。再到后來,我發(fā)現(xiàn)不僅僅是互聯(lián)網(wǎng)行業(yè),各行各業(yè)的佼佼者都對數(shù)據(jù)非常敏感,都有一套問題求解的思路。比如,我之前以疫情分析為例的那篇文章疫情分析是**的實(shí)戰(zhàn)教材中列舉了一些作者,他們分析問題的能力都值得我們學(xué)習(xí),實(shí)際上他們并不都是**的技術(shù)背景出身。
后來,我漸漸明白了,數(shù)據(jù)分析不局限于技術(shù)和工具,它本質(zhì)上是一種思維方式。真正的數(shù)據(jù)分析大師能快速通過一些現(xiàn)象,找到背后的邏輯。因此,無論你是不是純技術(shù)出身,如果堅(jiān)持對很多問題進(jìn)行深入思考,從實(shí)戰(zhàn)中獲得經(jīng)驗(yàn),那么你可以用一個(gè)Excel來分析出你想要的結(jié)論。
一些誤區(qū)
處在**、二階段的朋友會(huì)覺得數(shù)據(jù)分析的核心是編程、模型和技術(shù)能力,有時(shí)候他們會(huì)掉入兩個(gè)誤區(qū):
認(rèn)為數(shù)據(jù)分析就是各類工具的總和,拼命學(xué)習(xí)各類編程和算法,但是沒有實(shí)戰(zhàn)經(jīng)驗(yàn),無法將理論應(yīng)用到實(shí)際。或者不善于將一些工作提取成為寶貴的經(jīng)驗(yàn)。
掌握了一些高大上的算法,在工作中發(fā)現(xiàn)很多時(shí)候都是在重復(fù)性地做一些數(shù)據(jù)提取的工作,對當(dāng)前的工作非常失望,覺得自己的屠龍之術(shù)無法應(yīng)用,認(rèn)為是當(dāng)前的工作崗位限制了自己才能,想跳槽。
**類誤區(qū)認(rèn)為數(shù)據(jù)分析是一種技能,追逐技能加成,忽視如何形成自己的思維方式。
第二類誤區(qū)其實(shí)是**類的另一種表現(xiàn)形式,仍然覺得只有掌握了一些技術(shù),才可以做好數(shù)據(jù)分析。想通過換一個(gè)新的環(huán)境,期望在新工作中學(xué)到更多的屠龍之術(shù),這樣才能積累相關(guān)的經(jīng)驗(yàn)。從團(tuán)隊(duì)**的角度,新團(tuán)隊(duì)的**其實(shí)是不會(huì)將一個(gè)更復(fù)雜的數(shù)學(xué)模型交由一個(gè)團(tuán)隊(duì)新人來做的,因?yàn)椴恍湃。我建議,在這種情況下,不如在原工作崗位的基礎(chǔ)上做一些深挖,看看有沒有機(jī)會(huì)**當(dāng)前的自己。
大數(shù)據(jù)分析三個(gè)階段是什么.中琛魔方大數(shù)據(jù)分析平臺(tái)(www.zcmorefun.com)表示孫子兵法說求之于勢,不責(zé)于人,故能擇人而任勢。核心的就是在不同的大環(huán)境和實(shí)際下要做出符合與環(huán)境和時(shí)機(jī)的改變。才能贏上和抓住這一波帶來的機(jī)會(huì)。 |