對數(shù)據(jù)科學家來說最重要的算法和統(tǒng)計模型
作為一個在這個行業(yè)已經(jīng)好幾年的數(shù)據(jù)科學家,在LinkedIn和QuoLa上,我經(jīng)常接觸一些學生或者想轉(zhuǎn)行的人,幫助他們進行機器學習的職業(yè)建議或指導方面相關(guān)的課程選擇。一些問題圍繞教育途徑和程序的選擇,但許多問題的焦點是今天在數(shù)據(jù)科學領(lǐng)域什么樣的算法或模型是常見的。
由于可供選擇的算法太多了,很難知道從哪里開始學起。課程可能包括在當今工業(yè)中使用的不是很典型的算法,而課程可能沒有包含目前不是很流行的但特別有用的方法?;谲浖某绦蚩梢耘懦匾慕y(tǒng)計概念,并且基于數(shù)學的程序可以跳過算法設計中的一些關(guān)鍵主題。

我為一些有追求的數(shù)據(jù)專家整理了一個簡短的指南,特別是關(guān)注統(tǒng)計模型和機器學習模型(有監(jiān)督學習和無監(jiān)督學習);這些主題包括教科書、畢業(yè)生水平的統(tǒng)計學課程、數(shù)據(jù)科學訓練營和其它培訓資源。(其中有些包含在文章的參考部分)。由于機器學習是統(tǒng)計學的一個分支,機器學習算法在技術(shù)上歸類于統(tǒng)計學知識,還有數(shù)據(jù)挖掘和更多的基于計算機科學的方法。然而,由于一些算法與計算機科學課程的內(nèi)容相重疊,并且因為許多人把傳統(tǒng)的統(tǒng)計方法從新方法中分離出來,所以我將把列表中的兩個分支也分開了。

統(tǒng)計學的方法包括在bootcamps和證書程序中概述的一些更常見的方法,還有一些通常在研究生統(tǒng)計學程序中所教授的不太常見的方法(但在實踐中可以有很大的優(yōu)勢)。所有建議的工具都是我經(jīng)常使用的工具:
- 1)廣義線性模型,它構(gòu)成了大多數(shù)監(jiān)督機器學習方法的基礎(chǔ)(包括邏輯回歸和Tweedie回歸,它概括了在工業(yè)中遇到的大多數(shù)計數(shù)或連續(xù)結(jié)果……)
- 2) 時間序列方法(ARIMA, SSA, 基于機器學習的方法)
- 3) 結(jié)構(gòu)方程建模 (模擬和測試介導途徑)
- 4) 因子分析法(調(diào)查設計與驗證的探索和驗證)
- 5) 功率分析/試驗設計 (特別是基于仿真的試驗設計,以免分析過度)
- 6) 非參數(shù)檢驗(從零開始的推導, 尤其通過模擬)/MCMC
- 7) K均值聚類
- 8) 貝葉斯方法(Naïve Bayes, 貝葉斯模型求平均值, 貝葉斯自適應試驗...)
- 9) 懲罰回歸模型 (elastic net, LASSO, LARS...) ,通常給模型增加懲罰因素(SVM, XGBoost...), 這對于預測值超過觀測值的數(shù)據(jù)集是有用的(常見于基因組學與社會科學研究)
- 10) 樣條模型(MARS...) 用于靈活性建模過程
- 11)馬爾可夫鏈和隨機過程 (時間序列建模與預測建模的另一種方法)
- 12)缺失數(shù)據(jù)填補方案及其假設(missForest, MICE...)
- 13) 生存分析(非常有助于制造建模和消耗過程)
- 14) 混合建模
- 15) 統(tǒng)計推斷與分組測試(A/B測試和在許多交易活動中實施更復雜的設計)
機器學習擴展了許多這樣框架,特別是K均值聚類和廣義線性建模。在許多行業(yè)中一些有用的常見技術(shù)(還有一些更模糊的算法,在bootcamps或證書程序中出人意料的有用,但學校里很少教) 包括:
- 1)回歸/分類樹(用于高精度、可解釋性好、計算費用低的廣義線性模型的早期推廣)
- 2)維數(shù)約簡(PCA和多樣學習方法如MDS和tSNE)
- 3)經(jīng)典前饋神經(jīng)網(wǎng)絡
- 4)裝袋組合(構(gòu)成了隨機森林和KNN回歸整合等算法的基礎(chǔ))
- 7)加速整合(這是梯度提升和XGBoost算法的基礎(chǔ))
- 8)參數(shù)優(yōu)化或設計項目的優(yōu)化算法(遺傳算法,量子啟發(fā)進化算法,模擬鍛煉,粒子群優(yōu)化)
- 9)拓撲數(shù)據(jù)分析工具,特別適合于小樣本大小的無監(jiān)督學習(持久同調(diào), Morse-Smale聚類, Mapper...)
- 10)深度學習架構(gòu)(一般的深度架構(gòu))
- 11) KNN局部建模方法(回歸, 分類)
- 12)基于梯度的優(yōu)化方法
- 13)網(wǎng)絡度量與算法(中央度量法、中間性、多樣性、熵、拉普拉斯算子、流行病擴散、譜聚類)
- 14)深度體系架構(gòu)中的卷積和匯聚層(專門適用于計算機視覺和圖像分類模型)
- 15)層次聚類 (聚類和拓撲數(shù)據(jù)分析工具相關(guān))
- 16)貝葉斯網(wǎng)絡(路徑挖掘)
- 17)復雜性與動態(tài)系統(tǒng)(與微分方程有關(guān),但通常用于模擬沒有已知驅(qū)動程序的系統(tǒng))
依靠所選擇的行業(yè),可能需要與自然語言處理(NLP)或計算機視覺相關(guān)的附加算法。然而,這些是數(shù)據(jù)科學和機器學習的專門領(lǐng)域,進入這些領(lǐng)域的人通常已經(jīng)是那個特定領(lǐng)域的專家。
學術(shù)項目之外的一些學習這些方法的資源包括:
- Christopher, M. B. (2016). 《模式識別與機器學習》,施普林格出版社,紐約。
- Friedman, J., Hastie, T., & Tibshirani, R. (2001). 《統(tǒng)計學習的要素》(卷1, 337-387頁). 紐約: 統(tǒng)計中的斯普林格級數(shù)。
- https://www.coursera.org/learn/machine-learning
- http://professional.mit.edu/programs/short-programs/machine-learning-big-data
- https://www.slideshare.net/ColleenFarrelly/machine-learning-by-analogy-59094152