【51CTO原創(chuàng)稿件】2014年將是大數(shù)據(jù)的回歸之年。之前讓人感覺無所不能的大數(shù)據(jù)，將真正面對實施階段的考驗。今天，51CTO將與張子良共同探討傳統(tǒng)行業(yè)大數(shù)據(jù)中的金融大數(shù)據(jù)。

張子良，曾就職于中國人民銀行研發(fā)中心，同方股份，新科電子。十年一線軟件研發(fā)、項目管理經(jīng)歷，長期從事金融行業(yè)需求分析、架構(gòu)設(shè)計和項目管理工作。主要業(yè)務(wù)領(lǐng)域金融支付、云計算、大數(shù)據(jù)和數(shù)據(jù)挖掘，金融大數(shù)據(jù)行業(yè)專家。

金融大數(shù)據(jù)的四步走

金融大數(shù)據(jù)，目前有四個階段。第一階段是基于數(shù)據(jù)存儲；第二階段是分布式計算；第三階段是大數(shù)據(jù)挖掘與分析；第四階段是數(shù)據(jù)服務(wù)。對于商業(yè)銀行，包括工商、建設(shè)、農(nóng)業(yè)、交通和中行這國有五大行來說，都處于第一階段。其中，建行處于平臺選型階段。農(nóng)業(yè)銀行已經(jīng)完成數(shù)據(jù)存儲方面的工作，但還未上線。而張子良負(fù)責(zé)的光大銀行項目，在2013年10月上線，是國內(nèi)第一家真正意義上將金融大數(shù)據(jù)應(yīng)用到銀行核心業(yè)務(wù)系統(tǒng)的案例。

銀行的大數(shù)據(jù)處理

銀行等金融機(jī)構(gòu)，對大數(shù)據(jù)的處理需求有其特殊性。第一個就是結(jié)構(gòu)化數(shù)據(jù)存儲，第二個是數(shù)據(jù)挖掘。下面我們將逐一為您解開。

結(jié)構(gòu)化數(shù)據(jù)存儲，商業(yè)銀行有實時查詢數(shù)據(jù)庫，用來處理歷史金融數(shù)據(jù)。受限于傳統(tǒng)ROE（Oracel、DB2、Sybase等）數(shù)據(jù)庫的單表數(shù)據(jù)量瓶頸。銀行數(shù)據(jù)超過一定上限就會影響查詢效率。解決瓶頸的方法只能通過提高成本，大量購買高性能硬件和應(yīng)用軟件來解決。雖然銀行IT部門預(yù)算豐富，但也還是需要平衡性能與成本的關(guān)系。

另一方面，銀行需要在現(xiàn)有的數(shù)據(jù)上進(jìn)行增值挖掘。如果依靠傳統(tǒng)DR（Data Research數(shù)據(jù)研究），對成本的影響巨大。采用大數(shù)據(jù)技術(shù)、采用分布式集成框架、采用開源框架，一方面滿足了成本依賴，另外一方面運算性能方面有所提升。

在業(yè)務(wù)數(shù)據(jù)模型方面，商業(yè)銀行分為兩個層面。第一個層面就是面向業(yè)務(wù)層面，需要選擇哪些參數(shù)來構(gòu)成預(yù)算的數(shù)據(jù)模型。這是業(yè)務(wù)層面上面，這一部分是與以前的模型一致。

另外一部分就是針對數(shù)據(jù)模型還有什么樣的計算方式，需要哪些數(shù)據(jù)的輸入，這方面發(fā)生了變化。因為你傳統(tǒng)離岸模式是單機(jī)的，運算性能始終都是它無法突破的東西。所以說它對數(shù)據(jù)處理的時候，往往是基于銷量數(shù)據(jù)的，基于出讓數(shù)據(jù)做小批量的數(shù)據(jù)嘗試，然后得出一些規(guī)律性的東西，然后再反向推導(dǎo)到其它數(shù)據(jù)，這是傳統(tǒng)的模式。在這個環(huán)境里面有了一種突破，可以去用全量數(shù)據(jù)，構(gòu)建數(shù)據(jù)模型的參考體系，這個數(shù)據(jù)量更大。另外一塊性能更高一些，比單機(jī)模式要快。

金融大數(shù)據(jù)安全性

數(shù)據(jù)安全其實是一個相對的改變。因為在這里面大數(shù)據(jù)技術(shù)與數(shù)據(jù)安全性能整個要求本身沒有直接的關(guān)系。怎么說呢？如果不采用大數(shù)據(jù)技術(shù)，安全性是不是一樣面臨同樣的問題呢？對于傳統(tǒng)模式，無論你采用什么樣的技術(shù)，同樣面臨數(shù)據(jù)安全性的問題。

所以在這個里面包括各個環(huán)節(jié)，像存儲的安全，傳輸?shù)陌踩宫F(xiàn)的安全。這種模式，傳統(tǒng)的銀行采用的模式里面，不包括物理網(wǎng)站的隔離，包括訪問權(quán)限的控制，包括軟加密這些都是在傳統(tǒng)的模式里面適用的。大數(shù)據(jù)技術(shù)，與銀行數(shù)據(jù)安全性沒有直接的關(guān)系，只不過區(qū)別是什么呢？

大數(shù)據(jù)技術(shù)是一個新的技術(shù)體系，銀行原來需要單機(jī)處理的東西，現(xiàn)在需要在多個節(jié)點去參與進(jìn)來，這樣帶來一個什么樣的挑戰(zhàn)呢？就是必須保證集群是能夠被特定的用戶去訪問，而且特殊的節(jié)點不能夠被假冒。如果這個節(jié)點正在自動化處理，如果黑客冒充某個節(jié)點，要保證不會導(dǎo)致數(shù)據(jù)的泄露。這種情況下其實是大數(shù)據(jù)在安全方面特殊的要求點，必須做到物理網(wǎng)站的隔離。只有授權(quán)節(jié)點能夠參與到集群的工作中，這就是訪問的安全。

節(jié)點數(shù)據(jù)的傳輸，這一塊目前來講銀行的解決辦法還是基于物理網(wǎng)隔離和用戶的授權(quán)。這里面還是有瓶頸的，節(jié)點與節(jié)點之間，數(shù)據(jù)在共享的時候，速度還是瓶頸。這種加密需要去改造現(xiàn)有的大數(shù)據(jù)框架，目前來講還沒有看到國內(nèi)銀行有解決這個問題的。

總結(jié)

金融大數(shù)據(jù)，目前還處于一個逐步實施的階段。商業(yè)銀行中的金融大數(shù)據(jù)，既包括傳統(tǒng)的BI結(jié)合，也包括對大數(shù)據(jù)環(huán)境底下數(shù)據(jù)分析挖掘。相信在2014年，金融大數(shù)據(jù)在歷史數(shù)據(jù)存儲和歷史數(shù)據(jù)倉庫存儲這兩個領(lǐng)域，會有更多落地實施的案例出現(xiàn)。大數(shù)據(jù)回歸之年，就在2014。