大數(shù)據(jù)解決方案實(shí)施的難點(diǎn)在于以下幾點(diǎn)：

1.很少有優(yōu)質(zhì)可用的數(shù)據(jù)

在數(shù)聚股份看來，這幾年數(shù)據(jù)交易機(jī)構(gòu)如雨后春筍，“數(shù)據(jù)變現(xiàn)”成為很多擁有數(shù)據(jù)積累的傳統(tǒng)企業(yè)的新的生財(cái)法。目前，我國大數(shù)據(jù)需求端以互聯(lián)網(wǎng)企業(yè)為主，覆蓋面不廣，在O2O趨勢下，大型互聯(lián)網(wǎng)廠商嘗試引入外部數(shù)據(jù)支撐金融、生活、語音、旅游、健康和教育等多種服務(wù)。

然而在具體的領(lǐng)域或行業(yè)內(nèi)，我國普遍未形成成型的數(shù)據(jù)采集、加工、分析和應(yīng)用鏈條，大量數(shù)據(jù)源未被激活，大多數(shù)數(shù)據(jù)擁有者沒有數(shù)據(jù)價(jià)值外化的路徑。比如，各醫(yī)療健康類應(yīng)用收集了大量的數(shù)據(jù)，但沒有像那樣面向醫(yī)藥公司售賣數(shù)據(jù)。與國外相比我國的政府、公共服務(wù)、農(nóng)業(yè)應(yīng)用基本缺位，電信和銀行業(yè)更缺少與外部數(shù)據(jù)的碰撞。

另外，其實(shí)數(shù)據(jù)交易這件事本身就是一個(gè)悖論。數(shù)據(jù)作為一種商品有一定的特殊性，我用了別人也可以用，沒有任何消耗，可以在市場賣很多遍。這就產(chǎn)生一個(gè)問題，你這個(gè)數(shù)據(jù)到市場賣，根據(jù)經(jīng)濟(jì)學(xué)觀點(diǎn)它的價(jià)值是零，你賣給我我可以用更低的價(jià)格賣給別人，所以數(shù)據(jù)交易理論上來說也是不可行的。

大數(shù)據(jù)概念火了以后，很多機(jī)構(gòu)覺得數(shù)據(jù)存起來就是寶，于是積攢了大量零碎數(shù)據(jù)放在那里，到底能發(fā)揮什么作用也未可知。而在和許多真正想用數(shù)據(jù)做些事情的機(jī)構(gòu)的合作中我們發(fā)現(xiàn)，即便是政府機(jī)構(gòu)這樣的權(quán)威數(shù)據(jù)持有方，也存在很多數(shù)據(jù)缺失、數(shù)據(jù)錯(cuò)誤、噪音多各方面的問題。

我們常常在講大數(shù)據(jù)就用大數(shù)據(jù)方法，小數(shù)據(jù)就用小數(shù)據(jù)方法，完美的數(shù)據(jù)是永遠(yuǎn)等不來的。但這樣會導(dǎo)致什么問題呢?在實(shí)際項(xiàng)目實(shí)施過程中，我們的數(shù)據(jù)科學(xué)家們不得不花費(fèi)大量時(shí)間在數(shù)據(jù)清洗上，這其實(shí)是對本來就緊缺的數(shù)據(jù)人員的一種浪費(fèi)。

理論上我們中國有很多數(shù)據(jù)，但不同部門數(shù)據(jù)存在在不同的地方，格式也不一樣。政府內(nèi)部本身整合各部門的數(shù)據(jù)就已經(jīng)是一件很頭大的事情，更不要提大規(guī)模的數(shù)據(jù)開放。同時(shí)數(shù)據(jù)開放面臨一個(gè)嚴(yán)重問題就是隱私問題，脫敏遠(yuǎn)遠(yuǎn)不夠，隱私問題是一個(gè)無底洞。比如我們把一個(gè)人的支付寶3個(gè)月數(shù)據(jù)拿過來，就可以很輕易的知道這個(gè)人今天在門口便利店買了一瓶水，昨天在淘寶買了沙發(fā)，每隔三個(gè)月會有一筆萬元的支出。那我們就可以很容易推斷這個(gè)人剛換了一個(gè)租房子的地方，就能了解他的消費(fèi)習(xí)慣。這個(gè)數(shù)據(jù)其實(shí)完全是脫敏的，沒有名字、沒有號碼，但絲毫不妨礙我們通過算法完全的勾勒出這個(gè)人的畫像。

2.實(shí)際技術(shù)與業(yè)務(wù)之間還有很大距離

在數(shù)聚股份看來，大數(shù)據(jù)行業(yè)發(fā)展至今，技術(shù)與業(yè)務(wù)之間依然存在巨大著鴻溝。首先，就是數(shù)據(jù)分析技術(shù)本身。數(shù)據(jù)源企業(yè)為實(shí)現(xiàn)數(shù)據(jù)價(jià)值變現(xiàn)，嘗試多種方法，甚至自己組建數(shù)據(jù)分析團(tuán)隊(duì)，可是數(shù)據(jù)分析是個(gè)技術(shù)活，1%的誤差都會極大地影響市場份額，術(shù)業(yè)有專攻，數(shù)據(jù)變現(xiàn)還是需要專業(yè)的數(shù)據(jù)分析人才來實(shí)現(xiàn)。

大數(shù)據(jù)概念的火熱，做大數(shù)據(jù)的公司越來越多，產(chǎn)品做得五花八門，數(shù)據(jù)建模看似誰都可以涉足，但現(xiàn)在數(shù)據(jù)分析的技術(shù)，方法，模型，算法都有了非常大的改進(jìn)，跟過去六七十年代完全不一樣，不是說做幾個(gè)SAAS軟件或者RAAS軟件就是大數(shù)據(jù)了，雖然短期看市場火熱，但長遠(yuǎn)來說這條路是走不通的，大數(shù)據(jù)行業(yè)發(fā)展，技術(shù)才是真正的發(fā)力點(diǎn)，提高行業(yè)準(zhǔn)入門檻尤為重要。

其次中國的數(shù)據(jù)有它的特色，例如在金融行業(yè)，目前大部分銀行采用的是風(fēng)險(xiǎn)評分卡，運(yùn)用專家經(jīng)驗(yàn)定義風(fēng)險(xiǎn)變量，基于定性認(rèn)識進(jìn)行評分，通過事后風(fēng)險(xiǎn)回檢優(yōu)化評分卡，風(fēng)險(xiǎn)預(yù)警功能較差。雖然央行征信中心與國內(nèi)少數(shù)技術(shù)領(lǐng)先銀行使用的是風(fēng)險(xiǎn)評分模型，但模型方法相對陳舊，如央行所用FICO評分模型為上世紀(jì)80年代基于邏輯回歸算法構(gòu)建的評分體系，邏輯回歸算法適合處理線性數(shù)據(jù)，但實(shí)際問題往往是非線性的，特別是信用風(fēng)險(xiǎn)評估場景下。此外，F(xiàn)ICO模型沒有針對我國具體業(yè)務(wù)進(jìn)行場景細(xì)分，建模邏輯并不完全符合我國實(shí)際情況，因此導(dǎo)致準(zhǔn)確率不足，風(fēng)險(xiǎn)預(yù)警能力差?；诖?，中國人民銀行征信中心首次與國內(nèi)大數(shù)據(jù)公司合作，這次合作中普林科技應(yīng)用國際領(lǐng)先的大數(shù)據(jù)建模分析技術(shù)運(yùn)用決策樹隨機(jī)森林,AdaBOOST,GBDT,SVM等算法，通過對信用報(bào)告的數(shù)字化解讀與深入洞察，準(zhǔn)確預(yù)測了違約風(fēng)險(xiǎn)，對貸款審批、貸中管理形成指導(dǎo)，新模型對好壞賬戶的區(qū)分度遠(yuǎn)高于行業(yè)平均水平。此次合作表明我國的大數(shù)據(jù)難題更需要適應(yīng)國情的解決方案與本土的技術(shù)人才，這對我們的市場提出了一個(gè)新問題。

3.人才稀缺

在數(shù)聚股份看來，我們國家大數(shù)據(jù)發(fā)展最大的優(yōu)勢就是市場大，最大的劣勢恰巧就是缺乏相應(yīng)人才，人才缺乏的程度非常嚴(yán)重。首先在國際市場方面，我們要跟國外公司爭人才，然而國外大數(shù)據(jù)行業(yè)同樣十分火熱。而不論在國內(nèi)還是國外，跟企業(yè)競爭人才都是一項(xiàng)艱巨的事業(yè)，比如在世界上最好的大學(xué)之一的美國普林斯頓大學(xué)，想找數(shù)學(xué)家也是非常困難，人才很容易被大公司挖走，每年都有非常好的數(shù)據(jù)分析人才被企業(yè)挖走。所以人才難覓不只是口頭說說，更是一個(gè)亟待解決的問題 大數(shù)據(jù)是一個(gè)交叉學(xué)科，涉及統(tǒng)計(jì)學(xué)，管理編程等多學(xué)科，知識點(diǎn)復(fù)雜，缺乏系統(tǒng)的學(xué)習(xí)教程。


審核編輯 黃宇