阿里流傳著這樣一句話(huà)，“一切業(yè)務(wù)數(shù)據(jù)化，一切數(shù)據(jù)業(yè)務(wù)化”。

作為大數(shù)據(jù)從業(yè)者，你一定明白有數(shù)據(jù)是一回事，可要想讓數(shù)據(jù)發(fā)揮價(jià)值、成為生產(chǎn)力是另一回事。手里得有兩把刷子，才能成為大數(shù)據(jù)圈兒的“大拿”！

如何實(shí)現(xiàn)智能路經(jīng)檢測(cè)，查詢(xún)出符合條件的路徑詳情及符合路徑的用戶(hù)數(shù)？

關(guān)于有序漏斗轉(zhuǎn)化，如果想要更準(zhǔn)確一些該怎么做？

面對(duì)大量的訂單記錄，如果想按照地域、時(shí)間、來(lái)源等維度等進(jìn)行實(shí)時(shí)分析，該怎么實(shí)現(xiàn)？

對(duì)于海量評(píng)論數(shù)據(jù)，想要查詢(xún)好評(píng)差評(píng)的比例，如果進(jìn)行準(zhǔn)實(shí)時(shí)分析想要秒級(jí)實(shí)現(xiàn)的話(huà)，如何來(lái)完成？

不管是面試還是實(shí)際工作過(guò)程中，數(shù)據(jù)工程師要時(shí)時(shí)刻刻面對(duì)這些層出不窮的技術(shù)演進(jìn)。隨著數(shù)據(jù)的爆發(fā)式增長(zhǎng)以及指標(biāo)維度多元化， T+1 的數(shù)據(jù)報(bào)表早已無(wú)法滿(mǎn)足需求。如何在保證高時(shí)效性的同時(shí)，讓數(shù)據(jù)發(fā)揮更大的價(jià)值是篩選“王牌”大數(shù)據(jù)開(kāi)發(fā)工程師的重要門(mén)檻。

01

對(duì)大數(shù)據(jù)開(kāi)發(fā)工程師的能力新要求

OLAP型大數(shù)據(jù)開(kāi)發(fā)能力

隨著全行業(yè)數(shù)字化轉(zhuǎn)型和新基建時(shí)代的到來(lái)，對(duì)技術(shù)人才提出了更高的要求。

對(duì)數(shù)字化轉(zhuǎn)型的公司來(lái)說(shuō)，公司的業(yè)務(wù)可以分為兩類(lèi)：一類(lèi)是OLTP型的業(yè)務(wù)，一類(lèi)是OLAP型的業(yè)務(wù)。對(duì)優(yōu)秀的IT工程師來(lái)說(shuō)，我們需要同時(shí)具備OLTP的技術(shù)能力和OLAP的技術(shù)能力。進(jìn)一步來(lái)講對(duì)于前者，我們需要具備線(xiàn)上滿(mǎn)足高并發(fā)、高可用、高擴(kuò)展的開(kāi)發(fā)能力，比如根據(jù)公司業(yè)務(wù)發(fā)展階段給出優(yōu)雅的線(xiàn)上微服務(wù)架構(gòu)解決方案；對(duì)于后者，我們需要具備線(xiàn)下海量大數(shù)據(jù)處理和分析的開(kāi)發(fā)能力，比如電商公司收入趨勢(shì)的分析和預(yù)測(cè)、抖音等短視頻平臺(tái)日活用戶(hù)分析等開(kāi)發(fā)解決方案。

伴隨數(shù)字化轉(zhuǎn)型的向廣向深發(fā)展，具備OLAP型大數(shù)據(jù)開(kāi)發(fā)能力的工程師在人才市場(chǎng)上將具備更強(qiáng)的競(jìng)爭(zhēng)力和更豐厚的薪資收入，也必然成為新時(shí)代的香餑餑。

必備技術(shù)棧

那么如何成為大數(shù)據(jù)開(kāi)發(fā)工程師呢？

和大多數(shù)人一樣，非?？春么髷?shù)據(jù)的前景。剛好前幾天，問(wèn)過(guò)前58集團(tuán)大數(shù)據(jù)首席架構(gòu)師孫玄（江湖人稱(chēng)“玄姐”）兩個(gè)問(wèn)題。

怎么才能成為獨(dú)當(dāng)一面的大數(shù)據(jù)開(kāi)發(fā)工程師呢？

大數(shù)據(jù)開(kāi)發(fā)工程師需要具備大數(shù)據(jù)采集、大數(shù)據(jù)ETL、大數(shù)據(jù)計(jì)算、大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)建模、大數(shù)據(jù)智能分析等等能力。

那在這么多能力中，哪些能力是最核心最重要的呢？

大數(shù)據(jù)計(jì)算是整個(gè)大數(shù)據(jù)生態(tài)非常重要的一環(huán)，一定要牢牢掌握。

你一定知道，大數(shù)據(jù)計(jì)算根據(jù)業(yè)務(wù)需求不同，又分為離線(xiàn)批量計(jì)算和在線(xiàn)實(shí)時(shí)計(jì)算。比如基于MapReduce的海量計(jì)算屬于離線(xiàn)計(jì)算范疇；基于ClickHouse的計(jì)算屬于實(shí)時(shí)在線(xiàn)計(jì)算范疇。特別是支持任意指標(biāo)、任意維度并且秒級(jí)給出結(jié)果的在線(xiàn)實(shí)時(shí)計(jì)算的技術(shù)能力，對(duì)大數(shù)據(jù)開(kāi)發(fā)工程師而言就更加重要了。

（100M數(shù)據(jù)集跑分結(jié)果，1億數(shù)據(jù)查詢(xún)速度：ClickHouse比Vertica快5倍，比Hive快279倍，比MySQL快801倍?。?/p>

為了應(yīng)對(duì)大數(shù)據(jù)高時(shí)效性的發(fā)展需求，很多實(shí)時(shí)計(jì)算和在線(xiàn)交互式數(shù)據(jù)分析技術(shù)應(yīng)運(yùn)而生。實(shí)時(shí)OLAP數(shù)據(jù)庫(kù)ClickHouse正是這樣一款計(jì)算處理引擎，是業(yè)界公認(rèn)的一匹黑馬，它能夠優(yōu)雅解決企業(yè)任意指標(biāo)和任意維度組合，并且實(shí)時(shí)給出處理結(jié)果的復(fù)雜業(yè)務(wù)場(chǎng)景需求。

02

玩轉(zhuǎn)ClickHouse

怎么學(xué)能快速應(yīng)用?

當(dāng)然，通過(guò)看書(shū)、看文章的確是一種自學(xué)方式，不過(guò)ClickHouse相對(duì)復(fù)雜，它在很多方面不像其他系統(tǒng)那樣高度自動(dòng)化，而正是某些看似不夠自動(dòng)化的設(shè)計(jì)，反過(guò)來(lái)卻在使用中帶來(lái)了極大的靈活性。如果把數(shù)據(jù)庫(kù)比作汽車(chē)，那么ClickHouse儼然就是一輛手動(dòng)擋的賽車(chē)，對(duì)技術(shù)人員來(lái)說(shuō)會(huì)有諸多不適應(yīng)。找到專(zhuān)家?guī)ьI(lǐng)才是掌握從原理到真實(shí)線(xiàn)上使用的更快更有效的學(xué)習(xí)方式。

（ClickHouse 框架）

責(zé)任編輯：lq