在工作崗位上,大數(shù)據(jù)工程師需要基于Hadoop,Spark等構(gòu)建數(shù)據(jù)分析平臺,進行設(shè)計、開發(fā)分布式計算業(yè)務(wù)。負責大數(shù)據(jù)平臺(Hadoop,HBase,Spark等)集群環(huán)境的搭建,性能調(diào)優(yōu)和日常維護。負責數(shù)據(jù)倉庫設(shè)計,數(shù)據(jù)ETL的設(shè)計、開發(fā)和性能優(yōu)化。參與構(gòu)建大數(shù)據(jù)平臺,依托大數(shù)據(jù)技術(shù)建設(shè)用戶畫像。
除開以上是需要負責處理的工作,還需要負責分析新的數(shù)據(jù)需求,完成數(shù)據(jù)處理的設(shè)計(文檔)和實現(xiàn)。對大數(shù)據(jù)應(yīng)用產(chǎn)品設(shè)計及解決方案設(shè)計,通過大數(shù)據(jù)挖掘用戶需求。負責數(shù)據(jù)處理程序設(shè)計框架改善,數(shù)據(jù)處理性能優(yōu)化, 系統(tǒng)數(shù)據(jù)處理的能力提高等等。
能夠純熟處理以上工作的大數(shù)據(jù)工程師,月薪輕松突破15K不難。當下行業(yè)極缺人才,一名合格的大數(shù)據(jù)工程師是諸多企業(yè)爭搶的對象,并且開出來的薪資都不菲。以北京為例,大數(shù)據(jù)工程師的起步薪資,都是10000起,隨著工作能力的提升,薪資待遇也會跟著提升。
-
工程師
+關(guān)注
關(guān)注
59文章
1603瀏覽量
71213 -
大數(shù)據(jù)
+關(guān)注
關(guān)注
64文章
9091瀏覽量
144035
發(fā)布評論請先 登錄
研發(fā)工程師和測試工程師對于產(chǎn)品新功能的見解有何不同?#電子工程師 #電路知識 #人工智能
什么是BSP工程師
紅外熱成像技術(shù)——秋冬日常工作生活安全守護者
想成為硬件工程師?我教你??!你得先學會這些...... #硬件工程師 #電子工程師 #電子愛好者 #電子行業(yè)
硬件工程師看了只會找個角落默默哭泣#硬件工程師 #MDD #MDD辰達半導體 #產(chǎn)品經(jīng)理 #軟件工程師
大數(shù)據(jù)工程師的日常工作是什么
評論