大數(shù)據(jù)架構(gòu)師的基本職責(zé)
大數(shù)據(jù)架構(gòu)師的基本職責(zé)
大數(shù)據(jù)架構(gòu)師需要參與規(guī)劃從數(shù)據(jù)源到數(shù)據(jù)應(yīng)用的整體流程，并參與相關(guān)產(chǎn)品的決策。下面是學(xué)習(xí)啦小編為您精心整理的大數(shù)據(jù)架構(gòu)師的基本職責(zé)。
大數(shù)據(jù)架構(gòu)師的基本職責(zé)1
職責(zé)：
1.負責(zé)整個大數(shù)據(jù)平臺架構(gòu)的設(shè)計和構(gòu)建;
2.負責(zé)構(gòu)建大數(shù)據(jù)平臺的數(shù)據(jù)交換、任務(wù)調(diào)度等通用平臺;
3.制定開發(fā)、測試、實施、維護的標(biāo)準(zhǔn)和規(guī)范，指導(dǎo)和培訓(xùn)工程師，不斷提升團隊能力。
4.參與系統(tǒng)需求分析、架構(gòu)設(shè)計、技術(shù)選型、應(yīng)用設(shè)計與開發(fā)以及測試與部署，負責(zé)編寫核心部分代碼。
5.持續(xù)挑戰(zhàn)新的技術(shù)方向，攻克大數(shù)據(jù)量、高并發(fā)、高可用、可擴展等技術(shù)難點。
任職要求：
1.3年以上大數(shù)據(jù)架構(gòu)經(jīng)驗，豐富的數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、機器學(xué)習(xí)項目經(jīng)驗
2.大規(guī)模數(shù)據(jù)處理的架構(gòu)和設(shè)計實戰(zhàn)經(jīng)驗
3.精通Spark、MR，熟練HDFS、Yarn、Hbase、Hive、MongoDB，熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等，并具有豐富的大型數(shù)據(jù)平臺工程經(jīng)驗
4.深刻理解大數(shù)據(jù)處理(流計算，分布式計算，分布式文件系統(tǒng)，分布式存儲等)相關(guān)技術(shù)和實現(xiàn)方法
5.熟悉主數(shù)據(jù)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量等企業(yè)數(shù)據(jù)管理相關(guān)的體系和方法，熟練Linux/Unix平臺上的開發(fā)環(huán)境
6.本科或以上學(xué)歷，計算機軟件或相關(guān)專業(yè)，豐富的java開發(fā)經(jīng)驗和互聯(lián)網(wǎng)背景優(yōu)先。
7.具有比較強的問題分析和處理能力，有比較優(yōu)秀的動手能力，熱衷技術(shù)，精益求精
大數(shù)據(jù)架構(gòu)師的基本職責(zé)2
職責(zé)：
1. 深刻理解政府行業(yè)業(yè)務(wù)模式，構(gòu)建政府行業(yè)的數(shù)據(jù)模型，制定公司大數(shù)據(jù)技術(shù)發(fā)展路線;
2. 對接業(yè)務(wù)研究和技術(shù)部門，主動搜集和轉(zhuǎn)化需求，組織數(shù)據(jù)中心業(yè)務(wù)開發(fā)，進行數(shù)據(jù)相關(guān)產(chǎn)品需求分析和設(shè)計;
3. 搭建數(shù)據(jù)倉庫，研發(fā)數(shù)據(jù)庫管理系統(tǒng)，搜集、提取、處理業(yè)務(wù)積累的海量數(shù)據(jù)，開展數(shù)據(jù)分析和挖掘;
4. 根據(jù)公司戰(zhàn)略和發(fā)展需要，規(guī)劃數(shù)據(jù)中心重點工作和任務(wù);落實部門人員、事務(wù)管理，開展跨部門、跨地區(qū)協(xié)作，協(xié)助對外交流與合作。
職位要求：
1. 5年以上相關(guān)工作經(jīng)驗，有團隊管理和項目管理經(jīng)驗者優(yōu)先;
2.了解政府運作機制，掌握財政行業(yè)知識，有電子政務(wù)行業(yè)經(jīng)驗者優(yōu)先;
3. 熟練掌握使用Java或Python,精通數(shù)據(jù)庫查詢語言如SQL，Oracle等,在機器學(xué)習(xí)模型和算法方向有應(yīng)用經(jīng)驗者優(yōu)先;
4. 具備數(shù)據(jù)中心產(chǎn)品策劃整體思維，有大數(shù)據(jù)處理、分析、挖掘經(jīng)驗者優(yōu)先;
5. 邏輯思維嚴(yán)密，具備業(yè)務(wù)抽象、分解和標(biāo)準(zhǔn)化的能力，口頭和書面表達優(yōu)秀;
6. 有較強的大局意識和良好的團隊合作意識，富有領(lǐng)導(dǎo)力，具備優(yōu)秀的人際交往和溝通能力。
大數(shù)據(jù)架構(gòu)師的基本職責(zé)3
職責(zé):
1、從事電信行業(yè)大數(shù)據(jù)項目相關(guān)業(yè)務(wù)調(diào)研、產(chǎn)品標(biāo)準(zhǔn)建設(shè)、核心模型設(shè)計和優(yōu)化、系統(tǒng)測試等相關(guān)工作
2、與數(shù)據(jù)專業(yè)委員會一起研究數(shù)據(jù)建模方案和建模工具，負責(zé)產(chǎn)品線產(chǎn)品的數(shù)據(jù)架構(gòu)、數(shù)據(jù)模型設(shè)計
3、參與研究數(shù)據(jù)庫之間的數(shù)據(jù)轉(zhuǎn)換方式，參與項目中的數(shù)據(jù)移植工作，收集在項目中的數(shù)據(jù)移植經(jīng)驗，優(yōu)化產(chǎn)品的數(shù)據(jù)模型
4、負責(zé)培訓(xùn)本部門隊伍的數(shù)據(jù)模型基礎(chǔ)理論工作，建立數(shù)據(jù)模型團隊
崗位要求：
1、統(tǒng)招本科學(xué)歷，3年以上主流數(shù)據(jù)上(DB2、Oracle、SQLServer、Mysql等)ETL設(shè)計、開發(fā)經(jīng)驗，具備大型數(shù)據(jù)倉庫邏輯模型和物理模型設(shè)計經(jīng)驗，精通SQL，有較好的SQL性能調(diào)優(yōu)經(jīng)驗;
2、擁有Python，R等數(shù)學(xué)建模工具的使用經(jīng)驗，并具備一定的數(shù)據(jù)處理和建模經(jīng)驗，可以輸出相應(yīng)的模型分析結(jié)果、模型比較、模型效率以及對模型的理論和判斷依據(jù)方法并對其進行完整的解釋和說明;
3、熟悉統(tǒng)計學(xué)基本原理，做過實戰(zhàn)的數(shù)據(jù)建模項目;
4、有分布式數(shù)據(jù)倉庫建設(shè)相關(guān)經(jīng)驗者優(yōu)先，具備電信行業(yè)數(shù)據(jù)倉庫建設(shè)相關(guān)經(jīng)驗者優(yōu)先;
大數(shù)據(jù)架構(gòu)師的基本職責(zé)4
職責(zé)：
1、負責(zé)大數(shù)據(jù)平臺的架構(gòu)設(shè)計、核心代碼開發(fā)等任務(wù);根據(jù)項目要求編寫相關(guān)技術(shù)文檔;
2、負責(zé)大數(shù)據(jù)平臺的架構(gòu)評審，代碼評審，上線評審;參與數(shù)據(jù)應(yīng)用需求、設(shè)計、審核和評審;
3、負責(zé)核心模塊研發(fā)，負責(zé)大數(shù)據(jù)平臺的搭建，完成系統(tǒng)調(diào)試、集成與實施;
4、負責(zé)建立和維護大數(shù)據(jù)平臺技術(shù)標(biāo)準(zhǔn)規(guī)范，指導(dǎo)開發(fā)人員編寫代碼;
任職要求：
1、本科及以上計算機相關(guān)專業(yè)畢業(yè);
2、精通離線和實時數(shù)據(jù)處理流程，掌握離線數(shù)據(jù)處理框架hive、impala、spark-sql等，掌握實時數(shù)據(jù)處理常用技術(shù)工具，包括Storm、SparkStreaming等;
3、熟悉大數(shù)據(jù)技術(shù)生態(tài)圈，精通大數(shù)據(jù)技術(shù)架構(gòu)，有大數(shù)據(jù)平臺構(gòu)建經(jīng)驗;
4、掌握常見數(shù)據(jù)流接入工具，包括Flume、kafka等;
5、熟練掌握基本的Linux操作系統(tǒng)和某種腳本語言編程(如Shell等);
6、掌握一種或以上實時處理語言，如JAVA、SCALA、PYTHON等，有SCALA經(jīng)驗者優(yōu)先;
7、有實際大規(guī)模數(shù)據(jù)(TB級以上)處理經(jīng)驗優(yōu)先;
大數(shù)據(jù)架構(gòu)師的基本職責(zé)5
職責(zé)：
1、負責(zé)公司的大數(shù)據(jù)處理框架的研發(fā)設(shè)計工作，梳理可實現(xiàn)方案和技術(shù)規(guī)范;
2、開發(fā)、完善公司大數(shù)據(jù)平臺;參與公司離線、實時大數(shù)據(jù)處理系統(tǒng)的設(shè)計、開發(fā)、測試及多個業(yè)務(wù)模塊的自動化集成;
3、負責(zé)業(yè)務(wù)平臺數(shù)據(jù)統(tǒng)計分析模塊的設(shè)計與規(guī)劃;
4、負責(zé)公司產(chǎn)品研發(fā)過程中的數(shù)據(jù)及存儲設(shè)計;
5、帶領(lǐng)和培養(yǎng)團隊完成組織分解的目標(biāo);
任職要求：
1、統(tǒng)招本科及以上學(xué)歷，計算機、軟件工程相關(guān)專業(yè)，至少8年以上工作經(jīng)驗，5年以上大數(shù)據(jù)開發(fā)經(jīng)驗;
2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相關(guān)技術(shù)的基礎(chǔ)架構(gòu)
3、熟悉數(shù)據(jù)倉庫，數(shù)據(jù)算法，分布式計算技術(shù)理論，具有大數(shù)據(jù)整體系統(tǒng)架構(gòu)設(shè)計經(jīng)驗;
4、熟悉Linux系統(tǒng)，熟練使用shell/perl/python腳本處理問題;
5、對深度學(xué)習(xí)框架(Tensorflow)和機器學(xué)習(xí)(svm 隨機深林貝葉斯等)有一定了解的優(yōu)先;
6、能夠組織項目開發(fā)組協(xié)同工作，包括團隊溝通、計劃、開發(fā)環(huán)境管理等