大數據架構師的基本職責

大數據架構師的基本職責

　　大數據架構師需要參與規(guī)劃從數據源到數據應用的整體流程，并參與相關產品的決策。下面是學習啦小編為您精心整理的大數據架構師的基本職責。

　　大數據架構師的基本職責1

　　職責：

　　1.負責整個大數據平臺架構的設計和構建;

　　2.負責構建大數據平臺的數據交換、任務調度等通用平臺;

　　3.制定開發(fā)、測試、實施、維護的標準和規(guī)范，指導和培訓工程師，不斷提升團隊能力。

　　4.參與系統需求分析、架構設計、技術選型、應用設計與開發(fā)以及測試與部署，負責編寫核心部分代碼。

　　5.持續(xù)挑戰(zhàn)新的技術方向，攻克大數據量、高并發(fā)、高可用、可擴展等技術難點。

　　任職要求：

　　1.3年以上大數據架構經驗，豐富的數據倉庫、數據挖掘、機器學習項目經驗

　　2.大規(guī)模數據處理的架構和設計實戰(zhàn)經驗

　　3.精通Spark、MR，熟練HDFS、Yarn、Hbase、Hive、MongoDB，熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等，并具有豐富的大型數據平臺工程經驗

　　4.深刻理解大數據處理(流計算，分布式計算，分布式文件系統，分布式存儲等)相關技術和實現方法

　　5.熟悉主數據、元數據、數據質量等企業(yè)數據管理相關的體系和方法，熟練Linux/Unix平臺上的開發(fā)環(huán)境

　　6.本科或以上學歷，計算機軟件或相關專業(yè)，豐富的java開發(fā)經驗和互聯網背景優(yōu)先。

　　7.具有比較強的問題分析和處理能力，有比較優(yōu)秀的動手能力，熱衷技術，精益求精

　　大數據架構師的基本職責2

　　職責：

　　1. 深刻理解政府行業(yè)業(yè)務模式，構建政府行業(yè)的數據模型，制定公司大數據技術發(fā)展路線;

　　2. 對接業(yè)務研究和技術部門，主動搜集和轉化需求，組織數據中心業(yè)務開發(fā)，進行數據相關產品需求分析和設計;

　　3. 搭建數據倉庫，研發(fā)數據庫管理系統，搜集、提取、處理業(yè)務積累的海量數據，開展數據分析和挖掘;

　　4. 根據公司戰(zhàn)略和發(fā)展需要，規(guī)劃數據中心重點工作和任務;落實部門人員、事務管理，開展跨部門、跨地區(qū)協作，協助對外交流與合作。

　　職位要求：

　　1. 5年以上相關工作經驗，有團隊管理和項目管理經驗者優(yōu)先;

　　2.了解政府運作機制，掌握財政行業(yè)知識，有電子政務行業(yè)經驗者優(yōu)先;

　　3. 熟練掌握使用Java或Python,精通數據庫查詢語言如SQL，Oracle等,在機器學習模型和算法方向有應用經驗者優(yōu)先;

　　4. 具備數據中心產品策劃整體思維，有大數據處理、分析、挖掘經驗者優(yōu)先;

　　5. 邏輯思維嚴密，具備業(yè)務抽象、分解和標準化的能力，口頭和書面表達優(yōu)秀;

　　6. 有較強的大局意識和良好的團隊合作意識，富有領導力，具備優(yōu)秀的人際交往和溝通能力。

　　大數據架構師的基本職責3

　　職責:

　　1、從事電信行業(yè)大數據項目相關業(yè)務調研、產品標準建設、核心模型設計和優(yōu)化、系統測試等相關工作

　　2、與數據專業(yè)委員會一起研究數據建模方案和建模工具，負責產品線產品的數據架構、數據模型設計

　　3、參與研究數據庫之間的數據轉換方式，參與項目中的數據移植工作，收集在項目中的數據移植經驗，優(yōu)化產品的數據模型

　　4、負責培訓本部門隊伍的數據模型基礎理論工作，建立數據模型團隊

　　崗位要求：

　　1、統招本科學歷，3年以上主流數據上(DB2、Oracle、SQLServer、Mysql等)ETL設計、開發(fā)經驗，具備大型數據倉庫邏輯模型和物理模型設計經驗，精通SQL，有較好的SQL性能調優(yōu)經驗;

　　2、擁有Python，R等數學建模工具的使用經驗，并具備一定的數據處理和建模經驗，可以輸出相應的模型分析結果、模型比較、模型效率以及對模型的理論和判斷依據方法并對其進行完整的解釋和說明;

　　3、熟悉統計學基本原理，做過實戰(zhàn)的數據建模項目;

　　4、有分布式數據倉庫建設相關經驗者優(yōu)先，具備電信行業(yè)數據倉庫建設相關經驗者優(yōu)先;

　　大數據架構師的基本職責4

　　職責：

　　1、負責大數據平臺的架構設計、核心代碼開發(fā)等任務;根據項目要求編寫相關技術文檔;

　　2、負責大數據平臺的架構評審，代碼評審，上線評審;參與數據應用需求、設計、審核和評審;

　　3、負責核心模塊研發(fā)，負責大數據平臺的搭建，完成系統調試、集成與實施;

　　4、負責建立和維護大數據平臺技術標準規(guī)范，指導開發(fā)人員編寫代碼;

　　任職要求：

　　1、本科及以上計算機相關專業(yè)畢業(yè);

　　2、精通離線和實時數據處理流程，掌握離線數據處理框架hive、impala、spark-sql等，掌握實時數據處理常用技術工具，包括Storm、SparkStreaming等;

　　3、熟悉大數據技術生態(tài)圈，精通大數據技術架構，有大數據平臺構建經驗;

　　4、掌握常見數據流接入工具，包括Flume、kafka等;

　　5、熟練掌握基本的Linux操作系統和某種腳本語言編程(如Shell等);

　　6、掌握一種或以上實時處理語言，如JAVA、SCALA、PYTHON等，有SCALA經驗者優(yōu)先;

　　7、有實際大規(guī)模數據(TB級以上)處理經驗優(yōu)先;

　　大數據架構師的基本職責5

　　職責：

　　1、負責公司的大數據處理框架的研發(fā)設計工作，梳理可實現方案和技術規(guī)范;

　　2、開發(fā)、完善公司大數據平臺;參與公司離線、實時大數據處理系統的設計、開發(fā)、測試及多個業(yè)務模塊的自動化集成;

　　3、負責業(yè)務平臺數據統計分析模塊的設計與規(guī)劃;

　　4、負責公司產品研發(fā)過程中的數據及存儲設計;

　　5、帶領和培養(yǎng)團隊完成組織分解的目標;

　　任職要求：

　　1、統招本科及以上學歷，計算機、軟件工程相關專業(yè)，至少8年以上工作經驗，5年以上大數據開發(fā)經驗;

　　2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相關技術的基礎架構

　　3、熟悉數據倉庫，數據算法，分布式計算技術理論，具有大數據整體系統架構設計經驗;

　　4、熟悉Linux系統，熟練使用shell/perl/python腳本處理問題;

　　5、對深度學習框架(Tensorflow)和機器學習(svm 隨機深林貝葉斯等)有一定了解的優(yōu)先;

　　6、能夠組織項目開發(fā)組協同工作，包括團隊溝通、計劃、開發(fā)環(huán)境管理等