亚洲一级免费看,特黄特色大片免费观看播放器,777毛片,久久久久国产一区二区三区四区,欧美三级一区二区,国产精品一区二区久久久久,人人澡人人草

工作職責 百文網(wǎng)手機站

大數(shù)據(jù)架構(gòu)師工作的職責

時間:2022-11-22 17:01:09 工作職責 我要投稿

大數(shù)據(jù)架構(gòu)師工作的職責

大數(shù)據(jù)架構(gòu)師工作的職責1

  職責

  1、負責大數(shù)據(jù)架構(gòu)設計,包括定義數(shù)據(jù)的存儲、集成(ETL)、應用,支撐業(yè)務運營和數(shù)據(jù)分析類需求實現(xiàn);

  2、制定數(shù)據(jù)治理領域的數(shù)據(jù)體系化管理措施,包括元數(shù)據(jù)設計、數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量、數(shù)據(jù)處理、數(shù)據(jù)安全等工作,確保數(shù)據(jù)可信與安全;

  3、基于行業(yè)數(shù)據(jù)積累,滿足業(yè)務的數(shù)據(jù)挖掘需求,實現(xiàn)從數(shù)據(jù)到資產(chǎn)的轉(zhuǎn)變,根據(jù)目標行業(yè)建立具有前瞻性的數(shù)據(jù)模型;

  4、對各產(chǎn)品的數(shù)據(jù)安全負責,主導制定和實施數(shù)據(jù)庫系統(tǒng)安全策略,保證整體方案數(shù)據(jù)安全;

  崗位要求

  業(yè)務技能要求:

  1、深入理解云化、數(shù)據(jù)倉庫,在參與過的系統(tǒng)設計中,必須涉及這兩項關鍵技術;

  n2、精通或者熟悉Hadoop體系架構(gòu),以及HDFS/HBase/Hive/MapReduce/Spark等技術,了解體系架構(gòu)各組件的優(yōu)缺點,有直接的產(chǎn)品設計與開發(fā)、部署、調(diào)優(yōu)的經(jīng)驗;

  3、精通或熟悉常見RDBMS(Oracle / PostgreSQL / MySql)、NoSQL(Redis / Memcached/ MongoDB)、全文搜索引擎(Solr/ElasticSearch)的使用及開發(fā),了解各數(shù)據(jù)庫優(yōu)缺點,熟悉與架構(gòu)設計相關的數(shù)據(jù)存儲、性能調(diào)優(yōu)等相關領域知識,有相關項目經(jīng)驗尤佳;

  4、熟悉業(yè)界常用的數(shù)據(jù)采集、集成、數(shù)據(jù)存儲、計算、數(shù)據(jù)模型、數(shù)據(jù)分析的技術方案,具有數(shù)據(jù)分析或數(shù)據(jù)挖掘相關經(jīng)驗者優(yōu)先;

  n5、熟悉數(shù)據(jù)治理相關流程,包括數(shù)據(jù)接入、數(shù)據(jù)處理、數(shù)據(jù)治理、數(shù)據(jù)組織、數(shù)據(jù)服務等。

  專業(yè)知識要求:

  1、具備數(shù)據(jù)治理的知識與體系方案,包含政策、組織、角色、流程、規(guī)范等,以及規(guī)劃相應的支撐方案。了解業(yè)界的數(shù)據(jù)管理方法論;

  2、具備數(shù)據(jù)用例設計和開發(fā)能力。能夠基于業(yè)務相關數(shù)據(jù)進行業(yè)務需求分析和痛點識別,將業(yè)務需求轉(zhuǎn)化為數(shù)據(jù)的需求,完成數(shù)據(jù)用例的設計和開發(fā);

  3、精通海量數(shù)據(jù)(日增量百億)級別數(shù)據(jù)倉庫、數(shù)據(jù)集市的構(gòu)建流程。熟悉公安、政務、工業(yè)、交通、醫(yī)療等多行業(yè)業(yè)務者優(yōu)先。

大數(shù)據(jù)架構(gòu)師工作的職責2

  職責:

  1、負責設計企業(yè)級大數(shù)據(jù)平臺的整體架構(gòu),從技術層面制定清晰的大數(shù)據(jù)產(chǎn)品與系統(tǒng)技術架構(gòu),并負責實現(xiàn)關鍵技術和產(chǎn)品。

  2、負責設計具有創(chuàng)新價值的大數(shù)據(jù)底層平臺、大數(shù)據(jù)上層應用系統(tǒng)等,帶領團隊完成有質(zhì)變的技術解決方案。

  3、負責組織同事研究行內(nèi)最前沿的技術發(fā)展方向,突破現(xiàn)有的技術難題。

  4、負責研究院對外項目合作協(xié)調(diào)與支持,編寫項目建設方案及后期項目建設支持。

  任職要求:

  1、碩士及以上學歷,計算機相關專業(yè)。

  2、 JAVA基礎扎實,不少于8年的一線開發(fā)經(jīng)驗,精通Spring boot/MyBatis/Restful API的開發(fā)與管理、熟悉ReactJS/Angular/Vue之一前端開發(fā)技術,熟悉Maven或Ant、,熟悉Python語言開發(fā)加分。

  3、不少于4年大數(shù)據(jù)的直接研發(fā)經(jīng)驗,精通Hadoop/Spark系統(tǒng),有hands—on的架構(gòu)設計、性能調(diào)優(yōu)、開發(fā)經(jīng)驗。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive等系統(tǒng)的開發(fā)經(jīng)驗。

  4、掌握分布式系統(tǒng)原理,對分布式存儲、流式計算、消息隊列中的一項或多項有深入的理解和認識。

  5、熟悉分布式系統(tǒng)的監(jiān)控、運維、故障恢復,高可用原理和設計理念。

  6、算法基礎扎實,熟悉常見的數(shù)據(jù)結(jié)構(gòu),掌握大規(guī)模高并發(fā)訪問、大數(shù)據(jù)開發(fā)等處理經(jīng)驗;熟練的Linux系統(tǒng),網(wǎng)絡,內(nèi)存和存儲等方面知識。

  7、必須要有千萬級別的項目管理經(jīng)驗,包括但不限于前期需求溝通,建設方案編寫,中期項目實施,進度匯報,后期項目維護。

大數(shù)據(jù)架構(gòu)師工作的職責3

  職責

  1、負責公司大數(shù)據(jù)平臺的整體架構(gòu)設計,包含數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)挖掘、數(shù)據(jù)輸出;

  2、負責規(guī)劃從數(shù)據(jù)源到數(shù)據(jù)應用的整體流程,并參與用戶產(chǎn)品和數(shù)據(jù)產(chǎn)品的決策;

  3、負責海量數(shù)據(jù)分析、用戶行為分析,構(gòu)建用戶數(shù)據(jù)模型;

  4、負責解決核心技術問題,對技術方案進行決策;

  5、技術團隊管理。

  6、熟悉手機IOS、安卓系統(tǒng)APP開發(fā)

  任職資格

  1、計算機相關專業(yè)畢業(yè),本科以上學歷;

  2、5年以上相關工作經(jīng)驗,具備軟件產(chǎn)品架構(gòu)設計經(jīng)驗,熟練掌握高性能、高擴展性架構(gòu)設計方法;

  3、熟練掌握java或c++任意一門語言、熟悉linux操作系統(tǒng);

  4、熟悉Hadoop/MR/Hbase/Mahout/Spark等大數(shù)據(jù)技術,并能夠基于上述項目開發(fā)大數(shù)據(jù)相關應用;

  5、熟悉基本數(shù)據(jù)挖掘方法和技術;

  6、強烈的敬業(yè)精神,良好的溝通與協(xié)調(diào)能力,能有效組織協(xié)調(diào)團隊完成各類開發(fā)工作;

  7、熱愛技術,相信數(shù)據(jù)的價值,對大數(shù)據(jù)有深刻的理解。

大數(shù)據(jù)架構(gòu)師工作的職責4

  職責:

  1、負責大數(shù)據(jù)基礎平臺、海量數(shù)據(jù)存儲/處理分布式平臺、數(shù)據(jù)分析系統(tǒng)架構(gòu)設計和研發(fā);

  2、負責實時計算平臺基礎架構(gòu)設計、部署、監(jiān)控、優(yōu)化升級;

  3、制定項目/數(shù)據(jù)倉庫設計及實現(xiàn)規(guī)范,指導設計研發(fā)和部署;

  4、協(xié)助策略和算法團隊工作,保障數(shù)據(jù)挖掘建模和工程化;

  5、深入研究大數(shù)據(jù)相關技術和產(chǎn)品,跟進業(yè)界先進技術。

  任職要求:

  1、全日制本科及以上學歷,5年以上軟件和分布式系統(tǒng)研發(fā)經(jīng)驗,3年以上大數(shù)據(jù)系統(tǒng)架構(gòu)經(jīng)驗;

  2、精通Hadoop/HBase/Spark/Storm/Redis技術及其生態(tài)圈;

  3、具備Java/C++/Scala等開發(fā)經(jīng)驗,熟悉數(shù)據(jù)挖掘和分析的策略與算法;

  4、具備良好的系統(tǒng)分析能力、故障診斷能力;

  5、有大數(shù)據(jù)策略、算法、可視化經(jīng)驗優(yōu)先;

  6、211/985重點學校畢業(yè)優(yōu)先。

大數(shù)據(jù)架構(gòu)師工作的職責5

  職責:

  1、負責大數(shù)據(jù)平臺的技術選型,基于Spark、Hadoop大數(shù)據(jù)平臺建設和開發(fā);

  2、完成包括數(shù)據(jù)模型設計、數(shù)據(jù)采集、數(shù)據(jù)存儲等方面的大數(shù)據(jù)系統(tǒng)架構(gòu)的設計和數(shù)據(jù)層架構(gòu)設計;

  3、構(gòu)建數(shù)據(jù)中臺,為多種行業(yè)應用提供主數(shù)據(jù)(畫像標簽/關系圖譜)、數(shù)據(jù)模型、人工智能業(yè)務算法及數(shù)據(jù)服務。

  4、對海量數(shù)據(jù)處理的業(yè)務需求進行評估和方案設計、拆分任務并指導工程師完成開發(fā);

  5、帶領大數(shù)據(jù)技術團隊提供并實現(xiàn)大數(shù)據(jù)平臺上各項數(shù)據(jù)分析和數(shù)據(jù)可視化的架構(gòu)設計,支撐解決方案實施。

  任職要求:

  1、本科及以上學歷,具有5年及以上大數(shù)據(jù)架構(gòu)設計和開發(fā)經(jīng)驗;2年及以上帶領團隊經(jīng)驗;溝通能力強。在大型互聯(lián)網(wǎng)企業(yè)從事大數(shù)據(jù)架構(gòu)設計者優(yōu)先考慮;有分布式大型商業(yè)軟件系統(tǒng)設計經(jīng)驗、主導過大型商業(yè)軟件的架構(gòu)設計并取得過市場商業(yè)成功者優(yōu)先考慮;

  2、熟悉整個大數(shù)據(jù)的完整處理流程,包括數(shù)據(jù)的采集、清洗、預處理、存儲、分析挖據(jù)、機器學習和數(shù)據(jù)可視化;

  3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一種主流數(shù)據(jù)庫的使用,并能進行性能調(diào)優(yōu);

  4、具備優(yōu)秀的團隊意識和溝通能力,學習能力和主動性強,具有鉆研精神,充滿激情,樂于接受挑戰(zhàn)。

大數(shù)據(jù)架構(gòu)師工作的職責6

  職責:

  1、負責企業(yè)數(shù)據(jù)中心建設,設計數(shù)據(jù)邏輯模型和物理模型,并完成相關開發(fā)

  2、梳理公司各業(yè)務線常用的指標和維度,統(tǒng)一指標定義口徑

  3、根據(jù)數(shù)據(jù)應用開發(fā)和數(shù)據(jù)分析需求,設計數(shù)據(jù)倉庫信息層模型,提高數(shù)據(jù)開發(fā)的效率

  4、負責數(shù)據(jù)模型的運營和優(yōu)化,及時響應業(yè)務邏輯變更,保證模型的數(shù)據(jù)質(zhì)量和穩(wěn)定性

  5、負責公司數(shù)據(jù)標簽體系的建設,并推動標簽體系在實際業(yè)務場景中落地

  崗位要求:

  1、5年以上DW/BI數(shù)據(jù)架構(gòu)設計、模型設計和性能調(diào)優(yōu)等相關經(jīng)驗

  2、有較強的數(shù)據(jù)分析能力,精通數(shù)據(jù)倉庫架構(gòu),熟悉Erwin或PowerDesigner建模工具

  3、精通一種主流關系數(shù)據(jù)庫(如mysql等),熟悉Hive開發(fā)

  4、有電商業(yè)務經(jīng)驗,元數(shù)據(jù)管理,數(shù)據(jù)質(zhì)量管理或標簽體系搭建經(jīng)驗者優(yōu)先

  5、優(yōu)秀的協(xié)調(diào)溝通與團隊協(xié)作能力,極強的責任心,能承受一定的工作壓力,認同企業(yè)文化和團隊價值

大數(shù)據(jù)架構(gòu)師工作的職責7

  職責:

  1、負責公司大數(shù)據(jù)產(chǎn)品的架構(gòu)設計,包含數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)應用,并完成相關架構(gòu)設計文檔的撰寫;

  2、參與規(guī)劃從數(shù)據(jù)源到數(shù)據(jù)應用的整體流程,并參與相關產(chǎn)品的決策;

  3、負責解決核心技術問題,對技術方案進行決策;

  4、負責大數(shù)據(jù)研發(fā)團隊建設、人才梯隊培養(yǎng)和技術團隊管理;

  5、積極了解業(yè)界發(fā)展,研究與跟蹤大數(shù)據(jù)新技術發(fā)展方向。

  任職要求:

  1、精通GoldenGate For BigData相關理論,具備大型數(shù)據(jù)利用的生產(chǎn)實戰(zhàn)經(jīng)驗;

  2、精通數(shù)據(jù)驅(qū)動的理論,設計并生產(chǎn)上線相關數(shù)據(jù)驅(qū)動的.產(chǎn)品;

  3、精通常用消息中間件的使用,例如kafka/RocketMQ/Apache Pulsar,有解讀相關源碼者優(yōu)先;

  4、掌握hadoop、spark生態(tài)體系相關產(chǎn)品的使用,掌握MapReduce編程或Spark編程;

  5、了解傳統(tǒng)數(shù)據(jù)倉庫理論及相關ETL工具,例如kettle/datastage;

  6、熟悉Oracle、Mongodb、Mysql數(shù)據(jù)庫的使用;

  7、扎實的Java語言基礎,熟悉Java開發(fā)工具和調(diào)試工具的使用;

  8、良好的團隊協(xié)作精神,有能力對團隊在軟件設計、實現(xiàn)和測試方面進行指導;

  9、良好的邏輯分析能力和溝通能力,執(zhí)行力強、對待工作認真嚴謹、責任心強、具備出色的學習能力和團隊合作精神,有一定的推動能力;

  10、計算機科學、信息技術或相關領域本科以上學歷,具有5年以上數(shù)據(jù)平臺項目開發(fā)經(jīng)驗,3年以上的架構(gòu)設計經(jīng)驗,具有大數(shù)據(jù)平臺應用大型項目架構(gòu)設計經(jīng)驗優(yōu)先;

大數(shù)據(jù)架構(gòu)師工作的職責8

  職責:

  1、負責公司新業(yè)務方向平臺大數(shù)據(jù)基礎架構(gòu)的搭建及后期數(shù)據(jù)處理體系的升級和優(yōu)化,不斷提升系統(tǒng)的穩(wěn)定性和效率。為公司未來方向性產(chǎn)品提供大數(shù)據(jù)底層平臺的支持和保證。

  2、負責制定大數(shù)據(jù)平臺調(diào)用約束和規(guī)范;

  3、負責大數(shù)據(jù)方向技術難題的解決,以及代碼質(zhì)量的把控;

  4、作為大數(shù)據(jù)開發(fā)團隊的leader,負責大數(shù)據(jù)系統(tǒng)平臺開發(fā)團隊建設與人才梯隊培養(yǎng),分享技術經(jīng)驗,撰寫相關技術文檔指導和培訓工程師。

  任職要求:

  1、熱衷于大數(shù)據(jù)技術,并能平衡大數(shù)據(jù)性能、穩(wěn)定性、擴展性多重要素進行設計和優(yōu)化;

  2、熟悉服務器基本知識,能夠評估系統(tǒng)硬件性能瓶頸;

  3、掌握Linux操作系統(tǒng)的配置,管理及優(yōu)化,能夠獨立排查及解決操作系統(tǒng)層的各類問題,并能提供解決問題的理論依據(jù);

  4、精通Java服務器編程,熟悉JVM原理,對數(shù)據(jù)結(jié)構(gòu)和算法設計有較為深刻的理解;

  5、精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底層架構(gòu),熟悉原理、源碼、集群部署,包括參數(shù)優(yōu)化、Bug修復,貢獻過代碼或提交過bug者優(yōu)先

  6、具備數(shù)據(jù)中心資源管理、監(jiān)控、調(diào)度等系統(tǒng)研發(fā)經(jīng)驗者優(yōu)先,具備分布式系統(tǒng)研發(fā)經(jīng)驗者優(yōu)先;

  7、具有應用大數(shù)據(jù)技術處理的項目開發(fā)、維護超過兩年的經(jīng)驗者優(yōu)先;

  8、具有良好的文檔編寫能力,可進行方案設計、架構(gòu)設計。

大數(shù)據(jù)架構(gòu)師工作的職責9

  職責:

  負責公司大數(shù)據(jù)產(chǎn)品架構(gòu)的設計與實現(xiàn);

  配合大數(shù)據(jù)產(chǎn)品經(jīng)理完成產(chǎn)品的快速研發(fā)與交付;

  負責大數(shù)據(jù)產(chǎn)品架構(gòu)的持續(xù)優(yōu)化設計;

  負責大數(shù)據(jù)產(chǎn)品核心組件設計;

  負責大數(shù)據(jù)相關數(shù)據(jù)架構(gòu)規(guī)劃、數(shù)據(jù)建模、數(shù)據(jù)庫設計以及大數(shù)據(jù)產(chǎn)品研發(fā)工作;

  為應用開發(fā)團隊提供技術支撐。

  及時向上級反饋工作進度、遇到的問題或者對現(xiàn)有工作的建議等;

  完成上級領導交辦的其它各項工作。

  任職資格:

  985/211本科及以上學歷,3年以上的大數(shù)據(jù)開發(fā)經(jīng)驗、

  2年以上大數(shù)據(jù)架構(gòu)設計經(jīng)驗;

  豐富的JAVA研發(fā)經(jīng)驗,精通JAVA,熟悉Python Scala等編程語言;具備深厚的分布式系統(tǒng)或數(shù)據(jù)庫系統(tǒng)的理論基礎,熟悉分布式計算系統(tǒng)的工作機制,具有分布式文件系統(tǒng)、分布式數(shù)據(jù)庫系統(tǒng)、集群存儲系統(tǒng)等架構(gòu)設計經(jīng)驗;

  熟悉整個大數(shù)據(jù)的完整處理流程(數(shù)據(jù)的采集、清洗、預處理、存儲、分析挖掘、機器學習和數(shù)據(jù)可視化);

  精通各種大數(shù)據(jù)相關技術體系:Hadoop、Spark、Storm、ElasticSearch、Kafka;

  有數(shù)據(jù)挖掘、機器學習相關應用或研究背景;

  溝通能力較好,積極主動意識較強,責任心較強。

  具備優(yōu)秀的邏輯思維能力,對解決挑戰(zhàn)性問題充滿熱情,善于解決問題和分析問題;

  良好的團隊合作精神,較強的溝通能力和學習能力;

大數(shù)據(jù)架構(gòu)師工作的職責10

  職責:

  1、對業(yè)務需求深入分析,從而進行大數(shù)據(jù)平臺核心應用的架構(gòu)設計、開發(fā)和技術支持;

  2、規(guī)劃業(yè)務應用系統(tǒng)和基礎平臺的技術架構(gòu),參與需求分析、建模、架構(gòu)設計、技術決策以及詳細設計;

  3、把握復雜系統(tǒng)的設計,確保系統(tǒng)的架構(gòu)質(zhì)量,編寫核心部分代碼;

  4、帶領團隊攻克例如大數(shù)據(jù)量、高并發(fā)、高穩(wěn)定性等帶來的各種挑戰(zhàn)及技術難關;

  5、在大數(shù)據(jù)平臺建設路線圖指導下,進行架構(gòu)實施和交付物投遞,同時確保研發(fā)質(zhì)量和方向的準確性;

  6、進行團隊技術的培訓和梯隊建設崗位要求;

  任職條件:

  1、本科或以上學歷,計算機相關專業(yè),8年以上研發(fā)經(jīng)驗,3年以上大數(shù)據(jù)平臺相關工作經(jīng)驗;

  2、精通Java開發(fā)技術,熟悉Shell、Scala語言和PYTHON優(yōu)先;

  3、編程基礎扎實,熟悉I/O、多線程、集群等基礎框架和原理,熟悉分布式、緩存、消息等機制;

  4、熟悉常用設計模式,代碼評審規(guī)則,單元測試,持續(xù)集成;

  5、熟悉AWS云服務或阿里云服務;

  6、熟悉容器技術原理、生態(tài)系統(tǒng),熟悉Docker、Mesos、Kubernetes等容器系統(tǒng)、大規(guī)模容器資源調(diào)度系統(tǒng)、分布式應用生命周期。

大數(shù)據(jù)架構(gòu)師工作的職責11

  職責:

  1、正確理解業(yè)務需求,對需求進行工作量評估;

  2、參與項目相關的需求、設計、投產(chǎn)手冊等文檔的編寫;

  3、根據(jù)進度計劃,完成所承擔功能模塊的設計、開發(fā)、單元測試、聯(lián)調(diào)測試;

  4、配合測試組修復代碼缺陷,確保功能實現(xiàn)與代碼質(zhì)量;

  5、負責所承擔功能模塊投產(chǎn)、部署,及上線后的日常維護;

  6、完成項目經(jīng)理或者架構(gòu)師安排的其他工作;

  任職資格:

  1、本科以上學歷,計算機相關專業(yè),兩年以上大數(shù)據(jù)開發(fā)經(jīng)驗;

  2、熟悉Linux環(huán)境,掌握shell或python;

  3、熟練使用hadoop,hive,HBase,YARN,kafka,spark等大數(shù)據(jù)開發(fā)組件;

  4、精通ETL,數(shù)據(jù)倉庫的設計和開發(fā);

  5、有大數(shù)據(jù)處理實戰(zhàn)經(jīng)驗,熟悉整個大數(shù)據(jù)的完整處理流程,包括數(shù)據(jù)的采集、清洗、存儲;

  6、較強的動手能力和學習能力,良好的溝通能力、團隊協(xié)調(diào)能力;

  7、具有銀行、金融行業(yè)從業(yè)背景者優(yōu)先。

大數(shù)據(jù)架構(gòu)師工作的職責12

  職責:

  1、大數(shù)據(jù)平臺架構(gòu)規(guī)劃與設計;

  2、負責大數(shù)據(jù)平臺技術框架的選型與技術難點攻關;

  3、能夠獨立進行行業(yè)大數(shù)據(jù)應用的整體技術框架、業(yè)務框架和系統(tǒng)架構(gòu)設計和調(diào)優(yōu)等工作,根據(jù)系統(tǒng)的業(yè)務需求,能夠指導開發(fā)團隊完成實施工作;

  4、負責數(shù)據(jù)基礎架構(gòu)和數(shù)據(jù)處理體系的升級和優(yōu)化,不斷提升系統(tǒng)的穩(wěn)定性和效率,為相關的業(yè)務提供大數(shù)據(jù)底層平臺的支持和保證;

  5、培養(yǎng)和建立大數(shù)據(jù)團隊,對團隊進行技術指導。

  任職要求:

  1、計算機相關專業(yè)的背景專業(yè)一類院校畢業(yè)本科、碩士學位,8年(碩士5年)以上工作經(jīng)驗(至少擁有3年以上大數(shù)據(jù)項目或產(chǎn)品架構(gòu)經(jīng)驗);

  2、精通Java,J2EE相關技術,精通常見開源框架的架構(gòu),精通關系數(shù)據(jù)庫系統(tǒng)(Oracle MySQL等)和noSQL數(shù)據(jù)存儲系統(tǒng)的原理和架構(gòu);

  3、精通SQL和Mapreduce、Spark處理方法;

  4、精通大數(shù)據(jù)系統(tǒng)架構(gòu),熟悉業(yè)界數(shù)據(jù)倉庫建模方法及新的建模方法的發(fā)展,有DW,BI架構(gòu)體系的專項建設經(jīng)驗;

  5、對大數(shù)據(jù)體系有深入認識,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大數(shù)據(jù)技術,并能設計相關數(shù)據(jù)模型;

  6、很強的學習、分析和解決問題能力,可以迅速掌握業(yè)務邏輯并轉(zhuǎn)化為技術方案,能獨立撰寫項目解決方案、項目技術文檔;

  7、具有較強的內(nèi)外溝通能力,良好的團隊意識和協(xié)作精神;

  8、機器學習技術、數(shù)據(jù)挖掘、人工智能經(jīng)驗豐富者優(yōu)先考慮;

  9、具有能源電力行業(yè)工作經(jīng)驗者優(yōu)先。

大數(shù)據(jù)架構(gòu)師工作的職責13

  職責:

  1、負責公司大數(shù)據(jù)底層框架的整體架構(gòu)設計,結(jié)合公司實際業(yè)務情況進行技術選型及大數(shù)據(jù)戰(zhàn)略規(guī)劃;

  2、負責公司項目的整體評估、設計、架構(gòu)及關鍵模塊的開發(fā);

  3、負責架構(gòu)優(yōu)化,協(xié)助團隊解決開發(fā)過程中遇到的技術難題;

  4、負責新技術的調(diào)研和大數(shù)據(jù)相關開源組件的研究,并能在團隊進行推廣應用;

  5、參與數(shù)據(jù)分析、數(shù)據(jù)建模、項目核心模塊及核心框架的開發(fā);

  6、負責大數(shù)據(jù)平臺的性能條有和問題診斷。

  任職要求:

  1、計算機相關專業(yè),本科及以上學歷,3—5年以上工作經(jīng)驗,2—3年大數(shù)據(jù)相關經(jīng)驗;

  2、具有扎實的大數(shù)據(jù)和數(shù)據(jù)倉庫理論功底,負責過大數(shù)據(jù)平臺或數(shù)據(jù)倉庫設計;

  3、對基于Hadoop的大數(shù)據(jù)體系有深入的認識,具備相關產(chǎn)品(Hadoop、Hive、HBase、Spark、Storm、Flume、Kafka、Redis、ES等)項目應用研發(fā)經(jīng)驗,有Hadoop集群搭建和管理經(jīng)驗,度過Hadoop和Spark源碼;

  4、熟悉Linux和Python語言,了解Scala原理和底層技術;

  5、熟悉分布式系統(tǒng)的架構(gòu)及對其進行設計和優(yōu)化,對海量數(shù)據(jù)的清晰、分析處理及存儲有相關的實戰(zhàn)經(jīng)驗;

  6、算法基礎扎實,熟悉常見的數(shù)據(jù)結(jié)構(gòu),深入理解分布式算法和以上提到的分布式系統(tǒng),

  7、必須有一線coding的能力;

  8、有統(tǒng)計學、數(shù)學知識,海量數(shù)據(jù)處理、分析和挖掘,大型互聯(lián)網(wǎng)公司從業(yè)經(jīng)歷著優(yōu)先。

大數(shù)據(jù)架構(gòu)師工作的職責14

  職責:

  (1)負責公司大數(shù)據(jù)平臺搭建,相關的設計和技術開發(fā)工作,負責大數(shù)據(jù)存儲系統(tǒng)、分布式計算系統(tǒng)、數(shù)據(jù)集成、挖掘算法等的設計、研發(fā)以及維護、優(yōu)化工作;

 。2)通過數(shù)據(jù)分析技術,挖掘有利于營銷中各業(yè)務場景的變量或規(guī)則類標簽,以提升模型效果,為文旅、教育業(yè)務提供數(shù)學模型理論及編程支撐;

 。3)對接溝通業(yè)務系統(tǒng)研發(fā)團隊和產(chǎn)品部門,提供數(shù)據(jù)驅(qū)動方面的專業(yè)咨詢方案,并對業(yè)務的大數(shù)據(jù)應用場景提出建設性意見;

 。4)配合部門領導進行項目需求分析、設計開發(fā)工作。

  任職要求:

 。1)計算機、統(tǒng)計學,數(shù)學等相關專業(yè)本科以上學歷,5年以上大數(shù)據(jù)或文旅、教育數(shù)據(jù)產(chǎn)品設計開發(fā)經(jīng)驗,高效高質(zhì)量產(chǎn)出需求和技術文檔;

  (2)精通Hadoop,熟悉大數(shù)據(jù)生態(tài)技術,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等,有大規(guī)模集群架構(gòu)、開發(fā)及運維經(jīng)驗;熟悉HDFS/MapReduce等;

 。3)熟悉Java,能夠獨立應用python、R、SAS或類似分析工具進行數(shù)據(jù)分析;

  (4)熟悉大數(shù)據(jù)挖掘、可視化分析,各種BI算法和產(chǎn)品等,在計算廣告、搜索引擎、推薦系統(tǒng)、用戶畫像等有一個或多個算法領域的研發(fā)經(jīng)驗,能夠運用數(shù)據(jù)作為產(chǎn)品解決業(yè)務方運營及決策問題;

 。5)有互聯(lián)網(wǎng)行業(yè)工作經(jīng)驗者優(yōu)先,有海量數(shù)據(jù)的機器學習算法實踐經(jīng)驗優(yōu)先;

  (6)工作認真、負責,有良好的團隊合作精神,良好的分析能力、溝通技巧。

大數(shù)據(jù)架構(gòu)師工作的職責15

  職責:

  1、負責大數(shù)據(jù)項目平臺架構(gòu)的評估、規(guī)劃和設計

  2、開發(fā)大數(shù)據(jù)平臺的核心模塊代碼,負責大數(shù)據(jù)平臺的搭建,完成系統(tǒng)調(diào)試、集成與實施,保證大數(shù)據(jù)產(chǎn)品的上線運行

  3、根據(jù)業(yè)務需求整合優(yōu)化數(shù)據(jù)架構(gòu),保證產(chǎn)品的可靠性、穩(wěn)定性

  4、指導開發(fā)人員完成數(shù)據(jù)模型規(guī)劃建設,分析模型構(gòu)建及分析呈現(xiàn)

  5、深入研究大數(shù)據(jù)相關技術和產(chǎn)品,跟進業(yè)界先進技術;

  6、根據(jù)項目要求編寫相關技術文檔;

  7、負責大數(shù)據(jù)平臺的架構(gòu)評審,代碼評審,上線評審;參與數(shù)據(jù)應用需求、設計、審核和評審;

  8、負責核心模塊研發(fā),負責大數(shù)據(jù)平臺的搭建,完成系統(tǒng)調(diào)試、集成與實施;

  9、負責關鍵功能的開發(fā),技術難題的解決,以及輸出代碼的關鍵把控;

  10、負責對使用關鍵技術的預研和選型,完成PoC;

  11、指導工程師完成開發(fā)工作,并能分享技術經(jīng)驗。

  任職資格:

  1、精通Linux操作系統(tǒng),熟練使用Java;

  2、3年以上大數(shù)據(jù)項目實戰(zhàn)經(jīng)驗,兩個項目的架構(gòu)設計經(jīng)驗,熟悉Hadoop、Hbase、Storm、Spark、Pig等開源框架,并熟悉其工作原理;

  3、有Hadoop、Spark、Hbase平臺性能調(diào)優(yōu)經(jīng)驗;

  4、熟悉其它分布式存儲相關技術,包括HDFS,Hive、Redis、Mongodb、 Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等;

  5、熟悉Java開發(fā)常用框架、如Spring、MyBatis等;

  6、熟悉關系型數(shù)據(jù)庫如oracle及數(shù)據(jù)庫編程。

  7、能夠根據(jù)項目情況安排人力、分配任務,具有較強的團隊管理能力。

  8、碩士以上學歷,20xx年以上的工作經(jīng)驗。

【大數(shù)據(jù)架構(gòu)師工作的職責】相關文章:

大數(shù)據(jù)架構(gòu)師的職責10-10

架構(gòu)師工作職責08-22

大數(shù)據(jù)架構(gòu)師崗位的具體職責表述-崗位職責01-11

軟件架構(gòu)師工作的職責10-18

架構(gòu)師工作職責(精選27篇)05-17

架構(gòu)師工作職責(15篇)08-24

大數(shù)據(jù)架構(gòu)師崗位的主要職責概述(精選10篇)08-10

軟件架構(gòu)師的基本職責03-20

NET架構(gòu)師的基本職責08-18