在日常的學習、工作、生活中,肯定對各類范文都很熟悉吧。相信許多人會覺得范文很難寫?下面是小編幫大家整理的優(yōu)質范文,僅供參考,大家一起來看看吧。
大數據處理架構師篇一
1、負責公司的大數據平臺的數倉架構、系統(tǒng)架構設計;
2、負責帶領團隊完成輿情分析相關的挖掘方案設計;
3、負責大數據研發(fā)組團隊管理;
4、負責帶領團隊完成輿情平臺的方案文檔撰寫、迭代開發(fā);
5、負責研發(fā)規(guī)范制定,研究行業(yè)前沿技術;
6、參與產品規(guī)劃及設計討論。
任職要求:
1、本科五年工作經驗及以上,有至少五年的大數據技術實踐經驗,有nlp或ai相關經驗;
2、有很強的架構設計能力和良好的表達能力;
3、有一定的項目管理及團隊管理能力;
4、精通hadoop、spark生態(tài)圈中的常用組件原理及應用;
6、理解媒體業(yè)務,精通數據倉庫的規(guī)劃和設計;
5、精通掌握java或python編程,有性能調優(yōu)能力;
4、熟悉nlp算法原理及應用;
6、對新生事物或者新技術有濃厚興趣,學習能力強。
大數據處理架構師篇二
職責:
1、負責規(guī)劃科技大數據平臺及科技數據入庫自動化的方案設計;
2、負責大數據平臺的開發(fā)和維護,以及對外服務接口的開發(fā);
3、負責大數據平臺的優(yōu)化和改進工作。
任職要求
1、計算機相關專業(yè)本科及以上學歷,5年以上開發(fā)經驗,其中3年以上為互聯(lián)網、大數據相關的開發(fā)經驗;
2、熟知hadoop生態(tài)圈體系,精通hadoop/spark/storm/kafka中的一項或幾項,深刻理解mapreduce的運行原理和機制,有mpi經驗者尚佳;
3、熟悉elasticsearch、redis、hbased等相關數據庫的構建和操作,尤其是數據庫集群的構建和操作,熟悉neo4j者尚佳;
4、具有機器學習相關項目經驗者優(yōu)先。
大數據處理架構師篇三
職責
1、參與打造數據中內容的規(guī)劃、設計、開發(fā)和優(yōu)化工作,實現高質量數據的互通與共享;
2、參與數據模型體系構建及數據主題設計和開發(fā),搭建離線、實時數據公共層;
3、參與數據產品與應用的數據研發(fā),發(fā)掘數據商業(yè)價值,打造極致體驗的數據產品;
4、深入理解數據產品的使用場景,為業(yè)務方在可用性、成本上做更好的設計做參考;
5、團隊成員的搭建與培養(yǎng),任務劃分,進度監(jiān)控,代碼規(guī)范,質量保證。
任職要求
1、熟悉數據倉庫建模理論,3年以上相關領域實踐經驗;
2、hadoop、hive、hbase、storm、spark等技術框架;
3、精通java、python、scala、go等開發(fā)語言中的1到2種;
4、熟練使用python/java/scala或其他語言進行復雜業(yè)務邏輯的數據處理工作,具備海量數據處理以及性能優(yōu)化的能力;
5、對mysql、redis、hbase等數據庫有一定的了解和使用經驗;
6、對olap,多維分析及kylin熟悉的更好;
7、思路清晰,具備良好的溝通能力和理解能力,較強的學習能力以及快速解決問題的能力;
8、對新技術,新事物有很好的探索和求知欲;
9、熟悉常規(guī)的機器學習算法:降維(pca、svd)、svm、邏輯回歸(logisticsregression)、決策樹(gbdt、randomforest)、關聯(lián)規(guī)則(apriori、fp-growth)、聚類(k-means)等優(yōu)先。
大數據處理架構師篇四
職責
1、負責公司大數據平臺的整體架構設計,包含數據收集、數據存儲、數據挖掘、數據輸出;
2、負責規(guī)劃從數據源到數據應用的整體流程,并參與用戶產品和數據產品的決策;
3、負責海量數據分析、用戶行為分析,構建用戶數據模型;
4、負責解決核心技術問題,對技術方案進行決策;
5、技術團隊管理。
6、熟悉手機ios、安卓系統(tǒng)app開發(fā)
任職資格
1、計算機相關專業(yè)畢業(yè),本科以上學歷;
2、5年以上相關工作經驗,具備軟件產品架構設計經驗,熟練掌握高性能、高擴展性架構設計方法;
3、熟練掌握java或c++任意一門語言、熟悉linux操作系統(tǒng);
4、熟悉hadoop/mr/hbase/mahout/spark等大數據技術,并能夠基于上述項目開發(fā)大數據相關應用;
5、熟悉基本數據挖掘方法和技術;
6、強烈的敬業(yè)精神,良好的溝通與協(xié)調能力,能有效組織協(xié)調團隊完成各類開發(fā)工作;
7、熱愛技術,相信數據的價值,對大數據有深刻的理解。
大數據處理架構師篇五
職責:
1、負責大數據基礎平臺、海量數據存儲處理分布式平臺、數據分析系統(tǒng)架構設計和研發(fā);
2、負責實時計算平臺基礎架構設計、部署、監(jiān)控、優(yōu)化升級;
3、制定項目數據倉庫設計及實現規(guī)范,指導設計研發(fā)和部署;
4、協(xié)助策略和算法團隊工作,保障數據挖掘建模和工程化;
5、深入研究大數據相關技術和產品,跟進業(yè)界先進技術。
任職要求:
1、3年以上大數據系統(tǒng)架構經驗;
2、精通hadoop hbase hive spark flink kafka redis技術及其生態(tài)圈;
3、具備java scala python等開發(fā)經驗,熟悉數據挖掘和分析的策略與算法;
4、精通數據抽取,海量數據傳輸,數據清洗的常用方法和工具。
5、具備良好的系統(tǒng)分析能力、故障診斷能力;
6、有大數據策略、算法、可視化經驗優(yōu)先;
7、有在華為云存儲產品和大數據產品的開發(fā)使用經驗優(yōu)先。
大數據處理架構師篇六
職責:
1、負責大數據平臺的架構設計、核心代碼開發(fā)等任務;根據項目要求編寫相關技術文檔;
2、負責大數據平臺的架構評審,代碼評審,上線評審;參與數據應用需求、設計、審核和評審;
3、負責核心模塊研發(fā),負責大數據平臺的搭建,完成系統(tǒng)調試、集成與實施;
4、負責建立和維護大數據平臺技術標準規(guī)范,指導開發(fā)人員編寫代碼;
任職要求:
1、本科及以上計算機相關專業(yè)畢業(yè);
2、精通離線和實時數據處理流程,掌握離線數據處理框架hive、impala、spark-sql等,掌握實時數據處理常用技術工具,包括storm、sparkstreaming等;
3、熟悉大數據技術生態(tài)圈,精通大數據技術架構,有大數據平臺構建經驗;
4、掌握常見數據流接入工具,包括flume、kafka等;
5、熟練掌握基本的linux操作系統(tǒng)和某種腳本語言編程(如shell等);
6、掌握一種或以上實時處理語言,如java、scala、python等,有scala經驗者優(yōu)先;
7、有實際大規(guī)模數據(tb級以上)處理經驗優(yōu)先;
大數據處理架構師篇七
職責:
1.負責公司新業(yè)務方向平臺大數據基礎架構的搭建及后期數據處理體系的升級和優(yōu)化,不斷提升系統(tǒng)的穩(wěn)定性和效率。為公司未來方向性產品提供大數據底層平臺的支持和保證。
2.負責制定大數據平臺調用約束和規(guī)范;
3.負責大數據方向技術難題的解決,以及代碼質量的把控;
4.作為大數據開發(fā)團隊的leader,負責大數據系統(tǒng)平臺開發(fā)團隊建設與人才梯隊培養(yǎng),分享技術經驗,撰寫相關技術文檔指導和培訓工程師。
任職要求:
1.熱衷于大數據技術,并能平衡大數據性能、穩(wěn)定性、擴展性多重要素進行設計和優(yōu)化;
2.熟悉服務器基本知識,能夠評估系統(tǒng)硬件性能瓶頸;
3.掌握linux操作系統(tǒng)的配置,管理及優(yōu)化,能夠獨立排查及解決操作系統(tǒng)層的各類問題,并能提供解決問題的理論依據;
4.精通java服務器編程,熟悉jvm原理,對數據結構和算法設計有較為深刻的理解;
5.精通elasticsearch、redis、hadoop、kafka、zookeeper、yarn、hbase、spark底層架構,熟悉原理、源碼、集群部署,包括參數優(yōu)化、bug修復,貢獻過代碼或提交過bug者優(yōu)先
6.具備數據中心資源管理、監(jiān)控、調度等系統(tǒng)研發(fā)經驗者優(yōu)先,具備分布式系統(tǒng)研發(fā)經驗者優(yōu)先;
7.具有應用大數據技術處理的項目開發(fā)、維護超過兩年的經驗者優(yōu)先;
8.具有良好的文檔編寫能力,可進行方案設計、架構設計。
大數據處理架構師篇八
職責:
1、 負責大數據倉庫、數據集市的規(guī)劃及實現,負責大數據中臺的設計和核心開發(fā)工作;
2、 負責數據基礎架構和數據處理體系的升級和優(yōu)化,不斷提升系統(tǒng)的穩(wěn)定性和效率,為公司的業(yè)務提供大數據底層平臺的支持和保證;
3、 大數據平臺的數據采集、處理、存儲以及挖掘分析的架構實現;
4、 研究未來數據模型和計算框架的創(chuàng)新與落地,包括但不限于以下領域:大規(guī)模數據實時化、研發(fā)模式敏捷化、數據計算框架輕量化、數據模型組織方式業(yè)務化等方面,參與制定并實踐團隊的技術發(fā)展路線
任職資格:
1、 精通數據建模、數據標準管理、元數據管理、數據質量管理;
2、 有作為技術負責人系統(tǒng)化解決問題的成功案例;有海量數據實踐經驗優(yōu)先;
3、 熟悉目前正在發(fā)展的大數據分布式平臺前沿技術的應用;包括但不僅僅限于:hadoop、flink、spark等;
4、 性格積極樂觀,誠信,能自我驅動,有較強的語言表達能力;具備強烈的進取心、求知欲及團隊合作精神;具有良好的溝通、團隊協(xié)作、計劃和創(chuàng)新的能力; 在數據業(yè)界有一定的影響力優(yōu)先,具有風控經驗背景的人優(yōu)先;
5、 具備獨立的深度思考能力,給出結合實際情況的較為理想的技術解決方案。
大數據處理架構師篇九
職責:
1、負責公司大數據產品的架構設計,包含數據收集、數據存儲、數據應用,并完成相關架構設計文檔的撰寫;
2、參與規(guī)劃從數據源到數據應用的整體流程,并參與相關產品的決策;
3、負責解決核心技術問題,對技術方案進行決策;
4、負責大數據研發(fā)團隊建設、人才梯隊培養(yǎng)和技術團隊管理;
5、積極了解業(yè)界發(fā)展,研究與跟蹤大數據新技術發(fā)展方向。
任職要求:
1、精通goldengate for bigdata相關理論,具備大型數據利用的生產實戰(zhàn)經驗;
2、精通數據驅動的理論,設計并生產上線相關數據驅動的產品;
3、精通常用消息中間件的使用,例如kafka/rocketmq/apache pulsar,有解讀相關源碼者優(yōu)先;
4、掌握hadoop、spark生態(tài)體系相關產品的使用,掌握mapreduce編程或spark編程;
5、了解傳統(tǒng)數據倉庫理論及相關etl工具,例如kettle/datastage;
6、熟悉oracle、mongodb、mysql數據庫的使用;
7、扎實的java語言基礎,熟悉java開發(fā)工具和調試工具的使用;
8、良好的團隊協(xié)作精神,有能力對團隊在軟件設計、實現和測試方面進行指導;
9、良好的邏輯分析能力和溝通能力,執(zhí)行力強、對待工作認真嚴謹、責任心強、具備出色的學習能力和團隊合作精神,有一定的推動能力;
10、計算機科學、信息技術或相關領域本科以上學歷,具有5年以上數據平臺項目開發(fā)經驗,3年以上的架構設計經驗,具有大數據平臺應用大型項目架構設計經驗優(yōu)先;
大數據處理架構師篇十
職責:
1、負責企業(yè)大數據平臺的基礎建設、管理及制定拓展規(guī)劃;
2、負責大數據平臺相關自動化服務工具的設計、開發(fā);
3、參與hadoop、hbase、spark等核心平臺組件的開發(fā)、優(yōu)化;
4、對平臺特殊場景化的數據應用制定相關實踐方案;
5、大數據團隊的搭建。
任職資格:
1、統(tǒng)招本科以上學歷,計算機等相關專業(yè),5年以上工作經驗;
2、具有hadoop等大規(guī)模集群管理經驗、海量(pb)數據處理經驗;
3、精通hadoop、hive、hbase等離線平臺相關組件的原理機制;
4、了解或熟悉storm/spark/redis/kafka/mongodb等分布式系統(tǒng);
5、熟悉高并發(fā)、分布式開發(fā)等相關知識,具有后端服務優(yōu)化相關經驗;
6、熟悉爬蟲常用框架以及反爬技術;
7、具有良好的溝通能力、分析問題與攻關問題的能力;
8、有責任心,工作積極,對新領域新技術有熱情。
大數據處理架構師篇十一
職責:
1. 負責大數據基礎和應用平臺的整體規(guī)劃和架構設計,參與需求分析,架構設計,詳細設計以及技術選型決策
2. 參與數據挖掘和建模相關核心算法的代碼實現
3. 負責大數據算法平臺的技術把關,性能調優(yōu),控制架構質量,解決項目技術難題;對研發(fā)項目和任務需求進行評估和方案設計、拆分任務并指導工程師完成開發(fā)
4. 帶領團隊提供并實現大數據算法平臺上各項數據接入、數據挖掘分析及數據可視化的架構設計與能力,支持解決方案實施
5. 負責數據庫設計、應用架構設計、核心技術選型等工作
6. 協(xié)調解決開發(fā)中的技術問題、設計和監(jiān)控運營指標,保障系統(tǒng)穩(wěn)定運行
7. 培養(yǎng),指導有能力的員工,指導工程師進行技術驗證實現,核心技術攻關,解決開發(fā)過程中的技術難題
任職要求:
1. 熟悉大數據和數據倉庫的系統(tǒng)架構設計方法
2. 熟練使用并理解hadoopspark架構及生態(tài)。(hadoop,hive,hbase,elasticsearch,kafka,sparkflink等)
3. 熟悉分布式系統(tǒng)架構,有分布式實時、離線和機器學習平臺的架構和開發(fā)經驗,具備海量數據清洗、分析處理及存儲的實踐經驗
4. 熟練使用java,具有大規(guī)模分布式系統(tǒng)調優(yōu)經驗
5. 熟悉ai相關算法,熟悉機器學習、深度學習。熟悉ai學習開源框架(tensorflow、pytorch等)者優(yōu)先;
6. 具備良好的團隊合作精神,對工作充滿激情。
7. 熟悉fusioninsight平臺開發(fā)經驗者優(yōu)先
大數據處理架構師篇十二
職責:
1、負責spark, hadoop, flink等開發(fā)和優(yōu)化。
2、參與前期需求溝通和分析,以產品化開發(fā)的思維,完成需求分解和數據架構設計。
3、與研發(fā)和數據科學家合作保證產品定義清晰,按時完成產品上線。
4、能夠洞察市場狀況,與各部門合作轉化為基于大數據挖掘的新策略或方案.
5、主動創(chuàng)造和發(fā)掘新的基于大數據挖掘產品商業(yè)模式.
任職要求:
1、全日制本科及以上學歷,計算機軟件相關專業(yè),5年以上開發(fā)經驗,3年以上架構經驗
2、精通hadoop/mapreduce/spark/hbase/flink/hive/r/mahout等分布式數據存儲和分布式計算平臺原理,流式計算開發(fā),有開源二次開發(fā)經驗者優(yōu)先。
3、精通大數據挖掘、機器學習.熟練掌握java/perl/python至少一種編程語言。
4、具有數據挖掘和分析、機器學習等項目實施相關經驗者優(yōu)先;
5、良好的跨部門溝通合作能力,解決不同觀點能力并取得結果。具備敏銳的互聯(lián)網產品理解力,學習能力和邏輯思維能力強;
6、較強的自我驅動力、推動和協(xié)調能力,強烈的責任心和團隊合作精神;
大數據處理架構師篇十三
職責:
1)負責公司軟件產品整體架構的設計和關鍵功能實現
2)負責公司架構長期看護以及優(yōu)化;
3)負責軟件部門各模組間的協(xié)調配合;
4)提高鞏固軟件代碼質量;
5)負責大數據流式框架的設計、優(yōu)化及部署;
6)規(guī)劃研發(fā)部門員工的技術發(fā)展路線并提供必要的幫助和指導
任職資格:
1)本科及以上學歷,計算機相關專業(yè),5年以上工作經驗;
2)頻繁換工作,比如一年一個公司,請繞路;
3)3年以上產品架構經驗,主導過產品的成功上線;
4)對底層設備通訊協(xié)議,b/s系統(tǒng),手機app開發(fā)等都有一定的了解;
5)對各種主流語言c#\java\pathon有一定的了解
5)精通各種大數據架構,并深入研究過其中一種,有storm\kafka等流式實時處理經驗為佳
6)能夠承擔較強的工作壓力,有良好的自我驅動能力和責任感;
7)具備優(yōu)秀的邏輯思維能力、表達能力、溝通協(xié)調能力。
大數據處理架構師篇十四
職責:
1.參與公司數據平臺系統(tǒng)規(guī)劃和架構工作,主導系統(tǒng)的架構設計和項目實施,確保項目質量和關鍵性能指標達成;
2.統(tǒng)籌和推進制造工廠內部數據系統(tǒng)的構建,搭建不同來源數據之間的邏輯關系,能夠為公司運營診斷、運營效率提升提供數據支持;
3.負責數據系統(tǒng)需求對接、各信息化系統(tǒng)數據對接、軟件供應商管理工作
5.根據現狀制定總體的數據治理方案及數據體系建立,包括數據采集、接入、分類、開發(fā)標準和規(guī)范,制定全鏈路數據治理方案;深入挖掘公司數據業(yè)務,超強的數據業(yè)務感知力,挖掘數據價值,推動數據變現場景的落地,為決策及業(yè)務賦能;
6.定義不同的數據應用場景,推動公司的數據可視化工作,提升公司數據分析效率和數據價值轉化。
任職要求:
1.本科以上學歷,8年以上軟件行業(yè)從業(yè)經驗,5年以上大數據架構設計經驗,熟悉bi平臺、大數據系統(tǒng)相關技術架構及技術標準;
2.熟悉數據倉庫、熟悉數據集市,了解數據挖掘、數據抽取、數據清洗、數據建模相關技術;
3.熟悉大數據相關技術:hadoop、hive、hbase、storm、flink、spark、kafka、rabbitmq;
4.熟悉制造企業(yè)信息化系統(tǒng)及相關數據庫技術;
5.具備大數據平臺、計算存儲平臺、可視化開發(fā)平臺經驗,具有制造企業(yè)大數據系統(tǒng)項目開發(fā)或實施經驗優(yōu)先;
6.對數據敏感,具備優(yōu)秀的業(yè)務需求分析和報告展示能力,具備制造企業(yè)數據分析和數據洞察、大數據系統(tǒng)的架構設計能力,了解主流的報表工具或新興的前端報表工具;
7.有較強的溝通和組織協(xié)調能力,具備結果導向思維,有相關項目管理經驗優(yōu)先。
大數據處理架構師篇十五
職責
1、負責企業(yè)級大數據平臺、數據云服務的設計與開發(fā);
2、基于大數據生態(tài)圈,支持智慧交通等大數據場景應用實現;
3、負責公司大數據產品的設計、封裝與落地;
4、負責學習大數據相關算法研究、實現與應用
任職要求
1、統(tǒng)招本科及以上學歷;2年以上智慧城市建設或交通行業(yè)信息化相關工作經驗,3年以上大數據架構設計、開發(fā)經驗;
2、精通大數據生態(tài)圈的技術,包括但不限于mapreduce、spark、hadoop、kafka、mongodb、redis、flume、storm、hbase、hive,具備源碼級問題解決和集群優(yōu)化改造能力;
3、熟悉常用編程語言,包括java、python、scala等;
4、具有很強的技術研發(fā)和創(chuàng)新能力,能有效把握技術發(fā)展方向,有較強的執(zhí)行能力、學習能力、溝通能力、適應能力,責任心強;
【本文地址:http://mlvmservice.com/zuowen/733208.html】