大數據

【培訓對象】
技術(shù)人員

【培訓收益】
了解大數據概念及應用

 課時(shí)一：概念綜述

1、 大數據的定義由來(lái)和原因

2、 大數據的6V特征

3、 從數據庫，數據倉庫到大數據

4、 大數據相關(guān)技術(shù)和處理

 

課時(shí)二：Hadoop生態(tài)圈、spark生態(tài)圈、搜索引擎概述

1、 hadoop：HDFS、Map-Reduce、Hbase、Hive等

2、 spark：scala、spark-SQL、spark-Streaming等

3、 搜索引擎：lucene（solr）、ES

4、 并發(fā)的機器學(xué)習工具：R-hadoop、spark-MLLIB、 spark-R、pyspark

 

課時(shí)三：存儲在hbase中的數據

1、 NoSQL（key-value）

2、 Hbase：安裝

3、 行鍵與列簇

4、 如何利用Hbase的特點(diǎn)存儲數據

5、 應用程序如何訪(fǎng)問(wèn)Hbase中的數據

6、 數據遷移：sqoop

7、 Hbase的應用場(chǎng)景

 

課時(shí)四：Hive：為用SQL的開(kāi)發(fā)者留的活路

1、 Hive：安裝（單用戶(hù)與多用戶(hù)）

2、 Hive：基本操作

3、 Hive：與典型的關(guān)系型數據庫的區別

4、 如果“想慢”，你可以這樣…（不恰當使用hive的案例介紹）

5、 Hive的應用場(chǎng)景

 

課時(shí)五：Spark各組件在衛生領(lǐng)域的應用

1、 Hadoop最大的特點(diǎn)是什么？

2、 Spark概述與安裝

3、 Scala：你可以一直“點(diǎn)”下去

4、 RDD：“映射”、“轉換”解決一切

5、 spark-SQL

6、 spark-streaming

7、 spark的其他組件

8、 應用場(chǎng)景

 

課時(shí)六：機器學(xué)習算法介紹—I

1、 綜述（人工智能、數據挖掘、機器學(xué)習、機器智能、大數據：這些詞的確切含義）

2、 監督學(xué)習、無(wú)監督學(xué)習與強化學(xué)習

3、 工具：R、Python等

4、 決策樹(shù)詳解（熵、貪心法、連續的和離散的）

5、 神經(jīng)網(wǎng)絡(luò )詳解（神經(jīng)元、激勵函數、前饋神經(jīng)網(wǎng)絡(luò )的BP算法，其他神經(jīng)網(wǎng)絡(luò )）

 

課時(shí)七：機器學(xué)習算法介紹—II

1、 關(guān)聯(lián)規則詳解（頻繁項集、Apriori、支持度、置信度）

2、 聚類(lèi)詳解（k-means、k-medoid）

常見(jiàn)算法的簡(jiǎn)述（Naïve-Bayes、k-NN、HMM、SVM等）

 

葉梓，上海交通大學(xué)計算機專(zhuān)業(yè)博士畢業(yè)，高級工程師。主研方向：數據挖掘、機器學(xué)習、人工智能。歷任國內知名上市IT企業(yè)的AI技術(shù)總監、資深技術(shù)專(zhuān)家，市級行業(yè)大數據平臺技術(shù)負責人。

 

長(cháng)期負責城市信息化智能平臺的建設工作，開(kāi)展行業(yè)數據的智能化應用研發(fā)工作，牽頭多個(gè)省級、市級行業(yè)智能化信息系統的建設，主持設計并搭建多個(gè)省級、市級行業(yè)大數據平臺。參與國家級人工智能課題，牽頭上海市級人工智能示范應用課題研究。

 

帶領(lǐng)團隊在相關(guān)行業(yè)領(lǐng)域研發(fā)多款人工智能創(chuàng )新產(chǎn)品，成功落地多項大數據、人工智能前沿項目，其中信息化智能平臺項目曾榮獲：“上海市信息技術(shù)優(yōu)秀應用成果獎”。帶領(lǐng)團隊在參加國際NLP算法大賽，獲得Top1%的成績(jì)。參與國家級、省級大數據技術(shù)標準的制定，曾獲省部級以上的科技創(chuàng )新一等獎。

 

1.      論文發(fā)表/項目經(jīng)歷

在國內外期刊、會(huì )議中發(fā)表論文27篇，其中被SCI/EI收錄4篇

 

項目經(jīng)歷：

l  上海市城市信息化人工智能項目 項目負責人

ü  研發(fā)智能服務(wù)系統，包括：元宇宙與虛擬數字人、基于人工智能的內容生成（AIGC）、基于NLP技術(shù)的對話(huà)系統、基于深度學(xué)習的圖像識別系統、基于智能推理的行業(yè)推薦系統。

相關(guān)工作：

作為項目總負責，負責項目管理、產(chǎn)品研發(fā)、系統分析、技術(shù)指導、算法指導等。

 

l  上海市城市智能信息化工程 總工程師

ü  采用大數據技術(shù)，建設市級信息平臺，完成試點(diǎn)單位接入并采集居民相關(guān)信息，實(shí)現市級平臺檔案等服務(wù)，并實(shí)現所有單位的全面接入。

ü  為解決超量數據的存儲與計算的問(wèn)題，搭建了存儲全市數據的云計算平臺，并在其上進(jìn)行了基于大數據的分析和挖掘工作。

相關(guān)工作：

作為總工程師，負責技術(shù)管理、系統分析、云平臺數據存儲設計、數據分析與挖掘指導、開(kāi)發(fā)指導。

 

l  上海市城市信息化領(lǐng)域智能聯(lián)網(wǎng)工程 技術(shù)經(jīng)理

ü  建設內容包括：接入單位的聯(lián)網(wǎng)；智能卡的實(shí)現；城市信息化智能平臺的升級；科研平臺的擴展與升級；建立決策支持系統；評估體系的展示設計；短信平臺的實(shí)現；違規操作的提醒；協(xié)同智能服務(wù)平臺的實(shí)現等。

相關(guān)工作：

作為技術(shù)經(jīng)理負責總體架構設計、接口設計、大數據平臺設計、AI技術(shù)指導等。

 

 

3. 主攻方向

具有扎實(shí)的數據挖掘、機器學(xué)習、深度學(xué)習等人工智能理論基礎；了解AIGC等技術(shù)前沿動(dòng)態(tài)。

精通機器學(xué)習、深度學(xué)習的理論、模型、算法、調優(yōu)等；精通算法設計；

熟悉深度學(xué)習在自然語(yǔ)言處理、計算機視覺(jué)兩大核心領(lǐng)域的實(shí)用技巧；

15年以上的程序開(kāi)發(fā)經(jīng)驗，熟悉常用程序開(kāi)發(fā)架構，獨立完成多個(gè)產(chǎn)品級軟件的設計與開(kāi)發(fā)。

 

• 大數據及人工智能背景下消費和小微信貸線(xiàn)上獲客、產(chǎn)品設計、風(fēng)控應對策略

   

  第一部分：金融科技發(fā)展狀況的介紹一、金融科技的現狀與發(fā)展趨勢（一）宏觀(guān)背景1、金融科技（支付寶人臉識別技術(shù)、APPLEPAY、虹膜技術(shù)、二維碼支付技術(shù)）2、利率市場(chǎng)化3、金融脫媒（二）移動(dòng)互聯(lián)技術(shù)的發(fā)展使互聯(lián)網(wǎng)金融成為可能1、移動(dòng)互聯(lián)網(wǎng)技術(shù)2、移動(dòng)支付技術(shù)3、H5、APP（三）互聯(lián)網(wǎng)金融對傳統銀行資產(chǎn)業(yè)務(wù)的顛覆和沖..

  ￥   元/ 天

  人氣：714  

  

• 大數據時(shí)代——提升患者管理，構建專(zhuān)業(yè)藥房

   

  【課程導言】：移動(dòng)互聯(lián)時(shí)代下，實(shí)體門(mén)店面臨巨大的挑戰，同時(shí)也是一種機會(huì )。馬云說(shuō)：不是實(shí)體門(mén)店不行了，而是你的實(shí)體門(mén)店不行了。面臨新的沖擊實(shí)體店如何進(jìn)行創(chuàng )新，如何守住老陣地，如何利用新武器，這是所有實(shí)體連鎖共同面臨的問(wèn)題。課程從互聯(lián)網(wǎng)環(huán)境對我們的實(shí)體店挑戰和我們面臨的消費者消費習慣和方式的的變化入手，通過(guò)分析新零售良品鋪子，海瀾之家，名創(chuàng )優(yōu)品的..

  ￥   元/ 天

  人氣：602  

  

• 電商互聯(lián)網(wǎng)大數據營(yíng)銷(xiāo)之落地實(shí)踐鐵律

   

  課程背景：未來(lái)人貨場(chǎng)一切數字化，數據將成為一種資源，沒(méi)有數據沒(méi)有未來(lái)，企業(yè)如何構建自己的大數據未來(lái)？人工智能已經(jīng)來(lái)臨，人工智能在營(yíng)銷(xiāo)板塊的應用本質(zhì)就是大數據營(yíng)銷(xiāo)！企業(yè)的ERP、CRM、報表等等僅僅是零散的死數據，如何激活流動(dòng)產(chǎn)生閉環(huán)，產(chǎn)生效益？經(jīng)驗將成為負債，未來(lái)將利用數據產(chǎn)品規劃、定位、策劃、人群分析、活動(dòng)策劃，數據成為商業(yè)的起點(diǎn)！人為..

  ￥19,100   元/ 天

  人氣：1031  

  

• 電商互聯(lián)網(wǎng)智能商業(yè)：大數據營(yíng)銷(xiāo)分析與落地實(shí)踐

   

  課程背景：數據是未來(lái)企業(yè)唯一資源，大數據營(yíng)銷(xiāo)意味著(zhù)高效、精準、成本低、全自動(dòng)化，讓企業(yè)從人海戰、廣告戰、渠道戰的泥潭中拔出來(lái)為什么搜索廣告效果差了？為什么團購效果也差了？為什么傳統的用戶(hù)細分、STP在大數據提出的用戶(hù)畫(huà)像面前蒼白了？為什么獨角獸全靠增長(cháng)黑客模式崛起？企業(yè)未來(lái)如何搭建科學(xué)的大數據營(yíng)銷(xiāo)隊伍，建立科學(xué)的數字營(yíng)銷(xiāo)體！通過(guò)互動(dòng)獲取數據，..

  ￥19,100   元/ 天

  人氣：1066  

  

• 大數據基礎原理與應用

   

  一、運營(yíng)商網(wǎng)絡(luò )架構和技術(shù)選擇1.運營(yíng)商網(wǎng)絡(luò )架構2.運營(yíng)商業(yè)務(wù)類(lèi)型3.接入網(wǎng)技術(shù)選擇4.不同業(yè)務(wù)的技術(shù)實(shí)現二、全業(yè)務(wù)運營(yíng)技術(shù)實(shí)現1.集團業(yè)務(wù)分類(lèi)及特點(diǎn)2.集團高等級業(yè)務(wù)特點(diǎn)及業(yè)務(wù)場(chǎng)景3.集團低等級業(yè)務(wù)特點(diǎn)及業(yè)務(wù)場(chǎng)景4.集團高、低等級業(yè)務(wù)要求及技術(shù)選擇5.數據專(zhuān)線(xiàn)業(yè)務(wù)及技術(shù)實(shí)現6.互聯(lián)網(wǎng)專(zhuān)線(xiàn)業(yè)務(wù)及技術(shù)實(shí)現7.集..

  ￥   元/ 天

  人氣：898  

  

• 大數據、物聯(lián)網(wǎng)、云計算行業(yè)應用及發(fā)展趨勢

   

  一、信息通信產(chǎn)業(yè)發(fā)展的背景和趨勢1、信息通信產(chǎn)業(yè)用戶(hù)現狀和發(fā)展趨勢2、國內外信息化發(fā)展戰略3、中國信息化發(fā)展現狀和趨勢4、信息通信網(wǎng)絡(luò )發(fā)展趨勢5、電信業(yè)轉型新趨勢二、ICT前沿技術(shù)(一)云計算1、云計算發(fā)展的商業(yè)動(dòng)力與技術(shù)趨勢1.1云計算基本概念1.2云計算的商業(yè)動(dòng)力：企業(yè)ICT轉型1.3云計算特點(diǎn)..

  ￥   元/ 天

  人氣：990