《大數(shù)據(jù)的概念、技術及應用》

《大數(shù)據(jù)的概念、技術及應用》——段方
1 概述
1.1 大數(shù)據(jù)的概念和特點
1.1.1 大數(shù)據(jù)的基礎
1.1.2 大數(shù)據(jù)如何“ 與時俱進”？
1.1.3 大數(shù)據(jù)發(fā)展趨勢
人工智能
物聯(lián)網(wǎng)結合
各個行業(yè)的深入
1.2 大數(shù)據(jù)的技術基礎
1.2.1 從數(shù)據(jù)倉庫開始
1.2.2 HADOOP 生態(tài)圈
1.2.3 與云計算的關系
1.2.4 數(shù)據(jù)運維能力提升
1.3 大數(shù)據(jù)的應用舉例
1.3.1 大數(shù)據(jù)提升客戶分析能力
1.3.2 大數(shù)據(jù)提升產(chǎn)品分析能力
1.3.3 大數(shù)據(jù)提升管理水平
1.3.4 大數(shù)據(jù)提升各行業(yè)“智慧”
1.4 大數(shù)據(jù)下的人工智能（AI）
1.4.1 什么是人工智能
1.4.2 人工智能改變哪些行業(yè)？
1.4.3 大數(shù)據(jù)下的人工智能有何不同？
1.4.4 人工智能的“顛覆 ”
1.5 大數(shù)據(jù)如何精細化管理
1.5.1 量化管理的引出
1.5.2 大數(shù)據(jù)如何提升“量化”的維度和深度
1.5.3 從藝術到技術
1.5.4 自動駕駛到自動管理？
1.6 電信企業(yè)的大數(shù)據(jù)“商機 ”
1.6.1 從網(wǎng)絡運營到數(shù)據(jù)運營
1.6.2 提煉“ 內功”
1.6.3 提升外部管理能力
1.6.4 擴展增值產(chǎn)品運營市場
2 大數(shù)據(jù)的行業(yè)解決方案應用案例
2.1 基礎應用范圍
2.2 石油行業(yè)應用案例
2.3 交通行業(yè)應用案例
2.4 旅游行業(yè)應用案例
2.5 金融行業(yè)應用案例
2.6 電信行業(yè)應用案例
2.7 互聯(lián)網(wǎng)行業(yè)應用案例等
3 機器學習基礎
3.1 多維分析方法
3.1.1 OLAP 分析
3.1.2 上鉆和下鉆
3.1.3 用 OLAP 分析問題
3.2 分析算法
3.2.1 回歸算法
線性回歸
邏輯回歸
3.2.2 決策樹算法
C4.5 算法 CART 算法
3.2.3 貝葉斯算法
樸素貝葉斯算法BBN（Bayesian Belief Network）算法
3.2.4 基于核的算法
支持向量機 SVM 算法
線性判別分析(Linear Discriminate Analysis ，LDA)
3.2.5 聚類算法
K-MEANS 算法
期望最大化算法(Expectation Maximization， ME)
3.2.6 關聯(lián)規(guī)則算法
Apriori 算法
3.2.7 降低維度算法
主成份分析(Principle Component Analysis， PCA)算法
偏最小二乘回歸(Partial Least Square Regression，PLS)算法
3.2.8 集成算法
隨機森林算法 梯度推進機
3.3 機器學習方法在電信行業(yè)應用舉例
4 深度學習基礎
4.1 神經(jīng)網(wǎng)絡算法的演進歷史
4.1.1 傳統(tǒng)的神經(jīng)網(wǎng)絡算法
4.1.2 神經(jīng)網(wǎng)絡算法的特點
4.1.3 神經(jīng)網(wǎng)絡算法的瓶頸點
4.2 神經(jīng)網(wǎng)絡的算法原理
4.2.1 神經(jīng)元的原理
4.2.2 神經(jīng)網(wǎng)絡的原理
4.2.3 神經(jīng)網(wǎng)絡的 BP 算法
4.3 多層神經(jīng)網(wǎng)絡算法
4.3.1 單層神經(jīng)網(wǎng)絡
4.3.2 兩層神經(jīng)網(wǎng)絡
4.3.3 多層神經(jīng)網(wǎng)絡——深度學習
4.4 深度學習算法
4.4.1 卷積神經(jīng)網(wǎng)絡 CNN
4.4.2 循環(huán)神經(jīng)網(wǎng)絡 RNN
4.4.3 深度神經(jīng)網(wǎng)絡 DNN
4.5 深度學習的應用案例
4.5.1 深度學習用于圖像識別
4.5.2 深度學習用于語音識別
4.5.3 深度學習用于語言翻譯
5 大數(shù)據(jù)技術基礎
5.1 從數(shù)據(jù)倉庫開始
5.1.1 數(shù)據(jù)倉庫的“集中 ”
5.1.2 數(shù)據(jù)倉庫的模型標準化
5.1.3 大數(shù)據(jù)的演進
5.2 HADOOP 生態(tài)圈
5.2.1 開源社區(qū)概述
5.2.2 開源改變了什么？
5.2.3 HADOOP 生態(tài)圈內容
5.2.4 HADOOP 的技術原則
5.2.5 HADOOP 的運維
5.3 HADOOP 基礎
5.3.1 HDFS 的原理
5.3.2 MAP/REDUCE 原理
5.3.3 YARN 原理
5.4 HIVE/HBASE 技術
5.4.1 HIVE 的原理
5.4.2 HBASE 的原理
5.4.3 兩者的關系
5.5 SPARK 技術
5.5.1 基本原理
5.5.2 應用案例
5.6 KAFKA/FLUME
5.6.1 基本原理
5.6.2 應用案例
5.7 各個技術的特點對比
6 HADOOP 技術介紹
6.1 發(fā)展歷史
6.1.1 google 的影響
6.1.2 命名來源
6.2 HDFS 原理
6.2.1 適合做什么？
6.2.2 不適合做什么？
6.2.3 namenode 和 datanode
6.3 HA 方法
6.3.1 基本原理
6.3.2 HADOOP 2.0 的 HA 實現(xiàn)方法
6.4 MAP/REDUCE 原理
6.5 YARN 原理
6.5.1 2.0 引出的原因
6.5.2 與容器（docker）的關系
6.6 HIVE 基礎
6.6.1 基本原理
6.6.2 應用案例
6.7 HBASE 基礎
6.7.1 基本原理
6.7.2 與 HIVE 的關系
6.7.3 應用案例
6.8 HADOOP 的難點
6.8.1 安全性
6.8.2 可操作性
6.8.3 運維難題
6.9 MR 的具體編程案例
6.9.1 Wordcount 原理
6.9.2 API 介紹及編程
6.9.3 案例及高級編程
7 SPARK
7.1 背景
7.1.1 對 HADOOP 的改良
7.1.2 SPARK 的生態(tài)環(huán)境
7.2 SPARK 的原理
7.2.1 RDD 概念
7.2.2 DAG 概念
7.2.3 運行機制
7.2.4 相關運算
7.3 SPARK 的實施建議
7.3.1 集群部署模式
7.3.2 版本選擇
7.3.3 硬件配置建議
7.3.4 混搭建議
7.3.5 參數(shù)配置建議
7.3.6 SPARK 做金融業(yè)的應用場景
7.4 某公司 SPARK（500 節(jié)點）部署實際案例
7.4.1 建設歷程
7.4.2 技術要點
計算引擎的高性能
如何實現(xiàn)多種異構環(huán)境透明訪問
7.4.3 技術引入策略建議
7.4.4 運維建設經(jīng)驗
8 大數(shù)據(jù)下的企業(yè)運營
8.1 從泰勒經(jīng)濟學說起
8.1.1 簡述泰勒經(jīng)濟學
8.1.2 數(shù)據(jù)與企業(yè)管理的天然聯(lián)系
8.1.3 讓大數(shù)據(jù)滲透到企業(yè)的每個毛孔
8.2 客戶分析
8.2.1 客戶的數(shù)據(jù)維度
8.2.2 客戶視圖分析
8.2.3 客戶離網(wǎng)分析等
8.3 產(chǎn)品分析
8.3.1 產(chǎn)品數(shù)據(jù)維度
8.3.2 產(chǎn)品視圖分析
8.3.3 產(chǎn)品的潛在客戶分析
8.3.4 如何優(yōu)化產(chǎn)品？
8.4 精準營銷
8.4.1 營銷的本質——配對
8.4.2 精準營銷——數(shù)據(jù)的魅力
8.4.3 營銷時機、渠道等選擇
8.5 員工的管理
8.5.1 員工的量化分析
8.5.2 大數(shù)據(jù)下的 “辦公室分析”
8.5.3 員工績效考評
8.5.4 如何避免“蒼蠅犯大案”
8.6 外部生態(tài)圈的管理
8.6.1 生態(tài)圈的概念
8.6.2 電信企業(yè)的生態(tài)圈
8.6.3 上下游企業(yè)的管理
8.6.4 如何識別渠道欺詐？
8.7 【例】某大數(shù)據(jù)系統(tǒng)應用案例
9 *大數(shù)據(jù)的互聯(lián)網(wǎng)思維
9.1 互聯(lián)網(wǎng)思維概述
9.1.1 什么是互聯(lián)網(wǎng)思維？
9.1.2 互聯(lián)網(wǎng)思維在互聯(lián)網(wǎng)企業(yè)中的落地
9.1.3 互聯(lián)網(wǎng)思維的案例
9.2 大數(shù)據(jù)的客戶體驗
9.2.1 什么是客戶體驗？
9.2.2 大數(shù)據(jù)的客戶有哪些？
9.2.3 如何提升客戶大數(shù)據(jù)使用體驗？
9.2.4 【例】大數(shù)據(jù)的客戶提升案例
9.3 大數(shù)據(jù)的產(chǎn)品設計
9.3.1 大數(shù)據(jù)產(chǎn)品應該長什么樣？
9.3.2 產(chǎn)品如何簡約？
9.3.3 提供“ 千人千面 ”的產(chǎn)品
9.3.4 大數(shù)據(jù)的“爆品 ”在哪里？
9.3.5 【例】大數(shù)據(jù)產(chǎn)品示例
9.4 大數(shù)據(jù)的極致思維
9.4.1 如何極致？
9.4.2 數(shù)據(jù)的極致
9.4.3 報告的極致
9.4.4 講故事的極致
9.4.5 服務的極致
9.5 大數(shù)據(jù)的平臺思維
9.5.1 什么是平臺思維？
9.5.2 大數(shù)據(jù)的平臺化如何實現(xiàn)？
9.5.3 從 APP STORE 到 BI STORE
9.6 其它
9.6.1 互聯(lián)網(wǎng)思維如何用于企業(yè)運營？
9.6.2 互聯(lián)網(wǎng)思維堪比“文藝復興 ”？
9.7 【例】互聯(lián)網(wǎng)思維在中國移動大數(shù)據(jù)系統(tǒng)中的落地實踐
10 大數(shù)據(jù)的收集及整理
10.1 大數(shù)據(jù)的收集
10.1.1 內部數(shù)據(jù)
哪些 IT 系統(tǒng)？
財務系統(tǒng)
招聘系統(tǒng)等
10.1.2 外部數(shù)據(jù)
爬蟲獲取數(shù)據(jù) 交換數(shù)據(jù)
購買數(shù)據(jù)等
10.2 大數(shù)據(jù)的整理
10.2.1 如何表述數(shù)據(jù)間的關系？
10.2.2 數(shù)據(jù)建模的概念
10.2.3 數(shù)據(jù)建模的方法
10.3 大數(shù)據(jù)的數(shù)據(jù)治理
10.3.1 數(shù)據(jù)質量問題
10.3.2 數(shù)據(jù)質量如何管控 10.3.3 數(shù)據(jù)字典的定義
10.4 大數(shù)據(jù)的數(shù)據(jù)資產(chǎn) 10.4.1 什么是數(shù)據(jù)資產(chǎn)？
10.4.2 數(shù)據(jù)資產(chǎn)如何梳理？
10.5 【案例】某數(shù)據(jù)收集整理實際案例
11 系統(tǒng)架構建設實施
11.1 項目的管理方法
11.2 大數(shù)據(jù)項目管理的特點
11.3 不同系統(tǒng)間數(shù)據(jù)接口控制
11.4 數(shù)據(jù)導入及管控
11.5 大數(shù)據(jù)系統(tǒng)建設過程中關鍵問題
11.6 大數(shù)據(jù)的數(shù)據(jù)質量保障
11.7 大數(shù)據(jù)的應用推廣重點
11.8 大數(shù)據(jù)項目協(xié)調要點
11.9 【例】某大數(shù)據(jù)系統(tǒng)建設過程解剖
12 電信行業(yè)大數(shù)據(jù)案例
12.1 某電信企業(yè)大數(shù)據(jù)建設案例分享
12.2 某電信企業(yè)大數(shù)據(jù)應用案例分享
12.3 某電信企業(yè)大數(shù)據(jù)管理案例分享
12.4 某電信企業(yè)大數(shù)據(jù)變現(xiàn)案例分享
12.5 其它行業(yè)大數(shù)據(jù)案例分享
13 總結

段方老師的其它課程