《大數(shù)據(jù)平臺架構(gòu)》

《大數(shù)據(jù)平臺架構(gòu)》——段方 北京大學(xué)博士后
1 背景
1.1 概述
1.1.1 大數(shù)據(jù)的概念和特點
1.1.2 大數(shù)據(jù)在不同領(lǐng)域中的應(yīng)用
1.2 技術(shù)發(fā)展歷史
1.2.1 數(shù)據(jù)統(tǒng)計系統(tǒng)
1.2.2 數(shù)據(jù)倉庫系統(tǒng)
1.2.3 大數(shù)據(jù)系統(tǒng)
1.2.4 發(fā)展歷程中的關(guān)鍵技術(shù)路線圖
1.3
1.4 應(yīng)用發(fā)展歷史
1.4.1 報表和 KPI
1.4.2 數(shù)據(jù)挖掘/人工智能
1.4.3 對外服務(wù)
1.4.4 大數(shù)據(jù)運營
1.5 為什么是大數(shù)據(jù)
1.5.1 數(shù)據(jù)洞察一切
1.5.2 管理比拼的是技術(shù)能力
1.5.3 人工智能建立在大數(shù)據(jù)基礎(chǔ)上
1.5.4 亟待新的管理理論突破
工業(yè)文明的管理理念
信息文明的管理理念呢？
1.6 【案例】大數(shù)據(jù)在一些行業(yè)的應(yīng)用案例
2 系統(tǒng)架構(gòu)實例
2.1 系統(tǒng)架構(gòu)演進歷史
2.1.1 數(shù)據(jù)庫階段
2.1.2 數(shù)據(jù)倉庫階段
數(shù)據(jù)標準
系統(tǒng)標準 技術(shù)選型
數(shù)據(jù)管理設(shè)計
2.1.3 大數(shù)據(jù)階段 HADOOP 等技術(shù)引入 中間的混搭架構(gòu)階段 目標的大數(shù)據(jù)架構(gòu)
2.2 兩級架構(gòu)緣起
2.2.1 從兩級法人說起
2.2.2 靈活性與標準性
2.2.3 不同階段的不同理念
2.3 大數(shù)據(jù)的集中化
2.3.1 為什么要集中化？
2.3.2 大數(shù)據(jù)的審計職能
2.3.3 大數(shù)據(jù)的應(yīng)用價值點
2.3.4 集中化的“痛”與“必然”
2.4 單點架構(gòu)概述
2.4.1 整體架構(gòu)
2.4.2 數(shù)據(jù)倉庫平臺
2.4.3 大數(shù)據(jù)平臺
2.4.4 數(shù)據(jù)管理架構(gòu)
2.4.5 數(shù)據(jù)應(yīng)用架構(gòu)
2.5 大數(shù)據(jù)架構(gòu)詳述
2.5.1 HADOOP 等技術(shù)族
2.5.2 HBASE/HIVE 設(shè)計
2.5.3 SPARK 設(shè)計
2.5.4 數(shù)據(jù)質(zhì)量控制
2.5.5 數(shù)據(jù)源選擇
2.6 架構(gòu)設(shè)計的關(guān)鍵點
2.6.1 技術(shù)成熟度
2.6.2 架構(gòu)設(shè)計的原則
2.6.3 架構(gòu)設(shè)計的風(fēng)險點
2.7 平衡的藝術(shù)
2.7.1 混搭的原因分析
2.7.2 硬件成本和人力成本
2.7.3 與業(yè)務(wù)發(fā)展的步調(diào)平衡
2.7.4 數(shù)據(jù)分析師的知識平衡
2.8 【案例】某企業(yè)大數(shù)據(jù)平臺架構(gòu)介紹
3 數(shù)據(jù)處理實例
3.1 概述
3.1.1 數(shù)據(jù)標準
3.1.2 業(yè)務(wù)標準
3.1.3 管理標準
3.2 數(shù)據(jù)內(nèi)容
3.2.1 客戶數(shù)據(jù)
3.2.2 產(chǎn)品數(shù)據(jù)
3.2.3 營銷數(shù)據(jù)
3.2.4 員工數(shù)據(jù)
3.2.5 服務(wù)數(shù)據(jù)
3.3 數(shù)據(jù)標準的顆粒度
3.3.1 詳細數(shù)據(jù)
3.3.2 匯總數(shù)據(jù)
3.3.3 衍生數(shù)據(jù)
3.4 數(shù)據(jù)如何收集
3.4.1 從內(nèi)部各個 IT 系統(tǒng)獲取
3.4.2 外部數(shù)據(jù)獲取方法
3.4.3 批量獲取/實時獲取
3.5 數(shù)據(jù)清洗過程
3.5.1 數(shù)據(jù)抽取
3.5.2 數(shù)據(jù)轉(zhuǎn)換
3.5.3 數(shù)據(jù)加載
3.6 跨平臺數(shù)據(jù)接口標準
3.6.1 數(shù)據(jù)接口的定義
3.6.2 數(shù)據(jù)接口的管理職責(zé)
3.6.3 接口設(shè)計的原則
3.7 邏輯模型設(shè)計及實例
3.7.1 原因
3.7.2 邏輯模型設(shè)計的原則
3.7.3 設(shè)計實例
3.8 物理模型設(shè)計及實例
3.8.1 原因
3.8.2 物理模型設(shè)計原則
3.8.3 設(shè)計實例
3.9 數(shù)據(jù)字典及實例
3.9.1 概念
3.9.2 范圍和內(nèi)容
3.9.3 設(shè)計實例
3.10 【案例】某企業(yè)的數(shù)據(jù)資產(chǎn)治理案例
4 數(shù)據(jù)分析方法
4.1 綜述
4.1.1 確定業(yè)務(wù)問題
4.1.2 選擇數(shù)據(jù)
4.1.3 選擇分析方法
4.1.4 評估分析方法
4.1.5 “最后一公里” 問題
4.1.6 數(shù)據(jù)的可視化
4.2 統(tǒng)計分析
4.2.1 統(tǒng)計分析的概念
4.2.2 統(tǒng)計分析的特點
4.2.3 統(tǒng)計分析的應(yīng)用
4.3 OLAP 分析
4.3.1 cube 的概念
4.3.2 上鉆和下鉆
4.3.3 OLAP 如何分析問題
4.3.4 OLAP 工具舉例
4.3.5 【案例】 OLAP 分析實例
4.4 數(shù)據(jù)挖掘分析
4.4.1 數(shù)據(jù)挖掘概念
4.4.2 數(shù)據(jù)挖掘算法介紹
4.4.3 數(shù)據(jù)挖掘工具舉例
4.4.4 【案例】數(shù)據(jù)挖掘?qū)嶋H案例
4.5 人工智能分析
4.5.1 人工智能的發(fā)展歷史
4.5.2 人工智能的突破點
4.5.3 人工智能的算法
4.5.4 人工智能在金融行業(yè)應(yīng)用案例
4.5.5 【案例】人工智能算法的應(yīng)用案例（語音識別+圖像識 別）
4.6 【案例】人工智能在電信領(lǐng)域中的應(yīng)用
5 大數(shù)據(jù)應(yīng)用內(nèi)容
5.1 從泰勒經(jīng)濟學(xué)說起
5.1.1 簡述泰勒經(jīng)濟學(xué)
5.1.2 數(shù)據(jù)與企業(yè)管理的天然聯(lián)系
5.1.3 讓大數(shù)據(jù)滲透到企業(yè)的每個毛孔
5.2 客戶分析
5.2.1 客戶的數(shù)據(jù)維度
5.2.2 客戶視圖分析
5.2.3 客戶離網(wǎng)分析等
5.2.4 客戶細分分析
5.3 產(chǎn)品分析
5.3.1 產(chǎn)品數(shù)據(jù)維度
5.3.2 產(chǎn)品視圖分析
5.3.3 產(chǎn)品的潛在客戶分析
5.3.4 產(chǎn)品交叉分析
5.4 精準營銷
5.4.1 營銷的本質(zhì)——配對
5.4.2 精準營銷——數(shù)據(jù)的魅力
5.4.3 營銷時機、渠道等選擇
5.5 員工的管理
5.5.1 員工的量化分析
5.5.2 大數(shù)據(jù)下的 “辦公室分析”
5.5.3 員工績效考評
5.5.4 如何避免“蒼蠅犯大案”
5.6 外部生態(tài)圈的管理
5.6.1 生態(tài)圈的概念
5.6.2 金融企業(yè)的生態(tài)圈
5.6.3 上下游企業(yè)的管理
5.6.4 如何識別渠道欺詐？
6 某個大數(shù)據(jù)應(yīng)用實例
6.1 【案例】外來工群體細分及營銷
6.1.1 問題定義
哪個 KPI?
具體的口徑
6.1.2 可選方法分析
數(shù)據(jù)分析 算法分析
6.1.3 潛在客戶特征分析
客戶樣本選擇 客戶特征描述
6.1.4 客戶細分實例
挖掘關(guān)鍵變量篩選
決策樹分析實例
客戶分群的營銷建議
6.1.5 營銷方案設(shè)計
營銷渠道選擇 營銷時機選擇 營銷實例
6.1.6 營銷過程
營銷案實例 多波次設(shè)計
6.1.7 效果評估
LIFT 等
折算成經(jīng)濟效果 折算的社會效果
6.1.8 項目總結(jié)
7 大數(shù)據(jù)相關(guān)思考
7.1 大數(shù)據(jù)的建設(shè)
7.1.1 有哪些數(shù)據(jù)
7.1.2 收集哪些數(shù)據(jù)
7.1.3 采用什么技術(shù)
7.1.4 系統(tǒng)架構(gòu)的設(shè)計
7.1.5 工程項目如何管理
7.2 大數(shù)據(jù)的管理
7.2.1 數(shù)據(jù)質(zhì)量如何評估
7.2.2 數(shù)據(jù)質(zhì)量如何控制
7.2.3 管理的作用甚于技術(shù)
7.2.4 數(shù)據(jù)資產(chǎn)的價值
7.3 大數(shù)據(jù)的應(yīng)用
7.3.1 從業(yè)務(wù)需求出發(fā)
7.3.2 技術(shù)驅(qū)動和業(yè)務(wù)驅(qū)動結(jié)合
7.3.3 應(yīng)用的突破點
7.3.4 應(yīng)用的總體設(shè)計和規(guī)劃
7.4 應(yīng)用價值的評估
7.4.1 應(yīng)用的評估方法
7.4.2 應(yīng)用的時效性
7.5 還有哪些“痛 ”
7.5.1 如何容忍“互撕期 ”
7.5.2 數(shù)據(jù)質(zhì)量的“苦 ”
7.5.3 技術(shù)選型的“惑 ”
7.5.4 項目管理的“難 ”
7.5.5 人才培養(yǎng)的“狂 ”
8 總結(jié)

段方老師的其它課程