《某大型企業(yè)大數(shù)據(jù)系統(tǒng)實(shí)際案例剖析》

《某大型企業(yè)大數(shù)據(jù)系統(tǒng)實(shí)際案例剖析》
——“他山之石，攻自己的玉 ”
段方 北京大學(xué)博士后
1 背景
1.1 概述
1.1.1 大數(shù)據(jù)的概念和特點(diǎn)
1.1.2 大數(shù)據(jù)在不同領(lǐng)域中的應(yīng)用
1.2 系統(tǒng)需求描述
1.2.1 2001 年引出背景
1.2.2 十五年階段中每階段演進(jìn)目標(biāo)舉例
1.2.3 需求描述實(shí)例（某階段）
1.2.4 技術(shù)需求與業(yè)務(wù)需求
1.3 技術(shù)發(fā)展歷史
1.3.1 數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)
1.3.2 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)
1.3.3 大數(shù)據(jù)系統(tǒng)
1.3.4 發(fā)展歷程中的關(guān)鍵技術(shù)路線圖
1.4 應(yīng)用發(fā)展歷史
1.4.1 報(bào)表和 KPI
1.4.2 數(shù)據(jù)挖掘
1.4.3 對(duì)外服務(wù)
1.4.4 大數(shù)據(jù)運(yùn)營(yíng)
1.5 管理發(fā)展歷史
1.5.1 部門級(jí)數(shù)據(jù)倉(cāng)庫(kù)
1.5.2 企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)
1.5.3 企業(yè)級(jí)大數(shù)據(jù)中心
1.5.4 組織機(jī)構(gòu)演進(jìn)
1.6 不同階段技術(shù)選型思考
1.6.1 系統(tǒng)建立階段
1.6.2 應(yīng)用擴(kuò)展階段
1.6.3 數(shù)據(jù)擴(kuò)展階段
1.6.4 大數(shù)據(jù)階段
2 系統(tǒng)架構(gòu)實(shí)例
2.1 系統(tǒng)架構(gòu)演進(jìn)歷史
2.1.1 數(shù)據(jù)庫(kù)階段
2.1.2 數(shù)據(jù)倉(cāng)庫(kù)階段
數(shù)據(jù)標(biāo)準(zhǔn)
系統(tǒng)標(biāo)準(zhǔn)
技術(shù)選型
數(shù)據(jù)管理設(shè)計(jì)
2.1.3 大數(shù)據(jù)階段
HADOOP 等技術(shù)引入 混搭架構(gòu)設(shè)計(jì)
技術(shù)管控要求
2.2 兩級(jí)架構(gòu)緣起
2.2.1 從兩級(jí)法人說(shuō)起
2.2.2 靈活性與標(biāo)準(zhǔn)性
2.2.3 不同階段的不同理念
2.3 單點(diǎn)架構(gòu)概述
2.3.1 整體架構(gòu)
2.3.2 大數(shù)據(jù)平臺(tái)
2.3.3 數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)
2.3.4 數(shù)據(jù)管理架構(gòu)
2.3.5 數(shù)據(jù)應(yīng)用架構(gòu)
2.4 大數(shù)據(jù)架構(gòu)詳述
2.4.1 HADOOP 等技術(shù)族
2.4.2 HBASE/HIVE 設(shè)計(jì)
2.4.3 SPARK 設(shè)計(jì)
2.4.4 數(shù)據(jù)質(zhì)量控制
2.4.5 數(shù)據(jù)源選擇
2.5 架構(gòu)設(shè)計(jì)的關(guān)鍵點(diǎn)
2.5.1 技術(shù)成熟度
2.5.2 架構(gòu)設(shè)計(jì)的原則
2.5.3 架構(gòu)設(shè)計(jì)的風(fēng)險(xiǎn)點(diǎn)
2.6 平衡的藝術(shù)
2.6.1 混搭的原因分析
2.6.2 硬件成本和人力陳本
2.6.3 與業(yè)務(wù)發(fā)展的步調(diào)平衡
2.6.4 數(shù)據(jù)分析師的知識(shí)平衡
3 數(shù)據(jù)處理實(shí)例
3.1 概述
3.1.1 數(shù)據(jù)標(biāo)準(zhǔn)
3.1.2 業(yè)務(wù)標(biāo)準(zhǔn)
3.1.3 管理標(biāo)準(zhǔn)
3.2 數(shù)據(jù)內(nèi)容
3.2.1 客戶數(shù)據(jù)
3.2.2 產(chǎn)品數(shù)據(jù)
3.2.3 營(yíng)銷數(shù)據(jù)
3.2.4 員工數(shù)據(jù)
3.2.5 服務(wù)數(shù)據(jù)
3.3 數(shù)據(jù)標(biāo)準(zhǔn)的顆粒度
3.3.1 詳細(xì)數(shù)據(jù)
3.3.2 匯總數(shù)據(jù)
3.3.3 衍生數(shù)據(jù)
3.4 數(shù)據(jù)如何收集
3.4.1 從內(nèi)部各個(gè) IT 系統(tǒng)獲取
3.4.2 外部數(shù)據(jù)獲取方法
3.4.3 批量獲取/實(shí)時(shí)獲取
3.5 數(shù)據(jù)清洗過程
3.5.1 數(shù)據(jù)抽取
3.5.2 數(shù)據(jù)轉(zhuǎn)換
3.5.3 數(shù)據(jù)加載
3.6 跨平臺(tái)數(shù)據(jù)接口標(biāo)準(zhǔn)
3.6.1 數(shù)據(jù)接口的定義
3.6.2 數(shù)據(jù)接口的管理職責(zé)
3.6.3 接口設(shè)計(jì)的原則
3.7 邏輯模型設(shè)計(jì)及實(shí)例
3.7.1 原因
3.7.2 邏輯模型設(shè)計(jì)的原則
3.7.3 設(shè)計(jì)實(shí)例
3.8 物理模型設(shè)計(jì)及實(shí)例
3.8.1 原因
3.8.2 物理模型設(shè)計(jì)原則
3.8.3 設(shè)計(jì)實(shí)例
3.9 數(shù)據(jù)字典及實(shí)例
3.9.1 概念
3.9.2 范圍和內(nèi)容
3.9.3 設(shè)計(jì)實(shí)例
4 數(shù)據(jù)分析方法
4.1 綜述
4.1.1 確定業(yè)務(wù)問題
4.1.2 選擇數(shù)據(jù)
4.1.3 選擇分析方法
4.1.4 評(píng)估分析方法
4.1.5 “最后一公里” 問題
4.1.6 數(shù)據(jù)的可視化
4.2 統(tǒng)計(jì)分析
4.2.1 統(tǒng)計(jì)分析的概念
4.2.2 統(tǒng)計(jì)分析的特點(diǎn)
4.2.3 統(tǒng)計(jì)分析的應(yīng)用
4.3 OLAP 分析
4.3.1 cube 的概念
4.3.2 上鉆和下鉆
4.3.3 OLAP 如何分析問題
4.3.4 OLAP 工具舉例
cognos
brio
4.3.5 【案例】 OLAP 分析實(shí)例
4.4 數(shù)據(jù)挖掘分析
4.4.1 數(shù)據(jù)挖掘概念
4.4.2 數(shù)據(jù)挖掘算法介紹
4.4.3 數(shù)據(jù)挖掘工具舉例
SAS
SPSS
4.4.4 【案例】數(shù)據(jù)挖掘?qū)嶋H案例
4.5 人工智能分析
4.5.1 人工智能的發(fā)展歷史
4.5.2 人工智能的突破點(diǎn)
4.5.3 人工智能的算法
4.5.4 人工智能在金融行業(yè)應(yīng)用案例
4.5.5 【案例】人工智能算法的應(yīng)用案例（語(yǔ)音識(shí)別+圖像識(shí) 別）
5 大數(shù)據(jù)應(yīng)用內(nèi)容
5.1 從泰勒經(jīng)濟(jì)學(xué)說(shuō)起
5.1.1 簡(jiǎn)述泰勒經(jīng)濟(jì)學(xué)
5.1.2 數(shù)據(jù)與企業(yè)管理的天然聯(lián)系
5.1.3 “讓大數(shù)據(jù)滲透到企業(yè)的每個(gè)毛孔 ”
5.2 客戶分析
5.2.1 客戶的數(shù)據(jù)維度
5.2.2 客戶視圖分析
5.2.3 客戶離網(wǎng)分析等
5.2.4 客戶細(xì)分分析
5.3 產(chǎn)品分析
5.3.1 產(chǎn)品數(shù)據(jù)維度
5.3.2 產(chǎn)品視圖分析
5.3.3 產(chǎn)品的潛在客戶分析
5.3.4 產(chǎn)品交叉分析
5.4 精準(zhǔn)營(yíng)銷
5.4.1 營(yíng)銷的本質(zhì)——配對(duì)
5.4.2 精準(zhǔn)營(yíng)銷——數(shù)據(jù)的魅力
5.4.3 營(yíng)銷時(shí)機(jī)、渠道等選擇
5.5 員工的管理
5.5.1 員工的量化分析
5.5.2 大數(shù)據(jù)下的 “辦公室分析”
5.5.3 員工績(jī)效考評(píng)
5.5.4 如何避免“蒼蠅犯大案”
5.6 外部生態(tài)圈的管理
5.6.1 生態(tài)圈的概念
5.6.2 金融企業(yè)的生態(tài)圈
5.6.3 上下游企業(yè)的管理
5.6.4 如何識(shí)別渠道欺詐？
6 某個(gè)大數(shù)據(jù)應(yīng)用實(shí)例
6.1 【案例】外來(lái)工群體細(xì)分及營(yíng)銷
6.1.1 問題定義
哪個(gè) KPI?
具體的口徑
6.1.2 可選方法分析
數(shù)據(jù)分析 算法分析
6.1.3 潛在客戶特征分析
客戶樣本選擇 客戶特征描述
6.1.4 客戶細(xì)分實(shí)例
挖掘關(guān)鍵變量篩選
決策樹分析實(shí)例
客戶分群的營(yíng)銷建議
6.1.5 營(yíng)銷方案設(shè)計(jì)
營(yíng)銷渠道選擇 營(yíng)銷時(shí)機(jī)選擇 營(yíng)銷實(shí)例
6.1.6 營(yíng)銷過程
營(yíng)銷案實(shí)例 多波次設(shè)計(jì)
6.1.7 效果評(píng)估
LIFT 等
折算成經(jīng)濟(jì)效果 折算的社會(huì)效果
6.1.8 項(xiàng)目總結(jié)
7 大數(shù)據(jù)相關(guān)思考
7.1 大數(shù)據(jù)的建設(shè)
7.1.1 有哪些數(shù)據(jù)
7.1.2 收集哪些數(shù)據(jù)
7.1.3 采用什么技術(shù)
7.1.4 系統(tǒng)架構(gòu)的設(shè)計(jì)
7.1.5 工程項(xiàng)目如何管理
7.2 大數(shù)據(jù)的管理
7.2.1 數(shù)據(jù)質(zhì)量如何評(píng)估
7.2.2 數(shù)據(jù)質(zhì)量如何控制
7.2.3 管理的作用甚于技術(shù)
7.2.4 數(shù)據(jù)資產(chǎn)的價(jià)值
7.3 大數(shù)據(jù)的應(yīng)用
7.3.1 從業(yè)務(wù)需求出發(fā)
7.3.2 技術(shù)驅(qū)動(dòng)和業(yè)務(wù)驅(qū)動(dòng)結(jié)合
7.3.3 應(yīng)用的突破點(diǎn)
7.3.4 應(yīng)用的總體設(shè)計(jì)和規(guī)劃
7.4 應(yīng)用價(jià)值的評(píng)估
7.4.1 應(yīng)用的評(píng)估方法
7.4.2 應(yīng)用的時(shí)效性
7.5 還有哪些“痛 ”
7.5.1 如何容忍“互撕期 ”
7.5.2 數(shù)據(jù)質(zhì)量的“苦 ”
7.5.3 技術(shù)選型的“惑 ”
7.5.4 項(xiàng)目管理的“難 ”
7.5.5 人才培養(yǎng)的“狂 ”
8 總結(jié)
8.1 實(shí)例分析的價(jià)值
8.2 經(jīng)驗(yàn)教訓(xùn)分享
8.3 未來(lái)展望

段方老師的其它課程