多模態(tài)大模型原理與實踐提綱

  培訓講師：葉梓

講師背景：
葉梓老師葉梓，工學博士，高級工程師?，F(xiàn)某大型上市企業(yè)資深技術專家。2005年上海交通大學計算機專業(yè)博士畢業(yè)，在校期間的主研方向為數(shù)據(jù)挖掘、機器學習、人工智能。畢業(yè)后即進入軟件行業(yè)從事信息化技術相關工作；負責或參與了多項、省市級人工智能及大數(shù) 詳細>>

葉梓
    課程咨詢電話：

多模態(tài)大模型原理與實踐提綱詳細內(nèi)容

多模態(tài)大模型原理與實踐提綱

多模態(tài)大模型原理與實踐提綱
培訓需要解決的問題
移動云盤緊跟前沿技術用AI全面重塑云盤“采傳存處用”場景，探索對文本、圖片、筆記、視頻、音頻等數(shù)字內(nèi)容的智能化賦能。通過本次培訓，拓展對多模態(tài)AI應用領域的視野，幫助團隊聚焦AI賦能創(chuàng)新突破，提升對資產(chǎn)管理AI服務的技術認知與理解，更好地助力業(yè)務智能化業(yè)務建設。
培訓要求
已開展兩期的大語言模型培訓，在此基礎上開展一期多模塊方面結合大語言模型的通用生成類技能培訓。
培訓課程重點內(nèi)容：①CLIP、SD；②結合中移的用戶資產(chǎn)對“視頻生成，音頻生成和音頻總結”部分可以進行前瞻性的技術分析和研討；③希望結合公司業(yè)務來講解。
基礎知識部分可不講或略講，文生視頻技術目前不太成熟，只略講概念部分
培訓時長
1天
培訓提綱
第1部分：多模態(tài)學習概述
多模態(tài)學習的定義
多模態(tài)學習的意義
多模態(tài)數(shù)據(jù)類型：文本、圖像、視頻、音頻等
多模態(tài)學習的應用領域（自然語言處理、計算機視覺、推薦系統(tǒng)等）
第2部分：ViT、Beit與CLIP/BLIP
ViT模型架構概述
Patch Embedding與Positional Encoding
Beit與ViT的比較
Beit在自監(jiān)督學習中的應用
Beit在多模態(tài)任務中的優(yōu)勢
實踐演示：利用ViT和Beit進行圖文轉化的效果
CLIP模型介紹：從圖像到文本的跨模態(tài)嵌入
BLIP模型架構：結合CLIP的多模態(tài)模型
CLIP/BLIP在多模態(tài)任務中的應用：圖像-文本匹配、圖像標注等
實踐演示：使用CLIP進行圖像-文本匹配任務
第3部分：Stable Diffusion及SD XL
Stable Diffusion模型概述：生成模型在圖像生成中的應用
SD的原理推導
SD模型的架構
Stable Diffusion XL：擴展的Stable Diffusion模型
微調擴散模型：DreamBooth微調擴散模型：Textual-Inversion
微調擴散模型：LoRA微調擴散模型：Hypernetworks
Stable Diffusion在藝術創(chuàng)作和設計中的應用
實踐演示：使用Stable Diffusion生成圖像
第4部分：微調與RLHF方法
微調的基本概念
SFT：監(jiān)督微調方法
PEFT的概念
P-tuning v2 / LoRA / Freeze等
微調方法在多模態(tài)學習中的應用
實踐演示：對多模態(tài)大模型進行微調
第5部分：與人類偏好對齊
強化學習基礎概述
DPO：直接偏好優(yōu)化
PPO：近端策略優(yōu)化
llama-factory簡介
實踐演示：利用llama-factory對大模型進行RLHF
第6部分：多模態(tài)大模型
qwen_vl_chatYi_vl_chatLLaVaopen-sora
chatTTS實踐演示：使用qwen_vl和Yi_vl_chat進行視覺問答任務
第7部分：結合中移業(yè)務的開放討論
用戶資產(chǎn)管理所需的多模式模型
各種AI技術在用戶資產(chǎn)管理中的應用

 

葉梓老師的其它課程

DeepSeek輔助日常工作培訓提綱一、引言介紹大模型領域的競爭態(tài)勢強調DeepSeek的獨特優(yōu)勢二、DeepSeek概述DeepSeek的發(fā)展背景與定位DeepSeek各版本的特點與區(qū)別三、DeepSeek部署本地單機部署DeepSeek蒸餾版的硬件要求本地單機部署DeepSeek（量化）滿血版的配置與性能本地單機多卡部署DeepSeek（量化）滿血版的策

 講師：葉梓詳情

知識圖譜的Python實現(xiàn)【課程簡介】本課程包含知識圖譜的基本概念及常用算法，并實現(xiàn)了一個基于知識圖譜的對話機器人。通過1天的系統(tǒng)學習、案例講解和動手實踐，讓學員能初步了解知識圖譜的的相關知識與技術?！菊n程對象】理工科本科以上，或至少了解一種編程語言。知識圖譜基礎知識圖譜存儲知識圖譜基礎概念知識推理本體推理方法本體推理工具語義搜索RDF與RDFSOWL與OW

 講師：葉梓詳情

智能醫(yī)療技術與ChatGPT臨床應用三日深度培訓第一天：人工智能基礎與Python編程入門上午：人工智能在醫(yī)療領域的應用概述Python編程基礎環(huán)境搭建、數(shù)據(jù)類型、流程控制Python環(huán)境搭建Python數(shù)據(jù)類型與流程控制Python函數(shù)的應用Python面向對象編程?文件讀寫和目錄操作異常處理機器學習概述數(shù)據(jù)探索性分析：智能化數(shù)據(jù)分析特征工程：數(shù)據(jù)準備、數(shù)

 講師：葉梓詳情

人工智能“最強模型”transformer詳解【課程簡介】Transformer是迄今為止人工智能領域的最新和最強大的模型類別之一。它幾乎正在憑借一己之力來推動深度學習的又一波重大進步。Transformer模型充分運用了稱為注意力和自注意力機制，以檢測系列（或圖像）中元素相互影響和相互依賴的微妙關系。本課程通過2天時間的詳細介紹，可使學習者初步了解Tran

 講師：葉梓詳情

||1.人工智能概述||第一節(jié)：人工智能與機器學習基礎|2.機器學習概述|||3.機器學習算法應用分析|||1.一元線性回歸|||2.代價函數(shù)|||3.梯度下降法||第二節(jié)：回歸算法|4.sklearn一元線性回歸應用|||5.多元線性回歸|||6.sklearn多元線性回歸應用|||案例：葡萄酒質量和時間的關系|||1.KNN分類算法介紹|||2.KNN分

 講師：葉梓詳情

人工智能技術詳解【課程內(nèi)容】本課程包含大數(shù)據(jù)、機器學習、深度學習、知識圖譜、強化學習與深度強化學習的相關知識?！菊n程時長】7天（7小時/天）【課程對象】理工科本科及以上，且至少了解一門編程語言?！菊n程大綱】（培訓內(nèi)容可根據(jù)客戶需求調整）時間內(nèi)容案例實踐與練習Day1上午準備工作準備工作1.概念與術語2.Python（Anaconda）的安裝3.Pycharm

 講師：葉梓詳情

人工智能與深度學習第一天：人工智能概念與經(jīng)典算法人工智能概念綜述（第一天——1）從一些術語辨析人工智能人工智能之連接主義的興衰史這次AI的熱潮是怎么來的？圖像處理領域的最新熱點（第一天——2）分類、目標檢測與實例分割風格遷移自動駕駛人體姿態(tài)識別超分辨率圖像生成語言處理領域的最新熱點（第一天——3）Attention機制自動構建知識圖譜看圖說話預訓練機制三大經(jīng)

 講師：葉梓詳情

人工智能之最新自然語言處理技術與實戰(zhàn)課程介紹：自然語言處理(簡稱NLP)是計算機科學和人工智能研究的一個重要方向，研究計算機和理解和運用人類語言進行交互的問題，它是集語言學、機器學習、統(tǒng)計學、大數(shù)據(jù)于一體的綜合學科。本課程主要介紹了NLP中的常用知識點：分詞、詞法分析、句法分析、向量化方法、經(jīng)典的NLP機器學習算法，還重點介紹了NLP中最近兩年來基于大規(guī)模語

 講師：葉梓詳情

第一天上午：統(tǒng)計分析原理從最簡單的案例開始統(tǒng)計基礎描述性統(tǒng)計用SPSS實現(xiàn)描述性統(tǒng)計的案例回歸分析：線性回歸回歸分析：logistics回歸用SPSS實現(xiàn)回歸分析的案例可視化工具第一天下午：數(shù)據(jù)庫與數(shù)據(jù)倉庫介紹數(shù)據(jù)庫概述SQL（基本的增、刪、改、查）SQL（稍復雜的子句或嵌套）基于MySQL的上機操作SQL語言數(shù)據(jù)倉庫：度量與維度數(shù)據(jù)倉庫：星型模型、雪花模型

 講師：葉梓詳情

計算機視覺【課程時長】3天（7小時/天）【課程對象】理工科本科及以上，且至少了解一門編程語言?！菊n程大綱】（培訓內(nèi)容可根據(jù)客戶需求調整）時間內(nèi)容案例實踐與練習Day1上午準備工作準備工作決策樹準備工作（1）概念與術語Python（Anaconda）的安裝Pycharm的安裝與使用JupyterNotebook的安裝與使用Tensorflow與pytorch的

 講師：葉梓詳情

COPYRIGT @ 2001-2018 HTTP://m.gzzmzs.cn INC. ALL RIGHTS RESERVED. 管理資源網(wǎng) 版權所有