实战AI大模型

　　《实战AI大模型》是一本旨在填补人工智能（AI）领域（特别是AI大模型）理论与实践之间鸿沟的实用手册。书中介绍了AI大模型的基础知识和关键技术，如Transformer、BERT、ALBERT、T5、GPT系列、InstructGPT、ChatGPT、GPT 4、PaLM和视觉模型等，并详细解释了这些模型的技术原理、实际应用以及高性能计算（HPC）技术的使用，如并行计算和内存优化。同时，《实战AI大模型》还提供了实践案例，详细介绍了如何使用Colossal AI训练各种模型。无论是人工智能初学者还是经验丰富的实践者，都能从本书学到实用的知识和技能，从而在迅速发展的AI领域中找到适合自己的方向。

　　尤洋，清华大学硕士，加州伯克利大学博士，新加坡国立大学计算机系校长青年教授（Presidential Young Professor）。曾创造ImageNet、BERT、AlphaFold、ViT训练速度的世界纪录，相关技术被广泛应用于谷歌、微软、英特尔、英伟达等科技巨头。近三年以第一作者身份在NIPS，ICLR，SC，IPDPS，ICS等国际重要会议或期刊上发表论文十余篇，曾以第一作者身份获国际并行与分布式处理大会（IPDPS）的Best Paper Award（0.8%获奖率）和国际并行处理大会（ICPP）的Best Paper Award（0.3%获奖率），也曾以通讯作者身份获得了国际人工智能大会 （AAAI）的杰出论文奖（0.14%获奖率）和国际计算语言学大会 （ACL）的杰出论文奖（0.86%获奖率），总计发表论文近百篇。曾获清华大学优秀毕业生及当时清华大学计算机系数额最高的西贝尔奖学金，美国计算机协会（ACM）官网上唯一颁给在读博士生的ACM-IEEE CS George Michael Memorial HPC Fellowship，颁发给伯克利优秀毕业生的Lotfi A. Zadeh Prize。他被UC Berkeley提名为ACM Doctoral Dissertation Award候选人。他曾任职于谷歌，微软，英伟达，英特尔，IBM，2021年入选福布斯30岁以下精英榜（亚洲）并获得IEEE-CS超算杰出新人奖。

第1章 深度学习中的AI大模型
1.1 AI大模型在人工智能领域的兴起
1.1.1 AI大模型的发展与挑战
1.1.2 AI大模型为何难以训练
1.2 深度学习框架入门
1.2.1 搭建神经网络
1.2.2 训练一个文本分类器
第2章 分布式系统：AI大模型的诞生之所
2.1 深度学习与分布式系统
2.1.1 从分布式计算到分布式AI系统
2.1.2 大规模分布式训练平台的关键技术
2.1.3 Colossal AI应用实践
2.2 AI大模型训练方法
2.2.1 梯度累积和梯度裁剪
2.2.2 大批量优化器LARSLAMB
2.2.3 模型精度与混合精度训练
2.3 异构训练
2.3.1 异构训练的基本原理
2.3.2 异构训练的实现策略
2.4 实战分布式训练
2.4.1 Colossal AI环境搭建
2.4.2 使用Colossal AI训练第一个模型
2.4.3 AI大模型的异构训练
第3章 分布式训练：上千台机器如何共同起舞
3.1 并行策略基础原理
3.1.1 数据并行:最基本的并行训练范式
3.1.2 张量并行:层内模型并行
3.1.3 流水线并行的原理与实现
3.2 高级并行策略基础原理
3.2.1 序列并行:超长序列模型训练
3.2.2 混合并行:扩展模型到千亿参数
3.2.3 自动并行:自动化的分布式并行训练
3.3 实战分布式训练
3.3.1 应用模型并行策略的实际案例
3.3.2 结合多种并行策略的训练实践
第4章 AI大模型时代的奠基石Transformer模型
4.1 自然语言处理基础
4.1.1 自然语言任务介绍
4.1.2 语言输入的预处理
4.1.3 序列到序列模型
4.2 Transformer详解
4.2.1 Transformer模型结构
4.2.2 注意力与自注意力机制
4.2.3 Transformer中的归一化
4.3 Transformer的变体与扩展
4.3.1 变体模型汇总
4.3.2 Transformer序列位置信息的编码处理
4.3.3 Transformer训练
第5章 AI大幅度提升Google搜索质量:BERT模型
5.1 BERT模型详解
5.1.1 BERT模型总体架构与输入形式
5.1.2 BERT模型预训练任务
5.1.3 BERT模型的应用方法
5.2 高效降低内存使用的ALBERT模型
5.2.1 基于参数共享的参数缩减方法
5.2.2 句子顺序预测（SOP）预训练任务
5.3 BERT模型实战训练
5.3.1 构建BERT模型
5.3.2 并行训练BERT模型
第6章 统一自然语言处理范式的T5模型
6.1 T5模型详解
6.1.1 T5模型架构和输入输出——文本到文本
6.1.2 T5模型预训练
6.1.3 T5模型应用前景及未来发展
6.2 统一BERT和GPT的BART模型
6.2.1 从BERT、GPT到BART
6.2.2 BART模型预训练
6.2.3 BART模型的应用
6.3 统一语言学习范式的UL2框架
6.3.1 关于语言模型预训练的统一视角
6.3.2 结合不同预训练范式的混合去噪器
6.3.3 UL2的模型性能
6.4 T5模型预训练方法和关键技术
第7章 作为通用人工智能起点的GPT系列模型
7.1 GPT系列模型的起源
7.1.1 GPT的训练方法和关键技术
7.1.2 GPT的模型性能评估分析
7.2 GPT 2模型详解
7.2.1 GPT 2的核心思想
7.2.2 GPT 2的模型性能
7.3 GPT 3模型详解
7.3.1 小样本学习、一次学习与零次学习的异同
7.3.2 GPT 3的训练方法和关键技术
7.3.3 GPT 3的模型性能与效果评估
7.4 GPT 3模型构建与训练实战
7.4.1 构建GPT 3模型
7.4.2 使用异构训练降低GPT 3训练消耗资源
第8章 兴起新一代人工智能浪潮:ChatGPT模型
8.1 能与互联网交互的WebGPT
8.1.1 WebGPT的训练方法和关键技术
8.1.2 WebGPT的模型性能评估分析
8.2 能与人类交互的InstructGPT模型
8.2.1 指令学习
8.2.2 近端策略优化
8.2.3 基于人类反馈的强化学习（RLHF）方法汇总
8.3 ChatGPT和GPT4
8.3.1 ChatGPT模型简介和应用
8.3.2 GPT 4模型特点与应用
8.4 构建会话系统模型
8.4.1 基于监督的指令精调与模型训练
8.4.2 会话系统的推理与部署策略
第9章 百花齐放的自然语言模型：Switch Transfomer和PaLM
9.1 万亿参数稀疏大模型Switch Transformer
9.1.1 稀疏门控混合专家模型MoE
9.1.2 基于MoE的万亿参数模型Switch Transformer
9.2 PaLM模型：优化语言模型性能
9.2.1 PaLM模型的结构、原理和关键特点
9.2.2 PaLM训练策略与效果评估
9.3 PaLM实战训练
第10章 实现Transformer向计算机视觉进军的ViT模型
10.1 Transformer在计算机视觉中的应用
10.1.1 ViT模型在计算机视觉中的发展背景
10.1.2 ViT模型的架构、原理和关键要素
10.1.3 大规模ViT模型的应用场景和挑战
10.2 视觉大模型的进一步发展：Transformer与卷积的融合
10.2.1 基于Transformer的视觉模型的改进应用
10.2.2 基于卷积的视觉模型的发展优化
10.3 ViT模型构建与训练实战
10.3.1 构建ViT模型的关键步骤与关键方法
10.3.2 多维张量并行的ViT的实战演练
参考文献