与AI对话：ChatGPT提示工程揭秘

　　《与AI对话：ChatGPT提示工程揭秘》以独特的角度，深入浅出地介绍 ChatGPT、提示工程及自然语言处理等相关技术。在内容上，本书科普性与专业性并重，既为普通读者提供基础知识，又有对专业领域的深入探讨。本书通过 7 章的内容，在全面介绍 ChatGPT 内部原理的基础上，重点解析提示指令的构建方法，以及如何针对各类任务构建合适的提示指令，为广大读者提供实战经验和指导。 《与AI对话：ChatGPT提示工程揭秘》适合对 ChatGPT 充满好奇心的所有读者，不仅可以满足他们探寻 ChatGPT 内部原理的需求，还能让他们了解如何将其运用于实际工作中。此外，对于有志成为提示工程师的读者，本书提供一条从新手到专家的成长之路，帮助他们打开新的职业发展大门。

　　陈峥，电子科技大学信息与软件工程学院副教授、自然语言处理实验室负责人，中文信息学会自然语言生成与智能写作专委会委员。在信息抽取、文本摘要、机器翻译、机器问答、文本写作、多模态内容生成等领域具有丰富的科研和实践经验。于中国科学院成都计算机应用研究所获得博士学位，先后在田纳西大学、亚利桑那州立大学从事访学研究，发表过20余篇论文，拥有10余项专利，曾主持包括国家自然科学基金在内的多个科研项目。

第1部分 基础知识

1 ChatGPT：开启人工智能的新时代 2

1.1 ChatGPT是什么 2

1.2 ChatGPT的历史 4

1.2.1 GPT-1：预训练加微调 4

1.2.2 GPT-2：更大更强 5

1.2.3 GPT-3：能力涌现 7

1.2.4 ChatGPT：与AI对话 10

1.2.5 GPT-4：多模态 12

1.3 ChatGPT的应用场景 14

1.4 ChatGPT的局限性 17

2 从网页到API：手把手教你使用ChatGPT 20

2.1 使用官方网站与ChatGPT进行交互 20

2.2 用API的方式访问ChatGPT 27

2.3 使用ChatGPT的其他方式 30

3 演进之路：从语言模型到提示工程 37

3.1 什么是语言模型 38

3.2 语言模型的发展历程 40

3.2.1 20世纪50年代之前：雏形初现 40

3.2.2 20世纪的后五十年：由兴到衰 41

3.2.3 21世纪：新时代 42

3.3 Transformer模型的结构和原理 47

3.3.1 注意力机制 47

3.3.2 自注意力机制 48

3.3.3 位置信息 49

3.3.4 缩放点乘注意力 49

3.3.5 多头自注意力 50

3.3.6 多层自注意力 51

3.3.7 交叉注意力 51

3.3.8 完整的Transformer模型 52

3.4 语言模型的训练 53

3.4.1 自回归训练 54

3.4.2 基于人工反馈的强化学习 57

3.5 提示工程 61

3.5.1 提示工程是什么 61

3.5.2 设计良好提示的常见技巧 63

3.5.3 提示工程的重要性 70

第2部分 提示工程

4 人人都能用AI：构建提示指令，化解各类难题 74

4.1 难题已攻克：AI助你跨越语言的障碍 74

4.2 不只是纠错：AI让语言表达更精准 80

4.3 文学创作新思路：人机协作让作品更具灵感 85

4.4 新闻报道加速器：从收集素材到成稿只需几秒 97

4.5 一问即答：AI让信息获取更简单 103

4.6 专家意见何处寻：AI扮演领域专家角色为你答疑解惑 108

4.7 决策神器：如何让AI给出明确回答，助你做决定 118

4.8 逻辑驱动的能力提升：数学和编程是一回事儿 122

5 从新手到专家：普通人如何成为提示工程师 131

5.1 词法和句法分析 132

5.1.1 中文分词 133

5.1.2 命名实体 135

5.1.3 词性标注 137

5.1.4 依存句法分析 139

5.1.5 总结 144

5.2 信息抽取 145

5.2.1 关键词提取 145

5.2.2 实体关系抽取 150

5.2.3 结构化事件抽取 153

5.2.4 总结 156

5.3 分类与聚类 157

5.3.1 文本分类 157

5.3.2 情感分析 160

5.3.3 文本聚类 164

5.3.4 总结 172

5.4 理解和问答 172

5.4.1 常识知识问答 172

5.4.2 阅读理解问答 176

5.4.3 问题理解和意图识别 181

5.4.4 总结 188

5.5 受控文本生成 189

5.5.1 文本摘要 189

5.5.2 文本复述 194

5.5.3 数据到文本的生成 199

5.5.4 总结 206

5.6 谣言和不实信息检测 206

第3部分 延伸讨论

6 狂欢将至：国产“ChatGPT”接踵而来 216

6.1 元语智能：ChatYuan 216

6.2 复旦大学：MOSS 218

6.3 百度：文心一言 219

6.4 清华大学：ChatGLM 221

6.5 其他 223

7 道阻且长：“ChatGPT”们的缺陷与局限 224

7.1 幻觉：一柄双刃剑 224

7.2 毒性：一个社会问题 231

7.3 记忆：短期的更困难 231

7.4 多模态：到底有什么用 234

参考文献 242