Unity跨平台音视频通信从入门到应用

　　本书以实用为宗旨，讲解如何在不依赖云服务的情况下使用Unity独立开发安全、可靠的音视频通信技术。全书共计10章，主要包括Unity音视频通信、Unity软件基础、3D数学与着色器基础、多媒体音频技术、多媒体视频技术、Unity网络通信基础、跨平台音视频通信核心、桌面平台音视频通信实现、Android平台音视频通信实现、XR平台音视频通信实现的相关内容。本书适合对跨平台音视频通信技术有需求、感兴趣的读者阅读，也适合跨平台音视频通信应用程序的相关开发者阅读，还适合高校及培训机构相关专业的师生参考阅读。

　　李清凯潍坊幻视软件科技有限公司主程。科学与信息技术专业，全栈工程师，微软系技术追随者，擅长Net Core、Unity 3D、Machine Learning等技术开发。对数据负载均衡、数据优化等技术有大量实际应用经验。《一种跨平台视频通信方法》专利发明人。李淑英，98年至今在潍坊创新教育研究院负责远程视频监控、学校安全教育等工作。在视频通信编码及传输的技术领域积累了宝贵的经验，《一种跨平台视频通信方法》专利发明人，山东省省级先进工作者。

第1章 Unity音视频通信 1
1.1 引言 1
1.2 发展历程 1
1.3 技术应用 2
1.3.1 应用场景 2
1.3.2 应用需求 2
1.4 本章总结 3
第2章 Unity软件基础 4
2.1 引言 4
2.2 软件介绍 4
2.2.1 简介 4
2.2.2 Unity版本 5
2.2.3 Unity Hub简介 5
2.3 界面介绍 8
2.3.1 菜单栏 8
2.3.2 导航栏 9
2.3.3 工作区 10
2.4 窗口介绍 10
2.4.1 Project窗口 10
2.4.2 Hierarchy窗口 12
2.4.3 Inspector窗口 13
2.4.4 Scene窗口 14
2.4.5 Game窗口 15
2.5 项目创建 16
2.5.1 创建新项目 16
2.5.2 添加项目 17
2.6 物体、组件 17
2.6.1 常用的物体 17
2.6.2 常用的组件 18
2.7 脚本 18
2.7.1 脚本创建 18
2.7.2 生命周期 19
2.7.3 变量与函数 21
2.7.4 计算与赋值 21
2.8 资源包管理 22
2.8.1 资源包导入 22
2.8.2 资源包导出 23
2.9 构建设置 24
2.10 本章总结 25
第3章 3D数学与着色器基础 26
3.1 引言 26
3.2 3D数学坐标系 26
3.2.1 全局坐标系 26
3.2.2 局部坐标系 27
3.2.3 屏幕坐标系 27
3.2.4 视口坐标系 27
3.2.5 坐标系转换 27
3.3 向量 28
3.3.1 向量介绍 28
3.3.2 Vector类 29
3.4 着色器基础 29
3.4.1 认识表面着色器 30
3.4.2 表面着色器的应用示例 33
3.4.3 计算着色器 36
3.4.4 计算着色器灰度图的应用示例 39
3.4.5 计算着色器图片像素显示处理的应用示例 41
3.5 本章总结 44
第4章 多媒体音频技术 45
4.1 引言 45
4.2 音频介绍 45
4.2.1 音频设备 45
4.2.2 音频源组件 46
4.2.3 音频权限 48
4.3 音频多通道 49
4.3.1 多通道介绍 49
4.3.2 Unity多通道 49
4.4 音频采样 51
4.4.1 采样率与采样大小 51
4.4.2 Unity音频采样处理 51
4.5 音频数字化 52
4.5.1 数字音频 52
4.5.2 音频质量 53
4.5.3 Unity音频数字化 53
4.6 本章总结 56
第5章 多媒体视频技术 57
5.1 引言 57
5.2 视频设备与权限 57
5.2.1 视频设备 57
5.2.2 视频权限 58
5.3 图像捕捉与视频捕捉 59
5.3.1 图像捕捉 59
5.3.2 视频捕捉 61
5.4 图像数字化 64
5.4.1 图像及视频种类 64
5.4.2 Unity图像的数字化处理 65
5.5 图像和视频压缩技术 69
5.5.1 图像压缩 70
5.5.2 视频压缩 71
5.6 本章总结 72
第6章 Unity网络通信基础 73
6.1 引言 73
6.2 Unity通信API 73
6.2.1 通信API简介 73
6.2.2 简单的HTTP通信 73
6.3 TCP通信 75
6.3.1 TCP介绍 75
6.3.2 TCP通信原理 76
6.3.3 Unity中基于Socket的高性能TCP通信实现——服务器端 78
6.3.4 Unity中基于Socket的高性能TCP通信实现——客户端 102
6.4 UDP通信 117
6.4.1 UDP介绍 117
6.4.2 UDP通信原理 118
6.4.3 Unity中基于Socket的高性能UDP通信实现 119
6.5 本章总结 129
第7章 跨平台音视频通信核心 130
7.1 引言 130
7.2 音频处理 130
7.2.1 音频发送 130
7.2.2 音频接收 137
7.3 图像处理 142
7.3.1 图像发送 142
7.3.2 图像接收 146
7.4 本章总结 149
第8章 桌面平台音视频通信实现 150
8.1 引言 150
8.2 构建设置 150
8.2.1 开发平台 150
8.2.2 Player设置 152
8.3 项目建立 157
8.3.1 场景搭建 157
8.3.2 组件设置 158
8.3.3 测试发布 160
8.3.4 测试运行 160
8.4 本章总结 161
第9章 Android平台音视频通信实现 162
9.1 引言 162
9.2 构建设置 162
9.2.1 开发平台 162
9.2.2 Player 设置 164
9.3 项目建立 174
9.3.1 场景搭建与贴图压缩 174
9.3.2 组件设置 197
9.3.3 测试发布 197
9.3.4 测试运行 198
9.4 本章总结 198
第10章 XR平台音视频通信实现 199
10.1 引言 199
10.2 HoloLens介绍 199
10.2.1 硬件介绍 199
10.2.2 平台介绍 201
10.3 MRTK介绍 201
10.3.1 MRTK简介 201
10.3.2 MRTK应用 205
10.4 构建设置 209
10.4.1 开发平台 209
10.4.2 Player 设置 211
10.5 项目建立 217
10.5.1 场景搭建与贴图压缩 217
10.5.2 组件设置 242
10.5.3 测试发布 243
10.5.4 测试运行 247
10.6 本章总结 248