书籍详情
动态规划与最优控制：近似动态规划（第Ⅱ卷）
作者：[美] 德梅萃·P.博塞克斯 著，贾庆山 译
出版社：清华大学出版社
出版时间：2021-02-01
ISBN：9787302561460
定价：¥129.00
购买这本书可以去
内容简介
《动态规划与最优控制：近似动态规划（第Ⅱ卷）》系统性介绍动态规划，特别是近似动态规划，包括折扣问题的理论与计算方法、随机最短路问题、无折扣问题、平均费用问题、折扣与无折扣问题的近似动态规划等。
作者简介
德梅萃·P.博塞克斯 Dimitri Bertsekas曾在希腊国立雅典技术大学学习机械与电机工程，之后从麻省理工学院获得系统科学博士学位。曾先后在斯坦福大学工程与经济系统系和伊利诺伊大学香槟分校的电机工程系任教。1979年以来，他一直在麻省理工学院电机工程与计算机科学系任教，现任麦卡菲工程教授。其研究涉及多个领域，包括优化、控制、大规模计算和数据通信网络，并与其教学和著书工作联系紧密。他已撰写14本著作以及众多论文，其中数本著作在麻省理工学院被用作教材。他与动态规划之缘始于博士论文的研究，并通过学术论文、多本教材和学术专著一直延续至今。Bertsekas 教授因其著作《神经元动态规划》（与John Tsitsiklis合著）荣获1997年INFORMS 授予的运筹学与计算机科学交叉领域的杰出研究成果奖、2000年希腊运筹学国家奖、2001年美国控制会议John R.Ragazzini奖以及2009年INFORMS Expository写作奖。2001年，他因为“基础性研究、实践并教育优化/控制理论，特别是在数据通信网络中的应用”当选美国工程院院士。Bertsekas博士近些年出版的书包括《概率导论》第二版（2008年与John Tsitsiklis合著）和《凸优化理论》（2009），均由雅典娜科学出版社出版。
目录
第1章 折扣问题——理论
1.1 总费用最小化——介绍
1.1.1 有限阶段动态规划算法
1.1.2 符号简写与单调性
1.1.3 无穷阶段结果的预览
1.1.4 随机的和依赖历史的策略
1.2 折扣问题——各阶段费用有界
1.3 调度与多柄老虎机问题
1.3.1 项目的指标
1.3.2 项目逐个退出策略
1.4 折扣连续时间问题
1.5 压缩映射的作用
1.5.1 极大模压缩
1.5.2 折扣问题——单阶段费用无界
1.6 折扣动态规划的一般形式
1.6.1 压缩与单调性的基本结论
1.6.2 折扣动态博弈
1.7 注释、参考文献及习题
习题
第2章 折扣问题——计算方法
2.1 马尔可夫决策问题
2.2 值迭代
2.2.1 值迭代的单调误差界
2.2.2 值迭代的变形
2.2.3 Q-学习
2.3 策略迭代
2.3.1 针对费用的策略迭代
2.3.2 Q-因子的策略迭代
2.3.3 乐观策略迭代
2.3.4 有限前瞻策略和滚动
2.4 线性规划方法
2.5 一般折扣问题的方法
2.5.1 采用近似的有限前瞻策略
2.5.2 推广的值迭代
2.5.3 近似值迭代
2.5.4 推广的策略迭代
2.5.5 推广的乐观策略迭代
2.5.6 近似策略迭代
2.5.7 数学规划
2.6 异步方法
2.6.1 异步值迭代
2.6.2 异步策略迭代
2.6.3 具有均一不动点的策略迭代
2.7 注释、资源和习题
习题
第3章 随机最短路问题
3.1 问题建模
3.2 主要结论
3.3 基本压缩性质
3.4 值迭代
3.4.1 有限步终止的条件
3.4.2 异步值迭代
3.5 策略迭代
3.5.1 乐观策略迭代
3.5.2 近似策略迭代
3.5.3 具有不合适策略的策略迭代
3.5.4 具有均一不动点的异步策略迭代
3.6 可数状态问题
3.7 注释、资源和习题
习题
第4章 无折扣问题
4.1 每阶段的费用无界
4.1.1 主要结论
4.1.2 值迭代
4.1.3 其他计算方法
4.2 线性系统和二次费用
4.3 库存控制
4.4 最优停止
4.5 最优博弈策略
4.6 连续时间问题——排队的控制
4.7 非平稳和周期性问题
4.8 注释、资源和习题
习题
第5章 每阶段平均费用问题
5.1 有限空间平均费用模型
5.1.1 与折扣费用问题的关系
5.1.2 Blackwell 最优策略
5.1.3 最优性条件
5.2 所有初始状态的平均费用相等的条件
5.3 值迭代
5.3.1 单链值迭代
5.3.2 多链值迭代
5.4 策略迭代
5.4.1 单链策略迭代
5.4.2 多链策略迭代
5.5 线性规划
5.6 无穷空间平均费用模型
5.6.1 最优性的充分条件
5.6.2 有限状态空间和无限控制空间
5.6.3 可数状态——消失的折扣方法
5.6.4 可数状态——压缩方法
5.6.5 具有二次费用的线性系统
5.7 注释、资源和习题
习题
第6章 近似动态规划：折扣模型
6.1 基于仿真的费用近似的一般性问题
6.1.1 近似结构
6.1.2 基于仿真的近似策略迭代
6.1.3 直接和间接近似
6.1.4 蒙特卡罗仿真
6.1.5 简化
6.2 直接策略评价——梯度法
6.3 策略评价的投影方程方法
6.3.1 投影贝尔曼方程
6.3.2 投影方程的矩阵形式
6.3.3 基于仿真的估计方法
6.3.4 LSTD、LSPE 和TD(0) 方法
6.3.5 乐观版本
6.3.6 多步基于仿真的方法
6.3.7 提要
6.4 策略迭代问题
6.4.1 基于几何采样的搜索增强
6.4.2 基于离线策略方法的搜索增强
6.4.3 策略振荡——震颤
6.5 聚集方法
6.5.1 基于聚集问题的费用近似
6.5.2 通过增广问题的费用近似
6.5.3 多步聚集
6.5.4 异步分布聚集
6.6 Q-学习
6.6.1 Q-学习：随机值迭代算法
6.6.2 Q-学习和策略迭代
6.6.3 Q-因子近似和投影方程
6.6.4 最优停止问题的Q-学习
6.6.5 Q-学习和聚集
6.6.6 有限阶段Q-学习
6.7 注释、资源和习题
习题
第7章 近似动态规划：无折扣模型及推广
7.1 随机最短路问题
7.2 平均费用问题
7.2.1 近似策略评价
7.2.2 近似策略迭代
7.2.3 平均费用问题的Q-学习
7.3 一般问题和蒙特卡罗线性代数
7.3.1 投影方程
7.3.2 矩阵逆合迭代方法
7.3.3 多步方法
7.3.4 最优停止的Q-学习的推广
7.3.5 方程误差方法
7.3.6 倾斜投影
7.3.7 推广聚集
7.3.8 奇异线性系统的确定性方法
7.3.9 奇异线性系统的随机方法
7.4 在策略空间的近似
7.4.1 梯度公式
7.4.2 通过仿真计算梯度
7.4.3 梯度评价的关键特征
7.4.4 策略和值空间的近似
7.5 注释、资源和习题
习题
附录A 动态规划中的测度论问题
A.1 两阶段例子
A.2 可测问题
1.1 总费用最小化——介绍
1.1.1 有限阶段动态规划算法
1.1.2 符号简写与单调性
1.1.3 无穷阶段结果的预览
1.1.4 随机的和依赖历史的策略
1.2 折扣问题——各阶段费用有界
1.3 调度与多柄老虎机问题
1.3.1 项目的指标
1.3.2 项目逐个退出策略
1.4 折扣连续时间问题
1.5 压缩映射的作用
1.5.1 极大模压缩
1.5.2 折扣问题——单阶段费用无界
1.6 折扣动态规划的一般形式
1.6.1 压缩与单调性的基本结论
1.6.2 折扣动态博弈
1.7 注释、参考文献及习题
习题
第2章 折扣问题——计算方法
2.1 马尔可夫决策问题
2.2 值迭代
2.2.1 值迭代的单调误差界
2.2.2 值迭代的变形
2.2.3 Q-学习
2.3 策略迭代
2.3.1 针对费用的策略迭代
2.3.2 Q-因子的策略迭代
2.3.3 乐观策略迭代
2.3.4 有限前瞻策略和滚动
2.4 线性规划方法
2.5 一般折扣问题的方法
2.5.1 采用近似的有限前瞻策略
2.5.2 推广的值迭代
2.5.3 近似值迭代
2.5.4 推广的策略迭代
2.5.5 推广的乐观策略迭代
2.5.6 近似策略迭代
2.5.7 数学规划
2.6 异步方法
2.6.1 异步值迭代
2.6.2 异步策略迭代
2.6.3 具有均一不动点的策略迭代
2.7 注释、资源和习题
习题
第3章 随机最短路问题
3.1 问题建模
3.2 主要结论
3.3 基本压缩性质
3.4 值迭代
3.4.1 有限步终止的条件
3.4.2 异步值迭代
3.5 策略迭代
3.5.1 乐观策略迭代
3.5.2 近似策略迭代
3.5.3 具有不合适策略的策略迭代
3.5.4 具有均一不动点的异步策略迭代
3.6 可数状态问题
3.7 注释、资源和习题
习题
第4章 无折扣问题
4.1 每阶段的费用无界
4.1.1 主要结论
4.1.2 值迭代
4.1.3 其他计算方法
4.2 线性系统和二次费用
4.3 库存控制
4.4 最优停止
4.5 最优博弈策略
4.6 连续时间问题——排队的控制
4.7 非平稳和周期性问题
4.8 注释、资源和习题
习题
第5章 每阶段平均费用问题
5.1 有限空间平均费用模型
5.1.1 与折扣费用问题的关系
5.1.2 Blackwell 最优策略
5.1.3 最优性条件
5.2 所有初始状态的平均费用相等的条件
5.3 值迭代
5.3.1 单链值迭代
5.3.2 多链值迭代
5.4 策略迭代
5.4.1 单链策略迭代
5.4.2 多链策略迭代
5.5 线性规划
5.6 无穷空间平均费用模型
5.6.1 最优性的充分条件
5.6.2 有限状态空间和无限控制空间
5.6.3 可数状态——消失的折扣方法
5.6.4 可数状态——压缩方法
5.6.5 具有二次费用的线性系统
5.7 注释、资源和习题
习题
第6章 近似动态规划：折扣模型
6.1 基于仿真的费用近似的一般性问题
6.1.1 近似结构
6.1.2 基于仿真的近似策略迭代
6.1.3 直接和间接近似
6.1.4 蒙特卡罗仿真
6.1.5 简化
6.2 直接策略评价——梯度法
6.3 策略评价的投影方程方法
6.3.1 投影贝尔曼方程
6.3.2 投影方程的矩阵形式
6.3.3 基于仿真的估计方法
6.3.4 LSTD、LSPE 和TD(0) 方法
6.3.5 乐观版本
6.3.6 多步基于仿真的方法
6.3.7 提要
6.4 策略迭代问题
6.4.1 基于几何采样的搜索增强
6.4.2 基于离线策略方法的搜索增强
6.4.3 策略振荡——震颤
6.5 聚集方法
6.5.1 基于聚集问题的费用近似
6.5.2 通过增广问题的费用近似
6.5.3 多步聚集
6.5.4 异步分布聚集
6.6 Q-学习
6.6.1 Q-学习：随机值迭代算法
6.6.2 Q-学习和策略迭代
6.6.3 Q-因子近似和投影方程
6.6.4 最优停止问题的Q-学习
6.6.5 Q-学习和聚集
6.6.6 有限阶段Q-学习
6.7 注释、资源和习题
习题
第7章 近似动态规划：无折扣模型及推广
7.1 随机最短路问题
7.2 平均费用问题
7.2.1 近似策略评价
7.2.2 近似策略迭代
7.2.3 平均费用问题的Q-学习
7.3 一般问题和蒙特卡罗线性代数
7.3.1 投影方程
7.3.2 矩阵逆合迭代方法
7.3.3 多步方法
7.3.4 最优停止的Q-学习的推广
7.3.5 方程误差方法
7.3.6 倾斜投影
7.3.7 推广聚集
7.3.8 奇异线性系统的确定性方法
7.3.9 奇异线性系统的随机方法
7.4 在策略空间的近似
7.4.1 梯度公式
7.4.2 通过仿真计算梯度
7.4.3 梯度评价的关键特征
7.4.4 策略和值空间的近似
7.5 注释、资源和习题
习题
附录A 动态规划中的测度论问题
A.1 两阶段例子
A.2 可测问题
猜您喜欢
