马尔可夫决策过程引论

　　马尔可夫决策过程是研究随机环境下多阶段决策过程优化问题的理论工具，在过去的几十年中，随着生态科学、经济理论、通讯工程以及众多学科中需要考虑不确定因素和序列决策问题的大量新模型的涌现，进一步刺激了马尔可夫决策过程在理论上和应用领域中长足发展。本书从简单的例子开始，介绍了马尔可夫决策过程的基本概念、决策过程以及一些常用的基本理论。还介绍了多种最优准则，包括有限阶段准则、折扣准则、平均准则、权重报酬准则、概率准则等。从模型角度考虑了有限状态空间、可数状态空间和一般Borel状态空间；从决策时间上来说，考虑了离散时间、连续时间和半马氏决策时刻问题。本文还介绍了大量的应用实例以及建模方法。本书可作为高年级大学和研究生教材，也可作为运筹学、管理科学、信息科学、系统科学以及计算机科学和工程领域的学者和技术人员的参考书。

暂缺《马尔可夫决策过程引论》作者简介

第1章引论(1)
1.1离散时间马尔可夫决策过程模型(1)
1.2报酬过程与准则函数(2)
1.3历史(6)
参考文献(7)
第2章有限阶段(10)
2.1有限阶段最优方程(10)
2.2应用(13)
2.2.1序贯投资问题(13)
2.2.2秘书选择问题(15)
2.3模函数与单调策略(16)
文献注释(22)
参考文献(22)
第3章折扣准则(23)
3.1折扣最优方程(23)
3.1.1无界报酬条件及目标函数的存在性(23)
3.1.2最优方程(26)
3.2(ε)最优策略的性质和结构(30)
3.2.1最优策略的性质和结构(30)
3.2.2ε最优策略的性质和结构(33)
3.3逐次逼近法与策略迭代法(35)
3.3.1逐次逼近法(35)
3.3.2策略迭代法(40)
3.3.3策略迭代-逐次逼近法(41)
3.4线性规划法(45)
3.5状态逼近法(47)
3.6Blackwell最优准则(52)
3.6.1罗朗级数展开(52)
3.6.2求Blackwell最优策略的策略迭代法(54)
3.7非可数决策集(56)
文献注释(58)
参考文献(59)
第4章总报酬准则(62)
4.1模型缩减(62)
4.2报酬函数和准则函数的有限性(63)
4.2.1报酬函数的有限性(64)
4.2.2最优值函数的有限性及最优方程(66)
4.3充分条件(69)
4.4最优方程与(ε)最优策略(72)
4.5逐次逼近法(76)
文献注释(77)
参考文献(77)
第5章平均准则(78)
5.1引言和反例(78)
5.2平均准则最优方程(82)
5.2.1平均准则最优方程与(ε)最优策略(82)
5.2.2常返性条件(86)
5.2.3转换为折扣准则(88)
5.3多链马尔可夫决策过程(89)
5.3.1最优方程系(89)
5.3.2典型三重组(90)
5.4策略迭代法(97)
5.5逐次逼近法(101)
5.5.1基于最优方程的逐次逼近法(101)
5.5.2基于最优方程系的逐次逼近法(104)
5.6线性规划法(108)
5.7最优不等式(112)
文献注释(120)
参考文献(122)
第6章半马尔可夫决策过程(125)
6.1半马尔可夫决策过程模型(125)
6.1.1模型(125)
6.1.2正则性条件(126)
6.1.3准则函数(129)
6.2转换为离散时间马尔可夫决策过程(132)
6.2.1期望折扣总报酬准则(132)
6.2.2平均准则(132)
6.2.3马尔可夫型半马尔可夫决策过程(138)
文献注释(139)
参考文献(140)
第七章连续时间马尔可夫决策过程(141)
7.1连续时间马尔可夫决策过程模型(141)
7.2期望折扣总报酬准则(144)
7.3平均准则(149)
7.4非平稳期望总报酬准则(151)
文献注释(158)
参考文献(158)
第8章一般化马尔可夫决策过程(160)
8.1状态部分可观察的马尔可夫决策过程(160)
8.1.1模型(160)
8.1.2折扣准则(161)
8.1.3有限阶段(166)
8.2约束马尔可夫决策过程(169)
8.2.1单约束(169)
8.2.2多约束(173)
8.2.3哈密尔顿圈(177)
8.3多目标马尔可夫决策过程(180)
8.3.1折扣准则(181)
8.3.2折扣与平均的加权准则(186)
8.4摄动马尔可夫决策过程(190)
8.4.1摄动的非平稳平均准则马尔可夫决策过程(191)
8.4.2摄动的连续时间折扣准则马尔可夫决策过程(197)
文献注释(199)
参考文献(201)
第9章随机环境马尔可夫决策过程(206)
9.1半氏环境连续时间马尔可夫决策过程(206)
9.1.1模型(206)
9.1.2最优方程(210)
9.1.3弱收敛逼近(216)
9.1.4马尔可夫环境和位相型环境(218)
9.2半马尔可夫环境半马尔可夫决策过程(223)
9.2.1模型(223)
9.2.2最优方程(226)
9.2.3马尔可夫环境(229)
9.3半马尔可夫环境混合马尔可夫决策过程(230)
9.3.1模型(230)
9.3.2最优方程(232)
9.3.3马尔可夫环境(237)
文献注释(238)
参考文献(239)
第10章在排队/通信系统中的应用(240)
10.1排队系统的到达控制(240)
10.1.1静态到达控制(241)
10.1.2M/M/c系统的动态到达控制(242)
10.1.3一般动态到达控制(243)
10.2排队系统服务控制(246)
10.3排队网络控制(250)
10.3.1到达控制(250)
10.3.2服务控制(250)
10.3.3路径控制(252)
10.4通信网络控制(253)
文献注释(255)
参考文献(255)
第11章在其他方面的应用(257)
11.1生产/存贮系统最优控制(257)
11.2系统最优更换/维修(259)
11.2.1模型(259)
11.2.2折扣准则(262)
11.2.3平均目标(264)
11.2.4无冲击(265)
11.3质量控制(266)
11.4目标的最优搜索(268)
11.4.1固定目标的最优搜索(268)
11.4.2活动目标的最优搜索(269)
11.5柔性制造系统最优路径控制(270)
11.5.1一类流水线的最优动态负荷分配(270)
11.5.2动态路径调度(271)
文献注释(272)
参考文献(272)