一个年轻皇帝，对内要对付中国历史上规模最大、历时最久的一次农民大起义，对外要对付武装到牙齿的英、法、美、俄世界上几个最大的资本主义强国的侵略，他感到力不从心，捉襟见肘。就咸丰帝的个人气质讲，他不是个具有雄才大略的皇帝。他不如其父道光帝，更不如其先祖康熙帝、雍正帝、乾隆帝和嘉庆帝。《慈禧外纪》说：“当时人心，皆以为满洲命运将绝，天心厌弃，全国骚然，民心渐离。士大夫心中以为不及以往之君，清世祖（顺治帝——作者案。）以下，稽古右文，学问事业，卓越前古，光耀史策，著述宏富，有裨士夫。咸丰帝则皆逊之。” 这是对咸丰帝的公正评价，也是对当时人心的真实写照。咸丰帝的政治经验、学问素养、意志品质和心理态势，都不足以应付这样的大动荡大起伏的局面。可以说，一个年轻而软弱的皇帝遇到了复杂且艰难的局势。
不仅如此，咸丰帝也是个风流天子。他继位之初，年轻气盛，也想干一番大事业，挽救岌岌可危的清王朝的统治。汉史氏说：“观其初政，非不思振作有为。曾不数年，晏安如故。” 他久居宫内，初涉政坛，对国内国外情况，均不甚了了。面对风云变幻的局势，他一筹莫展，便开始追求声色，贪图玩乐了。
他恋女色。《满清外史》载：“已而洪杨之乱日炽，兵革遍天下，清兵屡战北，警报日有所闻。奕置不顾，方寄情声色以自娱，暇辄携妃嫔游行园中。” 这里的园指的是圆明园。圆明园是一座大型皇家园林，兼有御苑和宫廷两种功能，距北京城40里。自雍正帝始，圆明园便成为清朝历代皇帝春秋驻跸之所，即是夏宫。圆明园景观各异，宛若画境。且礼节比紫禁城的要求可疏简些，皇帝为求舒适与方便，都愿意住在这里。前朝皇帝于三四月始入园，八月往木兰秋狝，然后回宫。咸丰帝比前任有过之而无不及，极为贪恋园居。他是刚过新年，即赴园。热河秋狝后尚须返园，至十二月始还宫。或者干脆不往秋狝，一直在园中住下去。其原因在于宫禁森严，必须恪守祖制，不得纵情声色。所以，咸丰帝托言因疾颐养，在园内耽延时日。园居久了，在他眼前转来转去的全是清一色的满洲女子，不免生厌，便琢磨起婀娜多姿的汉族女子来。本来清代家法极严，入关之初，顺治帝之母庄妃因福临春秋未壮，恐他日惑于女色，因于宫门外竖一块铁牌，上书：“敢以小脚女子入此门者斩。”小脚女子是指汉族女子，因满族女子是不缠足的。然上有所好，下必甚焉。祖制也是可以打破的。某奸佞大臣为阿谀逢迎咸丰帝，便心生一计，“托言天下多事，圆明园地在郊外，禁御间夜檄宜加严密。内侍既不敷用，且亲近左右，恐不能周至，今雇民间妇女入内，以备打更，巡逻寝室四周，更番为役。文宗旨允之。此数十女子，始得入内。每夕以三人轮直寝宫外，人执梆铃一，入夜则于宫侧击之。文宗因召入，随意幸焉”。 理由可谓冠冕堂皇，然不过是为满足咸丰帝的心理变态的需求而已。以后，咸丰帝在这数十名年轻貌美的汉女中挑选出更为佳丽动人的，加以位号，这就是人们所说的四春。“文宗渔色，于圆明园隅，暗藏春色，谓之四春，世竞传之。” 这四春是牡丹春、海棠春、杏花春、陀罗春。她们都是良家女子，是被迫入宫的。《清稗类钞》对四春的称呼不同：“园中侍有五春之宠，所谓天地一家春者，乃孝钦后所居。其杏花春、武陵春、海棠春、牡丹春，皆汉女分居之。” 除四春之外，咸丰帝还钟情于一位曹寡妇。这位山西孀妇，长得美妙绝伦，特别是一双小脚，不到三寸。她的鞋也与众不同，鞋底是菜玉做的，内衬香屑，鞋尖缀着光彩夺目的明珠。入宫后，“咸丰帝最眷之”。
