有一个细节透露了包括汉武帝在内的帝国要员们对荔枝的极度看重：汉武帝下令，修建了一座专门种植奇花异草的宫殿，宫殿名字就叫扶荔宫。但是，这座扶荔宫并没有如汉武帝所希望的那样，在夏天结出浅红色的荔枝。这些大老远从南方运来的荔枝苗不久就全部死掉，无一生存。汉武帝时代大约没有农学家，不懂得荔枝对气候和土壤有特殊要求，于是乎接下来的几年里，年年都要从遥远的南越往长安搬运荔枝苗。在绝大多数荔枝苗先后枯萎而死之后，扶荔宫中只留下了唯一的幸存者。这株硕果仅存的荔枝虽然春天不开花，夏天不结果，汉武帝仍然视若珍宝。不料，就是这唯一的一株荔枝，最后也死掉了。为此，汉武帝龙颜大怒，竟下令把负责管理扶荔宫的数十名官员悉数处死。
荔枝的绝妙口感，加上产地遥远，一枚难求，因而中原才对荔枝视若珍宝。大约从唐代开始，荔枝更为广泛地进入宫廷和达官贵人府第，但即便是权倾天下的皇室，或者享尽人间富贵的王侯将相，也只能偶尔有几颗解解馋而已，不可能像后来苏东坡被贬到岭南那样“日啖荔枝三百颗”。正因物以稀为贵，荔枝才被文人们奉为“人间第一至味”和“水果之王”。东汉文人王逸在他的《荔枝赋》中，极尽对荔枝的赞美：“修干纷错，绿叶蓁蓁，灼灼若朝霞之映日，离离若繁星之著天……口含甘液，腹受芳气。兼五滋而无常主，不知百和之所出；卓绝类而无俦，超众果而独贵。”唐朝宰相张九龄因身份特殊，得以经常进出内廷，蒙皇上垂爱，赏赐他吃过几回荔枝。张九龄把荔枝的美味讲给朋友们听，朋友们竟然不相信，张九龄于是煞费苦心地专门写了一篇《荔枝赋》作知识普及。
遍数历代名人与荔枝的关系，最为大众所熟知的，非杨贵妃莫属。其原因，大抵由于杜牧那首流传千古的绝句：“长安回望绣成堆，山顶千门次第开。一骑红尘妃子笑，无人知是荔枝来。”
杨贵妃和唐玄宗的爱情故事，自白居易的《长恨歌》以降，一直深入人心，成为中国家喻户晓的著名典故之一。为了讨心爱的女人的欢心，唐玄宗不惜千里迢迢，从遥远的南方为她运送新鲜荔枝。千年之后，到底是玄宗因溺爱贵妃而误国，还是每个王朝都有其盛极而衰的大道周行的轨迹，这已是见仁见智的事了，独有杨贵妃对荔枝的钟爱，还被人津津乐道。
