这四个人有共同特点——与吴地有关，又能体现儒家价值观。因此狄仁杰保留了他们的祠堂。除了这四个人以外，祭祀其他鬼怪神灵的都给废除了，这里面就包括著名的大英雄项羽。从太史公司马迁开始，项羽一向是被人当做大英雄来崇拜的，再加上此人是江东人氏，在当地影响力非常大，那么废除他的祠堂，必然会在当地引起轩然大波。狄仁杰为此专门写了个《檄告西楚霸王文》，在拆毁项羽祠堂时宣读于大众面前，等于向民众解释了自己这样做的原因。我们来看看狄仁杰的如椽巨笔：
鸿名不可以谬假，神器不可以力争，应天者膺乐推之名，背时者非见机之主。自祖龙御宇，横噬诸侯，任赵高以当轴，弃蒙恬而齿剑。沙丘作祸于前，望夷覆灭于后，七庙堕圮，万姓屠原，鸟思静于飞尘，鱼岂安于沸水。赫矣皇汉，受命玄穹，膺赤帝之镇符，当素灵之缺运。俯张地纽，彰凤举之符，仰缉天纲，郁龙兴之兆。而君潜游泽国，啸聚水乡，矜扛鼎之雄，逞拔山之力，莫测天符之所会，不知历数之有归。遂奋关中之翼，竟垂垓下之翅，盖尽由于人事，焉有属于天亡！虽驱百万之兵，终弃八千之子。以为殷鉴，岂不惜哉！当匿魄东峰，收魂北极，岂合虚承庙食，广费牲牢。仁杰受命方隅，循革攸寄，今遣焚燎祠宇，削平台室，使蕙帷销烬，羽帐随烟，君宜速迁，勿为人患。檄到如律令。⑦
这篇檄文写得气势磅礴，文笔雄壮。意思是说秦朝无道，天下战乱，各路英豪中刘邦是真正的天命眷顾者，项羽只有匹夫之勇，上天并不垂青，失败是必然的。针对项羽垓下之战的那句名言“此天之亡我，非战之罪也”，狄仁杰反驳说这是你逞强不知天命的结果，所以我废了你的祠堂。这反映出狄仁杰站在儒家正统立场上的历史观。这种历史观强调的是君权天授，一切皆有定数，不是逞强可以改变的。由此可以断绝那些觊觎皇位之人的野心。
那么狄仁杰来江南这一趟就是为了和项羽等古人过不去吗？恐怕没那么简单。有学者推测，他此时来到江南，可能有一项秘密使命——查访叛乱头子徐敬业的下落。⑧甚至他写的这篇《檄告西楚霸王文》，实际上也是另有所指。
徐敬业是唐朝开国功臣李勣的孙子，李勣就是《隋唐演义》里的那个徐懋功，原名徐世勣。他是隋末农民大起义中崛起的英豪，原本是瓦岗军大将，后来归顺唐朝，在唐朝的统一战争，对突厥、高丽、薛延陀的战争中立有奇功，是当时天下数一数二的名将。
有这么一个故事——曾有人劝唐太宗修建长城以防备北方游牧民族，唐太宗呵呵一笑：“朕今委任李世勣于并州，遂使突厥畏威遁走，塞垣安静，岂不胜远筑长城耶？”⑨有了徐世勣镇守北方，唐太宗觉得比有长城还放心，可见对他的信任与器重。这里顺便说一下，在唐朝前半段国力强盛的时候，唐朝一直奉行的是积极防御的国防战略思想，经常主动出击，君臣上下都很有进取思想，对于长城这种消极防御设施历来缺乏热情，所以有唐一代300年，除了曾在北方地区短暂修建过长堑（壕沟）之外，并没有修建过长城。唐军强大的战斗力就是国之长城。
