智顗当天夜里，住到城外的禅众寺，杨广又让谘议参军柳顾言“致书请留，待来年二月，约至栖霞送别”。栖霞寺是南京的一个大寺，至今仍在。于是智顗只好在城外住了几个月。
据说和杨广不合作的，并非智顗一人，苏州虎丘的智顗琰进了慧日道场，不久也回山了。
双方在较量中，都表现出足够的耐心。数月中，杨广遣人送书，要师父不要走，还要柳顾言送礼物。请智顗在摄山度夏。僧人们夏天有三个月不出门，在庙里度过。可能从印度传来，印度酷热，因此有这习惯。但智顗还是不愿意留，又要回庐山东林寺，并请杨广为“东林峰顶两寺檀越（施主）”。
杨广答应下来，智顗又回到庐山。
智顗回到庐山，看到山下驿站，人员来往很杂，闹得山下寺庙很不清静。就致书杨广，杨广即付有司，“勒彼州令去公私使命，不得停止”。有杨广的命令，不管公私都不能在那里停留，寺庙安静了。
七月，杨广派人送去盐米，但智顗却上衡山，拜谒师父的墓去了。杨广知道后，又致书请智顗到江都做住持。智顗不做理会，十二月回到了家乡。家乡人扶老携幼到戒场去看望，智顗讲经，听众有四五千人，是荆湘之地从来没有过的。
智顗还在当阳县玉泉山建立精舍，重修十住寺，打算住在这里不走了。
据说这里本来十分荒凉偏僻，野兽蛇暴经常出没，创寺之后，决无忧患。是年春夏大旱，老百姓都说是神发怒，智顗亲自跑到泉源呼风唤雨，使谣言自灭。
他的动静很大，引起了荆州总管达奚儒的注意。再聚法会时，遭到荆州的干涉，勒令解散。
智顗只好又给杨广写信，请杨广做玉泉的大檀越，杨广再次同意。后杨广又写信给达奚儒，请他对智者及所修玉泉寺多加关照。杨广说了话，达奚儒也不好再横加干涉，情形才转好。
