海上排列着180艘战船，刚开始时对居民产生了恐吓的效果。随着撒拉森军队实际情况的不断明朗，防守方也增强了自信心，开始以彻底抗战的决心来直面进攻。战斗陷入僵局。战事起于夏天，但在你来我往的持续中，冬天临近。尽管西西里地处南国，但冬天西北风仍然寒冷凛冽。原本就不擅长持久战的撒拉森人决定就此撤退，等待来春。
可是，冬天的地中海对他们并不温柔。他们在归途中遭遇猛烈的暴风雨。180艘船中竟有163艘连同船上人员一同沉没。原本要前往突尼斯所在的西南方，却漂流到了南方，仅有17艘船漂流到利比亚的黎波里。司令官阿尔·穆斯塔尼尔乘坐在这17艘中的一艘船上，保住了一条性命。
这是撒拉森海盗行动的第一次大败。惨状很快由的黎波里的地方长官通报给了突尼斯的地方长官。突尼斯地方长官接到通报立即命令“即刻送还”。
阿尔·穆斯塔尼尔被带回突尼斯，以怯懦无能致大量安拉的战士死亡为由被宣布有罪。起初他被鞭打到流血，仍不能得到宽恕。接着被绑在驴背上在城里游街，再被投进监狱。他每天被拉到监狱院中棒打。几天后的一个早晨，当士兵打开牢房门锁，再要拉他到院子里去时，发现这位前司令官已经断气了。
然而，一次惨败不会让撒拉森人打消念头。3年之后的公元732年，安拉的战士们越过比利牛斯山脉攻入法兰克，与前来迎战的法兰克王国军队作战，大败于普瓦捷近郊。伊斯兰势力在短短20年时间内征服了伊比利亚半岛，却不得不止步于比利牛斯山脉南麓。不过，打消了沿内陆征服欧洲的念头，却意味着更想从海上征服欧洲。
西西里居民成为目标，厄运连连的时代已经到来。阿拉伯人的编年史家也写道：“灾难连绵，无法逐一记录。”撒拉森人似乎也不再好高骛远，不再进攻筑有城墙的城市。他们改变了战法，用十来艘“福斯塔”船组成小型船队，出海抢劫，抢到即回，如此循环往复。
这样的战法很适合撒拉森海盗。因为是抢了就走，只要装足去程够用的淡水和粮食即可。如同现代比赛用的赛艇，只需装上最低限度的必需品，船只自然轻巧。船又是小型船，水和风的阻力都很小。船速很快，又是少量船只行动，不大会引起居民的注意。海盗船旋风一般地从海上袭来，抢夺绑架，又如旋风一样地消失在大海深处。这已成为南方岛屿西西里夏天的平常之事。
撒拉森海盗的目标不仅是西西里这个地中海最大的岛屿。随着海盗出海次数的增加，自然会有撒拉森海盗出没于与西西里近在咫尺的意大利半岛南部一带。撒拉森人还意识到可以利用西地中海中央的撒丁和科西嘉这两座岛屿。从地中海一侧进攻法兰克南部，如果失败，伊斯兰船归途可漂流到此落脚。
