凡日本货至，皆委托商家，商家负其债，故不付，多者至数万金，少者亦数千，索急则避去。日商无奈，转委托贵官家，而贵官之奸，尤甚于商。日人于近岛坐索欠债，日久不得，乏食，乃出没抄掠，贵官诬之为“倭寇”，命官府发兵驱之，复先泄于日商以示惠。他日货至，又复如此，日商大愤，乃据近岛不去，海民及衣冠之士多与之通。
1524年，托梅·皮里被明政府处死，标志着葡萄牙人想在广州海域寻找的努力暂时画上了一个句号。与明政府正面交锋受挫后，葡萄牙人逐渐放弃了武力攻华之野心，并慢慢学会了与明政府打交道。
16世纪初，明政府规定，凡造两桅以上帆船者处死。1525年，明政府命令海防官吏立即查处、拆毁所有这类船舶，并逮捕任何继续使用这种船只的海员。到1551年，在内外勾结海盗猖獗之时，任何乘一桅以上船出海者，都会被视为间谍，但对于摆脱了大西洋羁绊而进入印度洋、进而闯入这个体系的葡萄牙和西班牙商人来说，明政府的钳制之力逐渐变成了强弩之末。
双屿结盗
“西草湾之战”后，葡萄牙人销声匿迹于广海，却出现在了当时隶属于浙江宁波的双屿岛。
舟山群岛位于对日实行朝贡贸易的宁波港外围，由千余岛屿组成，岛与岛之间的海湾错综复杂。双屿位于舟山群岛东南百里，悬居海洋之中，为倭夷贡寇必经之路，扼南北航线和中日航线之要冲，是海洋天险。
最初，双屿不过是中外私商的一个季节性贸易场所，他们每岁夏季而来，望春而去。在1524年前，这里还是一个不太为人关注的地方，但之后，海盗、倭寇、殖民者搅和在一起，让这里不再平静。
葡萄牙人之所以能在东亚和东南亚撕开朝贡体系的裂口，与明朝走私商人的外部推动也不无关系。从某种程度上说，葡萄牙人通过明朝走私贸易网络，完善和延展了他们日后所需要的网络。对此，葡萄牙人加斯帕尔·达·克路士在《中国志》中曾这样叙述：
因被朝廷禁止回到中国，而不得不居住在马六甲、大泥（今北大年）等南洋群岛的海外中国人，与葡萄牙人互相勾结，私下和中国进行走私贸易，最终造成了在广东进行贸易的葡萄牙人也失去了做合法贸易的资格。为了能将贸易继续下去，进行走私贸易的海外中国人又将葡萄牙人带到了他们的亲戚朋友所居住的双屿岛。
当时浙闽海上通番之人，多从宁波双屿出洋到日本，从漳州月港出海到南洋。1517年，葡萄牙人来到漳州互市。较早来双屿从事走私贸易的主要是福建漳州、泉州商人，他们所坐的海上商船，被宁波人称为“漳船”，漳船进入宁波海域的时间大概也在这前后。
1526年，从监狱中逃出的福建人邓獠下海经商，鼓动葡萄牙商人来到双屿港，与宁波商人卢黄四等私下开展交易，这成为葡萄牙商人到宁波经商的开始。
久而久之，葡萄牙商人就在双屿定居下来。翁佳音在《十七世纪的福佬海商》中认为，浙海私商自邓獠诱使葡萄牙人到宁波进行朝贡体制外的走私贸易揭开序幕。据日本小叶田淳的研究，到1541年，漳州海面商船往来不绝，留居漳州的葡萄牙商人达500多人。
舟山群岛走私贸易的发达，是以漳州龙溪地方为主的福建人所带动的，其他各股福建海盗也是这样，譬如1548年的漳州海寇阮其实，1562年贼首洪獠、林獠、郭獠、魏獠等。
参加沿海走私贸易的宁波人主要是盐场的“灶丁”。灶丁生活在沿海地区，他们负责采办渔课，可以借采办之名，私下制造大船下海，帮双屿港走私分子搞物资运输，有的则直接参与交易。到了1532年左右，海上私人贸易公开化。宁波人万表在《海寇议》中称：“十数年来，富商大贾，牟利交通，番船满海间。”
海商势起并非一朝一夕，用明朝范表《玩鹿亭稿》中的话说，原来浙东海上无寇，“渔民也遵纪守法，不敢越雷池半步”，后来冒出一两个胆大的海商，在福建、广东的近海干起了海上渔盐的买卖。他们贿求地方官或托乡官说关，得以以小船早晚进货，“祖宗之法尚未破”，到嘉靖时，这些人勾引番船，海上寇盗纷纷而来。
1541年之前，是海上私人贸易自由发展的阶段。起初，大多数海商自买自卖，承揽货物，尚未成群，后由于强弱相凌的竞争，慢慢形成了“或五只，或十只，或十数只，成群分党，纷泊各港”的海上贸易集团。他们不但雇用本地的舵工、水手，又“哄带”日本贫穷的倭奴，“借其强悍以为护翼”，有的还与富实倭奴合伙做买卖，行迹遍布日本、暹罗、南洋等地，又兼在沿海伺机劫掠。
1538年，福建海商金子老以番舶主身份（相当于现代的国际航运公司的大老板），“据宁波之双屿”，这里才渐成气候。金子老招来了李光头和徽州人许栋、王直等人共同经营双屿，并相继引来日本私商和葡萄牙商人，双屿才逐步发展成为东亚海域最大的海上贸易中心和中外私商、海寇最大的据点。所以，德国学者弗兰克对明朝自郑和下西洋之后实行“闭关锁国”的看法表示质疑，“东南的海上贸易活动从来没有停止过。非法贸易很快就与‘日本人’（其实更多的是中国人）的海盗活动交织在一起，发展得十分兴旺，其交易量远远超过官方的‘纳贡’贸易”。
当“番舶以禁严而不至”，而“私舶以禁驰而转多”之时，政府控制的朝贡贸易慢慢让位于海上私人走私贸易。之后，许氏兄弟、李光头两大海商集团逐渐形成，成为双屿港发展史上的转折点。
1544年，王直与同乡徐惟学、叶宗满等人一同投靠在许栋门下。王直“少落魄，有任侠气。及壮，多智力，善施与，以故人宗信之”，成年后，先与徐惟学等人贩盐，后和叶宗满等人南下广东，收带硝黄、丝绵等违禁之物到达日本、暹罗等国，往来互市。1542年，他首航日本成功，并在次年为日本商人效力。在许氏集团内，他先由“管库”而至“管哨”，逐渐成为手握军权的实力派人物。
据费尔南·门德斯·平托的《远游记》记载，1540年，葡萄牙人就在双屿和浯屿建立了比较固定的“临时居留地”，搭棚交易、存货，并建有堡垒房屋，当时在双屿驻扎有1 200多葡萄牙人，浯屿则有500多人，直到1549年被逐出。除葡萄牙人、华人外，用《葡萄牙同明朝的早期关系》中的观点，在双屿港居住的至少还有日本人（倭夷）、马来人（彭亨人）、琉球人与暹罗人，甚至还有远至东非、印度的黑鬼番。
1543年，葡萄牙人到达日本九州，尔后便开展了对日直接贸易。在马六甲与日本之间，双屿成为他们理想的临时停驻和补给点，从而形成了以日本、闽浙、马六甲为支点的一个三角贸易区。在这个链条中，他们从马六甲等地贩卖胡椒、香料等东南亚商品，在双屿或者月港与当地商人交换丝绸、棉布，然后运往日本销售，换回白银，再到中国买丝或布，卖到马六甲。葡萄牙人甚至还通过果阿将货物贩卖到了欧洲，这条线成为澳葡获利最丰的黄金航线。1636年，澳葡与日贸易仍处历史的最高点，达到314万两白银。
日本白银的大量开采和出口，是在16世纪40年代以后，也就是晚明嘉靖年间。经过陕西、江南、山西等地以周忱、李敏、叶淇为代表的纳粮、租税、盐税、开中折银改制之后，中国白银货币化进程已经由税赋纳银演变到了徭役纳银阶段，市场迫切需要更多白银以满足流通的需求。因此，日本银矿出产的突然急剧增长，应该说不是孤立存在的，而是在中国巨大需求的刺激下促发的。日本对中国丝与丝织品的巨大需求，构成了日本银产量激增的动力。
就这样，在供求关系的作用下，日本成为以中国为轴心的世界白银贸易中的重要一翼，处于海盗身份背景下的海商与澳葡商人则一起搭起了这一黄金通道。
