再次犯罪者在这些地方受到了持续虐待，但是比起澳大利亚原住民的遭遇来说，这根本不算什么。1788年，这里的原住民有30万人。就像美洲的印第安人，他们也是白人祸患的受害者。殖民者带来了传染病，对于这种污染，原住民们没有任何抵抗力，而农耕的出现则意味着将游牧民族驱逐出他们祖先世代狩猎的家园。西印度群岛盛产蔗糖，弗吉尼亚盛产烟草，而澳大利亚则盛产绵羊。到1812年，澳大利亚的绵羊总计有290 000头，澳大利亚原住民几千年来捕猎袋鼠的灌木丛现在成了绵羊的天下。
一贯以家长式思维管理澳大利亚的麦格理希望原住民也能够像他所说的，从“散漫而一无所有的状态”转变成受人尊敬的农夫。1815年，他曾尝试让16位原住民定居在中黑德沿海的一座小农庄里，还特地为他们建了小屋，并给他们一艘船。他的理由是，如果给予恰当的工具和第二次机会，囚徒们都可以转变为模范市民的话，为什么原住民不能呢？但是，令麦格理失望的是，很快的，这些人对他设想的秩序井然的生活失去了兴趣。他们的船丢了，小屋也不要了，又返回了丛林。这种漠视与新西兰毛利人针对白人统治发起的抗争形成了鲜明对比，也使得原住民的命运无从改变。他们越是抵抗“文明”，那些渴求土地的农民便越是觉得有必要消灭他们。一位到访澳大利亚的海军外科医生就评价说，他们“唯一比野蛮人先进一些的就是他们会使用矛，他们极其暴虐，还有他们在烹煮食物时会用到火。”
范迪门岛上的原住民就这样被猎杀、囚禁，最终灭绝了，这可以说是大英帝国历史上最令人震惊的篇章，也足以用我们现在已经用滥的一个词“种族灭绝”来形容了（特卡尼尼是他们中的最后一个，死于1876年）。不幸中的万幸是，如果19世纪的澳大利亚是像美国一样的独立共和国，那么种族灭绝将在整个大陆范围内发生，而不仅仅是发生在塔斯马尼亚岛了。当小说家安东尼·特罗洛普在特卡尼尼死去的2年后走访澳大利亚时，他询问一位地方官员：
我问他，如果我迫于形势，在丛林中不得已射杀了一个黑人时……我该怎么做。我是否要去最近的警察局……还是继续游玩，就好像我不过是……杀死了一条半死不活的蛇？他的回答明确而清楚：“除了傻瓜，没人把这当回事。”
特罗洛普的结论是“他们（澳大利亚原住民）命中注定该被遗弃”。但是，大英帝国的特点之一就是中央帝制无时无刻不在努力地控制边远殖民地更肆无忌惮的屠杀冲动。出于对虐待原住民的担忧，议会于1838~1839年在新南威尔士和西澳大利亚都任命了原住民保护官。当然，这些善意的举措并不能阻止诸如1838年迈奥河大屠杀那样的暴行。当时，12名牛仔（他们中除了一人其他都曾经是罪犯）用枪和棍棒打死了28名手无寸铁的原住民。随着垦荒规模逐渐深入内地，农民和原住民之间的小规模战争持续了几十年。但是，好在英国设立了这么一个约束机制，虽然它远在伦敦，鞭长莫及，但却让英国殖民地区别于独立的殖民者共和国。要知道，当美国发起对美洲印第安人的战争时，是不受任何力量约束的。
对待澳大利亚原住民的问题，是当时一个分歧的焦点。伦敦的英国人与悉尼的英国人在该问题上态度截然相反。这也是帝国矛盾的核心。一个自诩建立在自由之上的国家怎么能因为殖民地人民的愿望与远在伦敦的立法机构相悖，就对其随意否决呢？这曾经是18世纪70年代美国的核心问题，问题的终极答案是脱离英国。19世纪30年代，这个问题在加拿大被再次提出。但这次，英国有了一个更好的答案。
