在巴比伦生活了五年以后（这期间他或许还去过印度），毕达哥拉斯终于踏上回乡之路。当他乘船回到萨摩斯岛时，离出发已有十九年了，比后来法显和玄奘去印度、马可·波罗到东方都要长久。毕达哥拉斯离开故乡时可谓英姿勃发，如今回来却已经两鬓斑白。刚开始，萨摩斯人表现出难得的热情，市政长官也请他向公众发表演说，介绍东方之旅的见闻，市民们纷纷涌来，他们很想听他分析强大的波斯人会不会打过来（如前文所说，这座岛屿后来果然被波斯帝国占领了）。
可是不久，岛民的狭隘意识再次显露出来。人们的态度分成了两种，年轻人认为毕达哥拉斯是一个智者，年长的人认为他是一个狂人。终于有一个与他同名的孩子迷上了解数学题，偷偷地来跟他学习，并说服了家长，这个孩子后来成为提倡运动员注意饮食的第一人。受这个学生的鼓励，毕达哥拉斯依山办起了一座“半圆学校”，虽然当地的权贵和商人不喜欢他，不过由于他在埃及赢得的声望，青年人依然纷纷涌来。
那时候希腊已有许多小酒馆，岛民最害怕的就是孤独，萨摩斯人常常自带鱼干或橄榄，向店主买来一杯酒，在那里相互传递消息。居住在山洞里的毕达哥拉斯和他的弟子们自然而然就成为被议论的对象，经过一番添油加醋，他的提问式教育方法、内容和对当地诸如祭神方式等的批评受到了讥笑甚至怒骂，其中的一大忌讳是“数就是神”。他先是被迫把教学内容改为单纯的数学，接着便把创办不满一年的学校关闭了。
记叙基督事迹的《约翰福音》里写道：“先知在本地是不受尊敬的。”毕达哥拉斯五十岁那年，不得不再次离开萨摩斯，从此没有返回过故乡。这回他决心去意大利，不过第一站是到得洛斯看望菲尔库德斯——这并非他最后一次来到这座小岛，几年以后，恩师病危，他再次赶来守护。接着，毕达哥拉斯走访了雅典、克里特岛和斯巴达城邦，后者位于希腊本土伯罗奔尼撒半岛的东南，人民以骁勇尚武著称。那时雅典尚未兴盛，而克里特已经衰落。
在伯罗奔尼撒半岛的另一头，坐落着一个叫伊利斯的城邦，四年一度的奥林匹克运动会正在那里举行。那时候奥运会已经创办了两个半世纪，虽然只有十多个项目，比赛时间却长达五天，选手们来自欧、亚、非三大洲。从奥林匹亚乘船，向西渡过更为辽阔的伊奥尼亚海，就是意大利的南方了。赛会一结束，毕达哥拉斯便搭船出发了，他所抵达的克罗托内（Crotone）位于亚平宁半岛的最南端，以盛产奥林匹亚赛会冠军远近闻名。我们甚至可以猜测，他是跟随那些得胜回家的奥运冠军们来到了意大利。
就像重返萨摩斯岛时一样，克罗托内的市政长官也邀请毕达哥拉斯向公众发表演说，没想到，这一次竟然大获成功，甚至权贵们和年长的公民也被折服了。大希腊是个多神教的国家，意大利南方最崇拜的是酒神狄奥尼索斯，人们喜欢纵情歌舞（这一习性一直保留至今，这也是意大利南方经济落后于北方的主要原因），并无太多的嫉妒之心。与此同时，有过一番经验教训以后，毕达哥拉斯成熟了许多，谈吐也更加文雅了，举手投足都显得超凡脱俗。
很快，毕达哥拉斯便有了一大批拥戴者，其中一个是跳远的奥运冠军，他把自己的哑女狄亚诺许配给了这位异乡人，两人生下了一对儿女。这样一来，毕达哥拉斯就过上了安定的生活。他先是建议市政府为缪斯（希腊神话中的一组女神，起先只是诗人的保护人，后来掌管的范围扩大，兼及包括体育在内的一切文科乃至科学）修筑了神庙，接着在郊外办起了一所被称为“城中之城”的学校或社团。
毕达哥拉斯把社团成员分成两类，分别叫毕达哥拉亚和毕达哥拉斯太：前者极具天赋，要求把财产交公，一起过公社生活；后者保留私有财产，可以和其他成员交流，相当于旁听生。稍后，又根据工作性质作了区分。例如，管理学校内部事务的叫Politikoi，这大概是后来“政治家”一词的来源，不过当时他们对政治并没有什么兴趣；专门从事几何学、天文学研究的则叫Mathematikoi，这正是“数学家”一词的希腊语原形。
作为一校之长和精神领袖的毕达哥拉斯，他的职责除了制定规章制度和管理以外，还亲自负责招募新生。凭着他的知名度和声誉，许多富商子弟或出名的人都前来投奔，其中包括连续六届奥运会摔跤冠军米隆，据说他曾在开幕式上扛着一条公牛进入会场。由此可见，古希腊人对智慧非常仰慕。大多数社团学员得经过五年的观察期，其间作为旁听生只能站在帐外，不得发言或提问，只有被称为“哲学家”后才能进入帐内。
从流传下来的雕刻或人物素描来看，古希腊的哲人大多神情严肃，毕达哥拉斯也不例外。在萨摩斯时他就要求学生们面壁思考，到了克罗内托，他又要求弟子们对授课内容和研究心得守口如瓶。有一次，一个叫希帕索斯的学生因为泄露了正十二面体的一个秘密，被逐出师门。毕达哥拉斯痛心之余，派人在海滨修筑了一处衣冠冢，他宁肯把弟子看做是已故。不过，这也成为别人攻击他的一个理由，认为这个弟子是被推下海而溺死的。
