马克思随后为第一国际起草了成立宣言和共同章程。在成立宣言中，马克思指出无产阶级必须起来夺取政权，才能获得自身的解放。他同时号召各国工人团结起来，共同争取斗争的胜利。在宣言的最后，马克思把《共产党宣言》中那句给力的口号照搬过来：“全世界无产者，联合起来！”共同章程则规定了第一国际的目的、任务和组织原则。第一国际的目的就是要“成为追求共同运动的光辉历程目标即追求工人阶级的保护、发展和彻底解放的各国工人团体进行联络和合作的中心”。马克思同时确定了第一国际的组织原则为民主集中制，每年举行一次国际工人代表大会，在代表大会休会期间由总委员会主持日常工作。
第一国际成立以后，就在各地成立支部，吸收工人团体和工人个体加入。同时，第一国际积极支持各国工人的斗争。1866年和1867年，英国工人举行大罢工时，第一国际就号召法国、德国、丹麦、荷兰等国的工人给予支持，拒绝接受英国资本家的招募，从而粉碎了资本家试图从国外招募工人破坏罢工的阴谋。在瑞士、法国等国工人发动罢工抗争的时候，第一国际也同样伸出了援助之手。
除此之外，第一国际还跟当时的各种错误思潮作了斗争。前期主要是对蒲鲁东主义的斗争。蒲鲁东（Pierre Joseph Proudhon，1809 1865），法国著名的空想社会主义者，他早年以一句“财产就是盗窃”闻名一时。他自称是无政府主义者，反对一切政府的存在，主张互助主义。在他的社会构想中，每个人都依据自己的自由意志追求利益，所有人享有同等身份，所有的小生产者根据自愿原则订立联合协议，“平等地”交换产品，保证小私有者不再破产。在斗争方式上，蒲鲁东采取改良主义态度，他反对一切暴力革命，反对政治斗争，也反对所有的政府和工人组织。这种小资产阶级的幻想式思想在法国和欧洲其他国家的一些工人组织中风靡一时。
1866年，第一国际在瑞士的日内瓦举行代表大会。会上，蒲鲁东主义分子遭到了大家的“围观”。大多数工人代表都认为蒲鲁东主义者反对成立工会组织和反对罢工的理论简直是奇谈怪论，凭什么工人不能起来争取自己的权益？蒲鲁东主义者还反对妇女参加生产和享有与男子平等的权利。日内瓦会议的决议最终批判了蒲鲁东式的无政府主义。
在1868年的布鲁塞尔大会上，已成强弩之末的蒲鲁东主义被予以最后一击。会议通过了马克思提出的土地问题报告，认为应该实行土地公有，反对小土地私有制。
带着小布尔乔亚情结，坚持小土地私有制的蒲鲁东主义者蒲鲁东一败涂地。
接过蒲鲁东主义大旗的是俄国无政府主义者巴枯宁（Mikhail AlexandrovichBakunin，1814 1876）。巴枯宁的思想比蒲鲁东更为“危险”，他也主张无政府主义，认为政府是资产阶级压迫人的源泉，消灭政府就消灭了资产阶级。之所以说巴枯宁“危险”，是因为他主张用暴力消灭政府。他所幻想的“暴力”手段倒类似于《终结者》中的天网，一夜之间袭来，摧毁所有政府。在进入第一国际以后，巴枯宁就开始积极策划夺取第一国际的最高领导权。在1869年的巴塞尔代表大会上，巴枯宁及其追随者处心积虑，想要把自己的人安插进第一国际总委员会，但投票结果却让他们大为失望，他们一个都没能当选。
1871年3月，由于法国在普法战争中战败，巴黎工人为保卫国家，反抗资本主义压迫，发动了著名的巴黎公社起义。这次意义重大的无产阶级革命成为一块试金石。巴枯宁主义者指责巴黎公社是“犯罪行为”，并开始拉拢一部分反对起义的人分裂第一国际。1871年9月，第一国际在伦敦举行会议，巴枯宁分子拒绝参与，并在瑞士洛桑试图另立国际。但参加洛桑会议的只有16个人，场面冷淡，令巴枯宁颜面大失。第一国际于1872年海牙大会上宣布将巴枯宁及其追随者开除出第一国际。
