《小武》开始于当代电影中最出色的开场段落之一。在对白稀少的情况下，贾樟柯使用一系列镜头将我们迅速地带入主角的世界，鲜明地勾画出他的性格和职业。在第一个镜头中，我们看到远处被田野包围的一家工厂的烟囱，这正如林小平指出的，“将年轻的主角与中国的社会主义的过往联系起来”24，并且遥遥地使我们想起了小武（和中国）背后的工业-农业的过往。前景是等车的小武点燃火柴抽烟的大特写。正如贾樟柯后来解释的：“一开始我强调他的手，因为他是个扒手，是个小偷，手是他谋生的工具。”25在接下来的镜头里，我们从一个相反的角度看到小武的手，他正在点烟：
他手上火柴盒上面写着“山西”，这是为了向观众清楚地交代故事地点，这点很重要。这部电影的地域性是很重要的，我想特别强调这个故事发生在山西。因为很少有摄影机会面对像山西这样的世界、这样的环境。所以我想在一开始就强调这点。因此拍手的特写是因为他是扒手，火柴则强调故事发生在山西。26
主角伸出他的手，露出尺寸明显过大的夹克衫的衣袖，它被卷了起来，背景是一条交通要道，这条路联结着乡村和城市，也通向小武的未来。
小武迅速跳上一辆去汾阳县城区的私营小巴。当小武跳上车，我们看到了对他的手所作的另一个特写，这一次他手上显出了“有难同当”字样的文身，进一步揭示了主角不正当的身份。我们看到了主角的全身，很明显，这不是一个我们在电影中所习见的那种高大英俊的男主角形象。他的外表和衣着平淡无奇，非常契合需要隐匿于人群中的扒手身份。与此同时，小武身上所带的些许粗野、被损害的自尊和被压抑的情感，也直接挑战了好莱坞风格的男主角公式。一上了车，他就拒绝购票，声称自己是警察，然后在一个穿着毛式服装（人民装）的中年男人身旁坐下。很快，小武将左手从前面交叠的手臂下伸出，潜向邻座男人的口袋，掏走了他的钱包。电影的第一个盗窃行为（如果小武不买车票也算盗窃，那这已是第二次盗窃），是在伟大领袖毛泽东主席的眼皮底下发生的，毛泽东以小相片的形式出现（悬挂）于车的后视镜下——这个对过往充满乡愁的护身符反讽地注视着一个乌托邦的废墟。
这个开场段落可被视为电影的恰当序曲，往后的片段将转入对主角在汾阳的人际关系的探索。但正是在这个紧凑的段落里，贾樟柯已经开始视觉化地勾画主人公性格上的主要特征。我们不应该忽略这个段落中一些看似随机选择的路旁场景，例如开场镜头中一个乡村家庭在路旁候车送别他们的女儿。这个影像，属于拍摄时捕捉到的众多旁观者镜头中的一个，因其传达了“离别的悲哀”而深深地触动了导演。27这个镜头也可以看做是电影的混杂身份的另一个例子，它将本质上是纪录片的片段交织进叙事故事的结构中。然而，这个离别，并不只是对女儿的送别，它也是对乡村—— 一个时代和一种生活方式——的挥别。这种属于中国农业社会过往的一体的核心家庭同样和小武自己的破碎家庭——这将会把电影带到它的悲剧性终结——形成了直接的对照。
朋友、情人和家庭
《小武》的结构围绕着主人公与他的不同生活圈子的关系。电影的三段内容聚焦于小武和他旧日的最好朋友、他的情人和他的家庭，每一段都描绘这些关系的快速变化和解体。在第一段中，我们看到了靳小勇，他是小武儿时的朋友，也曾做过小偷，早前经常和小武在街头厮混。小勇很早就不再偷东西，经营起了更大的事业，例如贩卖香烟，开了一家歌舞厅，这使他多少成了当地的名人。随着暴发户这一新社会地位的获得，小勇疏远了自己不光彩的过去……和他的老朋友小武。正是由于小武发现自己没有被邀请参加小勇的婚礼，引发了电影的第一个冲突和人际关系的崩溃，也启动了贯穿于电影剩余部分的破坏性的多米诺效应。
