在这次把匈奴驱逐回蒙古高原之后，汉武帝于公元前127～前111年在甘肃建立了一系列军事统治和郡县，以防匈奴再来侵犯。建立的郡县有武威郡（凉州附近）、张掖郡（甘州附近）、酒泉郡（肃州附近）及敦煌郡，这样一来，从兰州到玉门关之间的月氏故地便处于被监视之中，使得“丝绸之路”能够畅通无阻。公元前108年，中国将军赵破奴向西北更远的地带推进，直至楼兰国（罗布泊地区）与车师国（现在的吐鲁番）。他俘获楼兰国王并战败了车师国王。几年之后，中国与费尔干纳（大宛）通商。这个国家居住着东伊朗人和萨迦人，他们向中国提供产于河中地区的优良马种。约在公元前105年，费尔干纳人对马匹的征收感到不满，于是就杀死了中国的使臣。公元前102年，中国将军李广利出人意料地率六万余人，从敦煌进军费尔干纳。当他来到该国时，所率领的军队只剩下三万人。他占领了该国首都乌斯鲁沙那（现在的乌拉秋别），将水渠破坏，直到征收足了三万余匹马后才肯退兵。
但是北方的匈奴并没有解除武装，汉武帝在他统治的末期遭遇到类似瓦鲁斯的失败。一位年轻的中国官员李陵曾向他建议出征蒙古高原。汉武帝令其率步兵五千人自中国出发，经居延、额济纳河北部支流，向北朝翁金河方向行进了30天。在达到浚稽山，即今日的吐帕施山（在土拉河与鄂尔浑河之间）时，他被八万匈奴人所包围，骑射手们向他的小股军队衝杀过来。在他战败后向中国边境撤退时，游牧民族的骑兵队紧紧地追赶着。“一日，五十万矢皆尽。即弃车去。士尚余三千余人，徒斩车辐而持之，军吏持尺刀。”但当败退的军队离中国边界只有将近50公里时，发生了不幸的事件。“抵山，入峡谷。单于遮其后，乘隅下垒石。士卒多死，不得行。”到了夜里，李陵想乘天色昏暗之际混入敌营，将单于杀死，但他失败了。士兵们只有逃亡一条路可走了。最后逃亡到达中国边界的只有400人，其余的包括李陵在内都被敌人俘虏了。这个消息传回来时，汉武帝大怒，而史学家司马迁却还要袒护这个毫无计谋的李陵，他因此受到了残酷的刑罚。李陵的失败使中国暂时放弃了在外蒙古的“反攻式侵略”政策。但这种精神上的失败（因为那里只不过是中国的次要部队）并没有使甘肃边防陷于危险境地。
值得指出的是，我们从外贝加尔省发现了匈奴人在这个时代的古物。关于这个问题，我们已经在上文讲过，最近在特罗思柯萨夫斯克附近的德烈斯都伊斯克的古墓里发现了中国公元前118年发行的钱币，以及西伯利亚的青铜牌子。据梅哈特分析，在赤塔古墓中发现的文物同样可以上溯到公元前2～公元前1世纪。外贝加尔地区是匈奴人的大后方，秋天，那里会有游牧部落突然袭击河套，以获取他们冬季所需的物品。
从此以后，在长城脚下或蒙古一带匈奴和中国就再也没有发生过公开的衝突。他们之间的争斗仅限于塔里木盆地北部的绿洲，目的是为了争夺对”丝绸之路”的控制权。公元前77年，罗布泊的楼兰国与匈奴结盟，共同反对中国的宗主权。但是不久楼兰国王被杀，中国在伊循建立了一个军事殖民地。汉宣帝统治时代（公元前73～公元前49年）中国向塔里木盆地的扩张取得了决定性的胜利。汉宣帝称：“汉家自有法度，本以霸王道杂之。”公元前71年，为援救乌孙，中国校尉常惠在伊犁河流域攻击匈奴。公元前67年，吐鲁番王国（车师）降为匈奴附国，中国都护郑吉出兵攻打匈奴。公元前65年，中国另外一位上尉冯奉世推翻了叶尔羌国王，使塔里木盆地绿洲全部臣服于汉朝。次年，中国军队从吐鲁番王国撤回，则该地又变成了匈奴的附庸，但在公元前60年，郑吉将它再次占领。郑吉在喀喇沙尔南渠犁建立了重要的军事基地后，驻扎在喀喇沙尔与库车间的乌垒，充任塔里木盆地的保护者，控制着整个塔里木地区。
最终，中国从匈奴手中夺下了“丝绸之路”的控制权。匈奴之所以毫无反攻之力是因为从公元前60年起，他们被一系列的内战所困，已经濒临衰败了。王位的两个觊觎者呼韩邪与郅支，互争单于的名号。公元前51年，呼韩邪亲自来到长安，请求宣帝支持，并宣布愿意做中国的臣仆。从公元前49年起，由于有中国的保护，他战胜了他的敌人，并于公元前43年，在鄂尔浑河畔的家族营帐里以胜利者的身份登上了王位。公元前33年，这个臣服于中国朝廷的匈奴王再次来到长安，获得了令所有野蛮人羡慕的崇高奖赏——中国公主的下嫁。至于那个战败者郅支，他于公元前44年放弃了古老的蒙古而去了西方，在今天俄罗斯的突厥斯坦寻找出路。他经过伊犁时，击败了乌孙，臣服并联合了额敏河流域的呼揭人和咸海草原上的坚昆人，侵占了索格底安那（康居）人的土地。康居人曾天真地帮助过他，使他在楚河与塔拉斯河间的草原上安置了营帐。这是一个西方匈奴大帝国的胚胎。但中国人没有给他巩固地位的时间。公元前36年，中国的一位副校尉陈汤在一次大胆的袭击中一直前进至楚河地区，使郅支措手不及而被斩首（公元前36～公元前35年）。在这次仓促事变之后，我们再也没有看见追随郅支向咸海方面逃亡的匈奴