名义征发西域各城郭国兵以及屯田的汉军。直到城外大军调动纷纷，甘延寿才惊觉，想出外製止。陈汤大怒，接剑怒叱甘延寿：“大队人马已经集结，你小子敢阻挡众军吗？”甘延寿无可奈何，就依势就势，一起部勒行阵，增加扬威、白虎、合骑三个纵队，共有军人四万多。同时，他们上书自劾矫制出兵的情状，即日出兵。
四万大军分为六队。三队从南道越过葱岭直向大宛，另外三队从北道入赤谷，经过乌孙，到达康居国境。行进中赶上康居副王带数千骑人马侵掠赤谷城，他们不仅抢夺到大批畜产，还常常侵袭汉军。陈汤命所部西域联军进攻康居副王，杀死四百多人，夺回被康居副王俘虏的赤谷城民，把俘获的牛、羊、马作为军粮。到达康居东界后，又严禁军人抢掠当地人，并与当地的康居首领饮酒为盟，谕以威信。大军势如破竹，一直到单于城六十里才停军立营。同时，当地的康居人也怨恨郅支单于的残暴，把城内匈奴人的实情尽数告知给陈汤。
转日，大军又前行三十里，扎营待命。直到此时，郅支单于才知汉兵已到眼前，慌得他急派使臣前来问询：“汉兵为什么来？”陈汤答：“天子可怜单于远弃国土，屈身于康居境内，现在派西域都护前来迎接单于一家回去，怕惊动单于，所以没有直接抵达城下。”如此，双方使节往来数次问答。甘延寿、陈汤觉得时机差不多了，攻城准备工作已经就绪，就责让郅支单于使臣：“我们为单于而远道前来，至今没有名王大人前来拜见听命，郅支单于怎么这么无礼！我们兵来道远，人畜疲惫已极，军粮又快吃完了，恐怕这样子回不去，希望单于与大臣赶紧商量回復我们。”