冒顿立刻发动匈奴各部落游牧骑兵40余万，将白登山团团围住。并派遣特支队切断平城方面的驰援。
虽赖樊哙军拼命死战防御，匈奴军无法攻陷白登防寨，但仓促间进军粮食携带有限，没多久，刘邦军已陷入断粮的苦境。
外围的部队完全遭到阻断，更不用说运粮的后勤部队了。情况陷入万分的危急中。
幸好陈平急中生智，令随侍画工画出工笔美人像十数帧，暗中遣人送给冒顿最宠爱的阏氏，并对阏氏表示：
「汉军中有如此般美人，今皇帝被围危急，将献之于单于！」
阏氏恐美女争宠，乃答应与汉军合作。
阏氏对冒顿说：
两军作战，主将不相困，不宜逼之过急。」
先前，冒顿和王黄、赵利相期约，在平城阻断刘邦军，但久久未见王黄及赵利军到。冒顿不禁怀疑彼等和汉军间另有阴谋，乃下令放开围师之一角，意图引汉军突围，再加以歼灭，以免汉人联合内外夹击，反造成匈奴军无谓伤亡。
这时又碰到数日大雾，视线不良，汉使者趁机偷偷突围出境，来往于阏氏、平城、白登间数回，匈奴围兵竟然不觉。
陈平认为机会难得，乃下令弓弩手攻击，每隻弩用两支箭，均向外射，形成两条火线，护卫出一条安全通道，让刘邦直驱衝出。
匈奴军在大雾天遭到奇袭，急于防护，终于让刘邦和其特遣队安全衝出重围。
刘邦原下令快速逃逸，但主控军队的夏侯婴却下令慢慢行驶，因为雾中听觉优于视觉，急驶的声音反而会很容易让匈奴兵发现行踪。
由于距离不长，刘邦一行很快便到达平城，后续的军团也陆续到来，平城防务已完全强化。
冒顿判断敌我势均力敌，刘邦天运尚在，不可击也，也下令撤军北还。
刘邦碰到这次严重挫折，也无心再战，只下令樊哙驻屯代地，防范匈奴军再度南侵。
轻侮赵王，种下诸侯乱因
回军到广武，刘邦立刻下令赦免刘敬。
刘邦对刘敬致歉道：
「不听先生的话，果然在平城受困。」
乃封刘敬二千户，为关内侯，号称建信侯。
南还经过中山国的曲逆县时，见山河明媚，刘邦不禁称讚：
「这个地方真壮丽，我到过天下不少地方，只有这里可以和洛阳相比美！」
为感激陈平奇计脱险的功劳，乃更封陈平为曲逆侯，享有这里所有的食邑。
十二月，回师的军队经过赵国。赵王张敖是张耳的儿子，娶鲁元公主，所以是刘邦的女婿，乃执女婿之礼，表现得特别谦恭。
刘邦北征失败，心情一直郁闷不乐，见张敖是自己女婿，态度上便随便多了，在正式场合中，也常无意间露出无礼的举止来。
张敖倒可以忍受岳丈皇帝的越礼行为，但赵国宰相贯高及大臣赵午等人则深感受不了。
他们认为张敖太软弱了，乃强烈建议道：
「天下豪杰并起争夺天下，有能力的人自然成为领袖。今君王以礼事奉皇帝，皇帝却无礼对待，吾等愿意为君王刺杀皇上，让君王成为天下的领袖！」
张敖听了大惊，立刻咬裂其手指，以血指发誓道：
「你们为何讲这种话呢？先父张耳曾亡国，投奔皇上，幸赖皇上协助，才得復兴我赵国，这种恩德，子孙应永远铭记在心，这里所有的一切，都是皇上的恩赐啊！你们绝不可以再随便乱讲话了！」
贯高等退而商议道：
「这么讲就是我们的不对了，我们的君王不愧为长者，不愿背弃皇上的恩德，但我们和君王有君臣之义，绝不能让君王平白受辱。皇帝既辱我君王，我们便有责任刺杀之，为何要牵连君王呢？如果成功了，这个成果当然归吾君王，如果失败了，我等便应独自负责，切勿牵连君王。」
刘邦在赵国因为心闷的无意举动，却牵动了日后诸侯逐一叛变的大麻烦。
宣扬皇权，萧河大建未央宫
春天到了，气温明显回升，冒顿准备再发动大军南下，樊哙军团则全力戒备，气氛相当地紧张。
代王刘喜无法承受这股压力，申请放弃王位，返回洛阳，刘邦只得改封他为合阳候，并立自己的儿子如意为代王。
其实如意年纪太小，根本无法赴代地任职，刘邦此举只在正式宣布代国为军事管辖区，由樊哙军团直接管理。
由于没有胜算把握，刘邦无意再和冒顿强力对抗，因此嘱咐樊哙以守代攻。是以前线气氛虽紧张，却热不起来。
2月，由于萧何兴建中的长安城主殿未央宫已近完成阶段，刘邦再入关中，视察工程情况。
未央宫在长安城西南隅，周边长达二十八里，和东南的长乐宫并立。
西汉长安约在今日西安市的西北方，原长安故城位置。
宫殿南向，但上书、奏事、谒见者均由北阙进入，阙是种观门，高30丈。而且公车、司马等皇帝御用交通工具亦停留在北阙附近，是以北阙成为正门。
只有东阙，可联繫丞相府。
北阙名为玄武，东阙名为苍龙，都极为壮观华丽。
前殿（皇帝办公位置）、武库（武器储存室）、太仓（粮储存室）均极为豪华。
刚从前线吃尽苦头回来的刘邦看了，心里颇不以为然，他向萧何埋怨道：