获得财富的情况下，军臣单于也表示出愿与汉廷恢复和亲的意图，北境之上出现了一段暂短的和平时期。然而，汉匈之间经过长达六七十年的战争与冲突积累下来的宿怨，决非是通过恢复和亲就能够化解的，更何况所谓“和亲”只是汉高祖刘邦在平城惨败后被迫与匈奴签订的“城下之盟”，是高祖的继承者们痛心疾首，而又不能不接受的事实。到了武帝时期，经过“文景之治”积蓄下来的巨额财富与景帝平定吴楚七国后形成的强有力的中央集权，汉匈双方的力量对比已经发生了巨大的变化。
建元元年（前140年），武帝在登极的第一年，就表示出要征伐匈奴的意图，宠臣韩嫣为讨武帝欢心，在宫廷亲随侍从中率先学习骑射。这颇具戏剧性的举动，博得了童心未泯的少年皇帝的开心一笑；但在制定抗击匈奴的策略时，武帝又显现出其性格的另一侧面，以慎重的态度进行了精心的布署与安排。武帝委派李广、程不识等名将带兵镇守边郡要塞，征调戍卒巩固边防。建元三年，武帝从匈奴降人的口中得知月氏被匈奴击败西迁的消息后，敏感地察觉到这是一个联合月氏，从右翼夹击匈奴的机会，于是开始召募使者出使西域，张骞就是在这种背景下第一次出使西域。武帝为了建设一支训练有素的骑兵队伍与匈奴的强悍骑兵相对抗，在过去马政建设的基础上继续采取各种措施鼓励养马，并在北军创置八校尉，其中的屯骑、越骑、长水、胡骑四校尉即是专门为组织训练骑兵而设置的。武帝又设置了羽林骑，一面充任皇帝的侍从，一面作为培养骑兵将领的人选，召募西北六郡（陇西、天水、安定、上郡、北地、西河）擅长骑射的“良家子”及战死军士的子弟担任。经过经济、军事、外交一系列的努力，抗击匈奴侵扰的条件已经完全成熟了。
建元六年（前135年），匈奴军臣单于遣使请求和亲，武帝命群臣商议其事。大行王恢是燕人，曾长期在边郡为官，熟谙匈奴的情况。他认为匈奴每次与汉和亲，不过数年即违背约定，此次和亲也不可能维持长久，不如拒绝和亲，举兵抗击匈奴。而朝廷重臣、御史大夫韩安国却力主和亲。他认为匈奴骑兵行动飘忽迅捷，难于制御；汉军千里出击，人马乏困，匈奴却可以逸待劳，轻取汉军。何况夺取匈奴的土地、民众，也不会给汉廷带来特殊的好处，不如应允和亲。由于大多数朝臣都赞成韩安国的意见，武帝也就同意了匈奴和亲的请求。
元光二年（前133年），雁门郡马邑（今山西朔县）豪强聂翁壹通过王恢向武帝建议：匈奴刚刚与汉和亲，对汉缺乏防备，如果能示之以利，诱使匈奴深入侵掳，伏兵袭击，可以大获全胜。如果实施这一计划，就意味着汉匈关系的彻底决裂，战争将取代已经实行了六十多年的和亲政策。武帝此时也颇为踌躇，诏命群臣再次商议，于是一场更为激烈的争辩在王恢与韩安国之间展开。坚决主张出击的王恢慷慨陈辞，在回答武帝诏问时说：战国初年，代国虽小，北有强胡的侵扰，南有中原大国的威胁，君臣尚能同仇敌忾，奋勇抗击外侵；匈奴虽强，也不敢轻易侵扰代国。而如今大汉强盛，海内一统，陛下威名远扬，然而匈奴却侵扰不止，边境数惊，士卒死伤不已，载棺之车相望于道，正是因为没有坚决抗击的缘故！ 并提出诱敌南下，伏兵马邑，围歼入侵之敌的作战方案。韩安国则旧事重提，认为以高皇帝刘邦之英武圣明，尚且被匈奴围于平城达七日之久；所以不报平城之怨，是因为体恤民情，休养百姓。与匈奴和亲已历经五世，百姓习以为常，不易变改祖宗成法。何况兵革一动，天下骚动，胜负难料，不可轻率出兵！ 双方唇枪舌剑，各不相让。武帝在听取了双方的辩论之后，亲自裁定，采纳了王恢的建议。至此，断绝与匈奴和亲，全面抗御匈奴的策略最终确定下来。
同年六月，武帝先派遣聂翁壹前往匈奴诱敌，欺骗军臣单于说他能斩杀马邑长，举城而降，牲畜财物可尽归匈奴。马邑位于雁门郡南部，是当时主要的产马地区之一，也是重要的马匹交易市场，在汉初匈奴就曾为争夺马邑与汉高祖进行过一场激战，马邑先得后失，匈奴一直耿耿于怀。此时，军臣单于听信聂翁壹的一番言辞之后，竟然以为马邑唾手可得，于是亲率十万大军进入武州塞（今山西左云），向马邑方向进军。武帝派遣精兵三十二万，命令护军将军韩安国、骁骑将军李广、轻车将军公孙贺率主力部队埋伏在马邑附近的山谷中；将屯将军王恢与材官将军李息率三万多人出代郡，准备在主力部队与匈奴接战后从侧后翼袭击匈奴的辎重，断其退路，一举全歼匈奴主力。全军由韩安国统率，监护王恢等四位将军。聂翁壹这时已回到马邑，杀死一名囚徒，悬头于城下，告诉匈奴前来侦探消息的使者说已经控制了马邑城，单于可以速来掳夺。经过一番精心的安排，陷阱已经布置妥当，只等军臣单于前来送死了。
军臣单于得到使者的报告之后，兴致冲冲地率领大军向马邑方向急驰。但在行至距马邑不过百里之遥的地方，军臣单子忽然发现畜群布满了荒野，却无一人看管，对于这种反常现象甚感疑惑。恰好在此时，匈奴攻下汉一边防小亭，俘获了汉雁门尉史。在单于利剑的威胁下，尉史将汉军的计谋合盘供出。单于听了，大惊之后继而大喜，以为这是天意如此，封尉史为“天王”，下令立即退军。这一突发的事变打乱了汉军的安排，埋伏在马邑山谷的汉军主力还在等待那根本不可能到来的敌人，而王恢、李息率领三万多人，在数倍于己的匈奴大军面前也不敢单独出击。等到汉军主力得知计谋泄露，急追至边塞之时，匈奴全军早已安全退出。汉武帝与群臣精心筹划的“马邑之谋”，劳师动众，就这样无声无息地结束了。
“马邑之谋”的失败，深深刺痛了武帝的自尊心。王恢朝议时首先献策在马邑伏击匈奴，但在匈奴退兵的关键时刻又不敢果断出击，更是激怒了武帝。虽然王恢一再辩解之所以未主动出击匈奴，不是因为怯懦避战，而是事出意外，无法再按原计划行动；何况以三万之众击十万大军，必败无疑。尽管王恢的解释从军事角度讲不是全无道理，武帝的母亲王太后也亲自出面为王恢说情，然而这一切努力都无法平息武帝的怒气。王恢下狱后自知难逃一死，只得自杀身亡。
王恢自杀谢罪，“马邑之谋”功败垂成。原以为这次伏击是“百全必取”，一战即可以擒获单于，征服匈奴，实际上几十万大军同时调动，很难保守秘密；而把战胜匈奴的希望寄托在一次伏击之上，更反映出武帝与群臣对匈奴骑兵善于长途奔袭作战、应变能力极强的特点认识不足。但是武帝没有因为马邑伏击不成而动摇了反击匈奴的决心，而是更加充分地进行新的战争准备，决心再与匈奴一决胜负。匈奴军臣单于在惊魂初定之后，立刻出兵大肆侵扰，攻击边塞亭障，作为对汉军马邑设伏的报复。从此以后，北部边境战火重燃，正式揭开了汉匈长期战争的序幕。
二、河南、漠南之战
元光二年，马邑伏击匈奴失败后，武帝在震怒之下，以“首谋不进”的罪名将王恢下狱，逼迫王恢自杀。其中固然有武帝借此泄愤的成分，但也反映出武帝对指挥马邑之战的将领们的不满情绪。特别是马邑之战的主将韩安国，虽然在景帝初年就以抗击吴楚联军而闻名天下，但对匈奴素来怀有恐惧之心，老成持重有余，主动进取不足，更缺乏随机应变的能力，致使战机白白丧失。年轻气盛的天子与宿将老臣之间在对匈奴作战中的矛盾，通过马邑之战暴露出来。“有非常之功，必待非常之人”，这是武帝用人的一贯指导思想。为了物色能够担负抗击匈奴重任的人才，武帝的目光首先落到了宠姬卫子夫的弟弟卫青的身上。从此之后，卫青在众多的将领中脱颖而出，成为武帝时期抗击匈奴最重要的将领之一。
卫青是河东平阳（今山西临汾西南）人。父亲郑季是一个地位低微的平阳县小吏，在平阳公主家服役时与婢女卫媪私通，生下了卫青。作为一个私生子，卫青的童年和少年时代是在充满了歧视与冷漠的艰苦环境中渡过的。卫青成年之后，重新回到公主府，充当平阳公主的侍从骑奴。建元二年（前139年），卫青最小的姐姐卫子夫得到武帝的宠幸。后来，陈皇后的母亲，即武帝的姑母大长公主得知卫子夫怀孕，深恐威胁到其女儿皇后的地位，于是将卫青囚禁，准备处死。幸亏卫青的挚友、骑郎公孙敖得知消息，连夜带人劫狱，卫青方幸免一死。武帝知道此事后，遂任命卫青为建章监、侍中。从此，卫青摆脱了屈辱卑贱的社会地位。卫子夫被封为夫人后，卫青也晋升为太中大夫，成为朝廷的一名新贵。虽然卫青以外戚贵幸，颇有得官不正之嫌，但他在青少年时代所遭受的苦难与挫折，却为日后驰骋疆场、建功立业创造了条件。
元光六年（前129年），匈奴侵入上谷郡，杀掠吏民。卫青被任命为车骑将军，率领万骑，直出上谷抗击匈奴。同时，轻车将军公孙贺、骑将军公孙敖、骁骑将军李广各率万骑，分别从云中、代郡、雁门出塞，追击匈奴。在四将之中，李广、公孙贺均是沙场老将，而公孙敖少年从军，也经历过战争的洗礼，唯独卫青是初出茅庐的新手。但战争的结局却出乎人们的意料。公孙贺出云中后没有与匈奴遭遇，无功而还；公孙敖出代郡后被匈奴击败，损失了近七千将士，狼狈地逃回；而李广的运气似乎更坏，竟与匈奴单于主力相遇，兵败被俘，依仗过人的机智与精湛的骑射本领，夺取匈奴的战马逃回。四路大军之中，只有卫青一军在击溃侵入上谷之敌后，深入匈奴境内，直至龙城，斩获匈奴七百多人后凯旋而还。卫青初次出师就立下战功，武帝极为高兴，赐卫青爵为关内侯，以示奖掖。
经过这次战争，匈奴大肆进行报复。同年秋天，匈奴骑兵猛攻渔阳（治今北京密云西南）一带。第二年（即元朔元年，前128年），匈奴再次入侵，先攻辽西（治今辽宁凌源西南）一带，杀掠二千多人，辽西太守以身殉国。匈奴继而西进，渔阳又告危急，屯守渔阳的老将韩安国几乎全军覆灭，只好龟缩在营垒之内等待援军。匈奴铁骑在横扫辽西、渔阳之后，乘胜西进，攻入雁门，杀掠千余人。就在这危急之际，卫青再次奉命出征，率三万将士前往雁门迎击匈奴；将军李息出代郡，攻击匈奴后路，与卫青一路遥相策应。卫青率军直赴雁门后，与入侵匈奴展开激战，匈奴惨败，丢下数千具尸首狼狈逃窜。卫青二次出击均获全胜，显示出卓越的军事才能，声威鹊起，在随即展开的著名的河南之战中，理所当然地成为汉军的主帅。
汉军在元光六年、元朔元年二次大规模出兵，虽然取得了一定的战果，但毕竟是单纯的防御性作战，既没有夺取匈奴的战略要地，也没有与匈奴主力接战，匈奴的实力并没有受到严重的削弱。元朔二年（前127年），匈奴又攻入上谷、渔阳，杀掠吏民千余人。事实证明，汉军分兵把守，数路并出的作战方式并不能保障边境的安全，而且在汉军退兵之后，匈奴卷土重来，进行疯狂的报复。当时匈奴主要是在汉边境的东部连续向汉军发动进攻，但对汉朝威胁最大的却不是匈奴东部左贤王的部队，而是活动于阴山一带的右贤王与占据河南地的匈奴楼烦王、白羊王的部队。尤其是河南地，北接阴山，南距长安不过七百多里，西与匈奴休屠王、浑邪王统辖的河西地区相邻，东则威胁定襄、云中郡。自从秦末汉初冒顿单于重占河南地后，一直就是匈奴南下的基地。因此，为了切断匈奴东西二部联系，彻底消除匈奴对关中地区的威胁，夺取河南地的战略意义特别重大。匈奴也十分清楚这一点，所以左贤王的军队连续进攻汉东部边境，企图将汉军主力吸引过去，减轻汉军对河南地的压力。
元朔二年，就在匈奴连续在东部边郡制造事端，以为汉军必然应接不暇，疲于救援之时，武帝不为匈奴在东线的进攻所动，采取匈奴东击，汉军西进的作战方针，果断地发动了著名的河南战役。奉武帝的命令，卫青第三次出征，统帅数万大军从云中（治今内蒙托克托东北）沿黄河北岸向西北迅速挺进，一举攻占高阙（塞名，位于今内蒙锦杭后旗东北），切断了驻守河南地的白羊王、楼烦王与单于王庭的联系。然后卫青立刻率兵南下，沿黄河直驱陇西（治今甘肃临洮），完成了对白羊王、楼烦王的包围。等到白羊王、楼烦王察觉身陷重围之时，在河南的防线已经全面崩溃，只得率领残部西渡黄河，仓惶逃出塞外。这次战役，汉军歼敌数千人，截获牲畜十多万头，全部收复了河南地，取得了对匈奴开战以来第一次战略决战的胜利。卫青对这次战役的指挥也是极其成功的，一改汉军在以往作战中以伏击、阻击、增援为主的作战模式，整个战役都是在长途奔袭，迂回包抄的运动作战的过程中完成的，等到匈奴察觉到汉军的作战意图后，早已陷入汉军的重围，失败的大局已定。卫青也因为夺取河南地有功，被封为长平侯。
汉军攻占河南地之后，为了巩固已有的战果，武帝采纳谋士主父偃的建议，在河南地设置朔方（治今内蒙锦杭旗北）与五原（治今内蒙包头西北）二郡，命令将军苏建率领十多万人修筑朔方城（今内蒙乌拉特旗南），并重新修缮秦时所筑的旧长城。同时，从内地移民十多万人定居朔方，充实边郡人口，并调运大批粮食以补充军需民用。从此之后，河南地牢固地控制在汉廷的手中，成为汉军出击匈奴的一个重要基地。
河南地的失守及汉设置朔方、五原郡，对于匈奴是一个致命的打击，右贤王的辖区——匈奴的右部，直接暴露在汉军的面前；河南地区土地肥沃，气候温润，适于农牧业的发展，对匈奴经济影响极大。匈奴为了夺回河南地，元朔三年（前126年）冬，以数万骑兵攻入代郡，太守共友战死。夏，雁门又遭侵扰。四年，匈奴出动近十万大军，兵分三路，进攻代郡、定襄、上郡。五年，右贤王又率部侵入河南地，攻扰朔方。在短短的三年之中，匈奴连续出动大军不间断地侵扰边境，可见匈奴是多么急于夺回河南地。在这种形势下，武帝为了确保河南之战的胜利成果，于元朔五年（前124年）春又发动了漠南战役。
在漠南战役中，汉军兵分二路，主力由卫青率领，统辖苏建等四位将军，率三万骑兵出朔方，攻击匈奴右贤王部；另一支军队由将军李息、张次公率领，出右北平（治今辽宁平泉北），牵制匈奴左贤王部，从侧翼配合主力部队行动。卫青大军经朔方出高阙后，向北出边塞六七百里，直奔右贤王王庭。右贤王自以为其王庭远离汉塞，汉军绝不可能至此，没有作任何防备，而是在帐中与娇妻美妾们饮酒作乐，直喝得酩酊大醉。然而，右贤王没有料到，就在入夜之后，汉军突然发动了猛烈的攻击。尚在醉乡之中的右贤王被惊天动地的厮杀声惊醒，仅与一名爱妾及数百名骑士仓惶跨上战马，向北突围而去，其部众从裨王（小王）以下一万五千多人，牲畜十多万头都被汉军俘获。由于卫青在这次战役中功勋卓著，武帝特命使者持大将军印前往朔方，在军中拜卫青为大将军，诸将皆归属大将军统率。
漠南之战不仅确保了朔方郡的�