有因此而停止入侵。当时辽东、渔阳、上谷、中山、代郡、上党、天水、扶风（治长安，今陕西西安）等郡国（大体相当于今辽宁、河北、山西、陕西、甘肃北部一带），都曾饱受匈奴的侵扰杀掠之苦，连年不得安息。因无法阻挡匈奴的入侵，东汉政府曾于建武十五年（39年）徙雁门、代郡、上谷边民六万多人至居庸关（今北京昌平西北）、常山关（今河北涞源南）以东，以躲避匈奴。左部匈奴甚至进入塞内居住，朝廷深为忧患，只得增兵防范，但收效甚微。
公元48年（建武二十四年），匈奴内部发生重大变化，正式分裂为南北二部，匈奴与汉朝的关系也随之发生根本性转变。
早在呼韩邪单于北迁单于庭之后，在漠南地区就形成了一个以八部大人为中心的政治集团，后归右谷蠡王伊屠知牙师（《汉书》作伊屠智牙师）统率。知牙师是王昭君与呼韩邪之子，单于舆之弟，后晋升为左贤王。依单于继承惯例，知牙师当继舆为单于。东汉初年，单于舆与汉朝为敌，不愿意单于之位落入与汉有较深渊源的知牙师之手，欲传位于子，因此杀知牙师，立子为左贤王，漠南八部大人及乌桓均归右奥鞬日逐王比统辖。比见单于舆冤杀知牙师，口出怨言：“单于继位，以兄弟言之，右谷蠡王（指知牙师）当立；以子言之，我乃前单于（指乌珠留单于）长子，当立。”比心怀怨恨，同时惧怕被杀，因此很少参加龙庭会议。单于舆也察觉比有异志，于是遣两骨都侯至漠南，监护比所部兵。
建武二十二年（46年），单于舆死，子左贤王乌达鞮侯继立，不久亦死，弟左贤王蒲奴继位。其时匈奴因连年旱蝗成灾，赤地千里，草木尽枯，饥疫流行，人民牲畜大批死亡。蒲奴单于害怕汉乘其疲敝之时袭击，于是遣使至渔阳郡（治今北京密云西）请求和亲，试图缓和与汉的紧张关系，光武帝也遣中郎将李茂回报。乌桓见匈奴势衰，不愿再依服匈奴，于是出兵攻击匈奴，蒲奴单于不敌，率部众向北迁徙，对漠南实际上失去了控制。统率漠南的右奥鞬日逐王比见继单于之位无望，愈益愤恨，于是在建武二十三年（47年）密遣汉人郭衡奉匈奴地图至西河太守处请求内附。监护比部兵的两骨都侯发觉比有异志，遂于赴五月龙庭大会时密报单于，建议诛比。不意消息走露，比集合八部四五万人自卫，蒲奴单于发万骑攻之，见比兵力强盛，不敢进兵而还，双方关系彻底决裂。
建武二十四年（48年）正月，漠南八部大人共议立比为呼韩邪单于。以比祖父呼韩邪单于附汉得安，故而沿袭其号，以示与汉和好之意。比亲至五原塞外，表示要“永为蕃蔽，捍御北虏（指北匈奴）。”自东汉初年以来，匈奴连年入侵，朝廷穷于应付，耗费甚巨；而今匈奴分裂，南匈奴自愿为汉保卫边塞，于汉无疑是有利之举。当时朝内一些大臣不相信南匈奴附汉的诚意，坚持利用匈奴分裂之机出兵攻灭匈奴，光武帝为安境息民，决不允许挑起战端，于是采纳五官中郎将耿国的建议，应允了南匈奴通好的请求，从而确定下扶持南匈奴，抗击北匈奴的基本策略。事后汉匈关系的发展进程，证明了光武帝这一决策是正确的。
同年冬十月，在东汉政府的支持下，比自立为呼韩邪单于，即醢落尸逐鞮单于。从此，匈奴正式分为南北二部。由于南单于归附汉朝，北境再无侵扰之患；位于匈奴东北的乌桓、鲜卑，过去常追随匈奴入塞侵扰，见南匈奴附汉后，也遣使至洛阳朝贡，北境愈加平静。第二年春正月，南单于比为了扩展势力，同时也为争取朝廷更有力的支持，遣其弟左贤王莫率兵攻击北匈奴，大获全胜，俘掳万余人，马七千多匹。北单于蒲奴为避南匈奴兵锋，退却近千里。三月，南单于遣使至洛阳，请求朝廷派使者监护，愿遣侍子入朝，复修呼韩邪单于故约。建武二十六年（50年）春，光武帝遣中郎将段彬等使南匈奴，于五原（治今内蒙包头西）西部塞设南单于庭，始置“使匈奴中郎将”，率兵护卫南单于。同年秋天，南单于比遣子入侍，光武帝依诸侯王之制，授南单于比黄金质玺绶，另赐衣裳、冠带、车马、黄金、锦绣、缯布等财物珍宝，又从河东郡转输粮食二万五千多斛，牛羊三万六千多头赈济南匈奴部众。不久，因南单于与北匈奴交战不利，光武帝命将南单于庭徙至西河郡美稷（今内蒙准格尔西北），设置官府，命中郎将段彬等驻居西河郡，由西河长史率二千骑兵、弛刑（被赦免的囚徒）五百人，协助段彬等护卫南单于。随着北境战事的停止，东汉政府将以前因战乱内徙的边民迁回故地；同时，为了使南匈奴担负起护卫北境的任务，光武帝允许北地、朔方、五原、云中、定襄、雁门、代郡、上谷等八郡由南匈奴部众放牧居住，南匈奴诸部王也率领其部众协助诸郡县戍守，侦察北匈奴动静。嗣后，东汉政府几乎每年都要给予南匈奴巨大的财政支持。据袁宏《后汉纪？和帝纪》记载，用于南匈奴的费用每年竟高达钱一亿九千万之巨。
在东汉政府的全力支持下，南单于的统治趋于稳定，势力不断增强。在这种形势下，北单于十分惶恐，归还了一些以往被掠的汉民，以通善意；发兵击南匈奴时，骑兵每经过汉边塞亭障，总是声称是追击亡虏右奥鞬日逐王（指南单于比），决非敢侵犯汉民。确实，此时在漠北的北匈奴处境十分困难，南匈奴的自立不仅使其丧失了漠南一大片水草丰润的土地，经济上陷入窘境，势力大衰，而且还时常受到北面丁令、东面乌桓、鲜卑、南面南匈奴的夹击，迫使北匈奴的势力逐渐向西部转移，以加强对西域诸国的控制。为了摆脱困境，北匈奴于建武二十七年（51年）首次遣使至武威郡请求和亲。光武帝命群臣廷议，一时争论不休，皇太子（即明帝刘庄）认为南匈奴新附，如接纳北匈奴，恐南匈奴生疑，反生事端。光武帝采纳太子之议，命令武威太守拒绝其使。其后，建武二十八年、三十一年，北匈奴二次遣使入朝贡献，复请和亲，要求与汉互市。光武帝考虑到与南匈奴的友好关系，只是颇加赏赐，善言回报，不遣使者，拒议和亲与互市之事。
明帝即位之后，北匈奴因和亲与互市不成，发兵攻掠边塞，均被南匈奴与汉军击退。永平七年（64年），北匈奴似乎对和亲之事已经绝望，所以遣使入汉后，仅请求与汉互市。明帝不希望因拒绝互市而重起边衅，于是遣使回报，允许互市交易。互市虽然对匈奴与汉民均有益处，但汉与北匈奴通使，引起了南匈奴上层一些人的猜疑，须卜骨都侯等人准备借机叛乱，于是暗中与北匈奴联络，请求北匈奴出兵援助。这一图谋被朝廷及时发觉，于是在永平八年设置“度辽营”，以中郎将吴棠行度辽将军事，将兵屯于南单于庭西北的曼柏（今内蒙东胜东北），又调骑都尉秦彭将兵屯南单于庭，以防须卜骨都侯的叛众与北匈奴交通。同年秋天，北匈奴果然发兵二千骑，携带马革船，准备从朔方渡过黄河迎须卜骨都侯的叛众，因见汉军防范严密，无隙可乘，失望而归。迎叛不成，北匈奴单于蒲奴恼羞成怒，屡次发兵大肆攻掠诸边郡，焚烧城邑，杀掠吏民，河西郡县城门连白天也得紧闭设防。
北匈奴不断侵扰边郡，终于迫使明帝下决心进行反击。永平十五年（72年），奉车都尉窦固等将兵出屯凉州（治今甘肃张家川），预示着与北匈奴的最后决战即将爆发。
三、最后一战——金微山之战
在两汉之际的汉匈冲突中，匈奴铁骑频繁地出没于汉北境之上，几乎整个北境都受到程度不同的骚扰，西域也重入匈奴的彀中。然而，汉匈传统的战场——河西地区却保持着安宁的局势，这与割据河西，据境自保，被当地豪强推为行河西五郡大将军事的窦融有直接的关系。匈奴曾试图重占河西地区，均被窦融击退，此后不敢再染指河西。建武五年（29年），窦融归顺光武帝，被任为凉州牧，继续镇守河西，后虽奉调入朝，但河西大局已定，匈奴无隙可乘，光武帝得以集中兵力在北境抗御南侵之敌，无西顾之忧。但在公元48年之后，随匈奴的南北分裂，汉匈战争的态势发生重大变化。北匈奴南侵的路线被亲汉的南匈奴所阻断，其东北部又受到乌桓、鲜卑的压迫，被迫向匈奴右部转移，企图利用西域诸国的人力物力资源继续与汉为敌。在这种形势下，西域与河西地区所在的凉州及并州西部就成为汉匈交锋的主战场。或许是因为窦氏久在河西地区的缘故，东汉时二位与北匈奴作战的有名将领窦固、窦宪，都出于这个威名显赫的家族。
永平十五年，明帝决心出击北匈奴，遂命显亲侯窦固等大臣议击北匈奴事。谒者仆射耿秉认为，武帝时占据河西，分离羌、胡，西域内属，最终迫使匈奴归附。当前汉匈形势与武帝时期颇为相似，北匈奴之所以猖獗，是由于重占西域的缘故。因此，耿秉建议汉军先出击白山（天山山脉东端），攻占伊吾，击破车师，重新经营西域，以断匈奴右臂，然后可战胜北匈奴。明帝完全同意耿秉的见解，因窦固曾随伯父窦融在河西，明习边事，所以任命窦固为奉车都尉，骑都尉耿忠为副将；耿秉为驸马都尉，骑都尉秦彭为副将，率兵屯于凉州。
永平十六年春二月，汉发兵数万人，分兵四路，同出塞击北匈奴。窦固与耿忠出酒泉塞，与北匈奴呼衍王战于天山，斩首千余级，追击至蒲类海，攻占伊吾城，留守一些士卒屯田后班师回塞内。其余三路汉军因北匈奴闻风而逃，均无功而返。正是在此次战役中，窦固发现假司马班超颇具军事才能，遂命其率三十六名随员出使西域。从此，班超开始了经营西域漫长而又艰苦的历程。十七年冬，窦固等率一万四千骑出敦煌昆仑塞（今甘肃安西），于蒲类海大败北匈奴白山部，乘胜攻占车师前后国，复置西域都护与戊己校尉，恢复了汉在西域中断近六十余年的统治。十八年春，窦固奉诏罢兵，回到京师洛阳。就在窦固大军离开西域之后，北单于蒲奴立即遣左鹿蠡王率二万骑前来争夺车师前后国，都护陈睦、戊校尉耿恭、己校尉关宠被匈奴及耆焉等国分别围攻，形势非常危急。恰在此时，明帝去世，朝廷无暇出兵增援西域。结果陈睦、关宠先后战死，仅剩耿恭死守疏勒城，顽强抗击着北匈奴大军与车师兵的围攻。耿恭智勇兼备，对士卒推诚相待，同生共死，深得士卒拥戴，故能同心死守孤城。久围粮尽，煮铠甲、弓弦为食。北单于派使者前来劝降，许封耿恭为白屋王。耿恭不为所动，将匈奴使者诱上城头亲自斩杀。北单于大怒，急攻疏勒城，但始终不能如愿。等到次年章帝即位后，派出援兵解疏勒之围时，耿恭部众死伤殆尽，仅剩下二十六人。章帝见西域形势严峻，决定再次放弃西域，撤销西域都护及戊己校尉。此时，如果不是班超抗旨不遵，自行决定留守西域，汉朝的势力将再次完全退回到玉门关以内。
虽然汉军在西域遭受一些挫折，但北匈奴的处境却更为困难，不仅要防备汉军、南匈奴、乌桓及鲜卑的进攻，还得忍受天灾的袭击，真是内外交困，苦不堪言。建初八年（83年），北匈奴三木楼訾大人稽留斯等率部众三万多人至五原塞附汉，开启了北匈奴部众大规模叛逃的先例。元和元年（84年），北匈奴驱赶牛马万余头前来与汉贾互市，结果又被南匈奴轻骑截夺，经济损失惨重。尔后，北匈奴大人车利、涿兵等纷纷降汉，仅元和二年一年，北匈奴内附者就有七十三批之多。众叛亲离的结果，致使北匈奴的势力愈加衰落。章和元年（87年），鲜卑又趁火打劫，攻其左地，杀优留单于，北匈奴大乱，屈兰等五十八部，二十多万人南下降汉。章和二年，北匈奴骨都侯等立优留单于异母兄右贤王为单于（史失其名），其兄弟为争单于之位，内部又发生分裂，加以饥蝗成灾，其部众南下附汉者络绎不绝。同年七月，南匈奴休兰尸逐侯鞮单于见北匈奴已山穷水尽，遂上书请求与朝廷共同出兵攻灭北部，统一匈奴，彻底消弭边患。此时章帝刚刚去世，年幼的和帝即位，窦太后临朝执政。南单于上书后，窦太后征询执金吾耿秉的意见。耿秉认为：武帝时就欲臣服匈奴，可惜未逢其时；如今匈奴分裂，正是彻底臣服匈奴的大好时机，不可错过。窦太后采纳其议，命其兄窦宪与耿秉统兵于明年出击匈奴。不料此事却引起以司徒袁安为首的朝臣们的激烈反对，纷纷上书劝阻，反复谏诤十多次。窦太后不为所动，出征北匈奴的大政最终确定下来。正是在这种历史机遇下，曾被章帝痛斥为“腐鼠”的窦宪成为三百年汉匈战争的终结者。
窦宪是窦融的曾孙，祖父窦穆娶光武帝女内黄公主，父窦勋娶光武帝子东海王刘强女沘阳公主。祖、父二人尚公主，居高官，权倾一时，终因干乱政治、交通奸滑而获罪，父子俱死于狱。此时窦宪年少，又为罪官之后奇…书…网，仕途本已无望。但在建初二年（77年），因妹妹立为章帝皇后，窦宪被拜为郎，迁为侍中、虎贲中郎将，从而春风得意，权势熏天，竟然强夺明帝女沁水公主园田。此事后为章帝知晓，痛斥窦宪为“腐鼠”，方将园田归还。章帝死后，和帝年幼，窦太后秉政，窦宪参议国家机要，权势更盛。因见风流倜傥的都乡侯刘畅赢得年轻太后的欢心，害怕分其权力，窦宪遂遣刺客将刘畅杀死。太后痛惜情夫被害，将窦宪囚于内宫，准备严惩。窦宪恐怕被诛，于是上书求击匈奴以赎罪。于是窦宪被拜为车骑将军，执金吾耿秉为副将，发北军五校、黎阳、雍营、沿边十二郡骑及羌、胡兵击北匈奴。
永元元年（89年）六月，窦宪、耿秉率八千骑与南匈奴左谷蠡王师子率万骑出朔方鸡鹿塞（今内蒙磴口西北），南单于亲将万骑出满夷谷（今内蒙包头北），度辽将军邓鸿率羌胡八千骑与南匈奴左贤王安国率万骑出祻阳塞（今包头东），三路大军约定在涿邪山会师。窦宪率大军出塞之后，分遣副校尉阎磐、司马耿夔等与左谷蠡王师子率精兵一万余骑，于稽落山大败北单于军，其部众四处溃散。北单于率残部逃遁。窦宪率大军随后追击，又大破北匈奴诸部，直追至私渠比鞮海（今蒙古乌布苏泊），斩首名王以下一万三千多级，掳获牲畜近百万，前后招降八十一部二十多万人。窦宪统率大军出塞三千多里，大获全胜，乘兴与部属登上燕然山，令幕府中护军班固作铭，勒石纪功。班固在《封燕然山铭》中赞扬窦宪与耿秉率“鹰扬之校，螭虎之士”，千里奔袭，“陵高阙，下鸡塞，经碛卤，绝大漠”，取得了显赫战绩，“蹑冒顿之区落，焚老上之龙庭”。宣称这次远征北匈奴即可以雪“高、文之宿愤，光祖宗之玄灵”，又可以“安固后嗣，恢拓境宇，振大汉之天威。”显然，窦宪等人已经认识到此役是最终战胜匈奴的关键一战，所以班固声称此役之后，可以“一劳而永逸，暂费而永宁。”事实确实如此。此役是汉匈长达三百年的战争中最后一次战略大决战。北匈奴经过这次沉重的打击之后，主力部队损失殆尽，在漠北的统治实际上已经崩溃，北单于被迫西迁，从而离开匈奴人曾经纵横三百年的大漠，开始了坎坷的西迁历程。
窦宪在燕然山铭功后率大军返朝，班师途中又遣军司马吴汜、梁讽携带金帛西行，准备招降北单于。这时北单于已经逃到西海（今巴尔喀什湖）之上，北匈奴内部乱作一�