公元25年，公孙述与刘秀先后称帝，隗嚣想去探个虚实，于是公元28年，马援作为隗嚣的代表，拜访公孙述与刘秀。公孙述与马援是小时侯一起玩大的朋友，但是自称帝之后，便在老朋友面前大摆威风，炫耀自己，马援认为现在天下未定，鹿死谁手还未知，公孙述不能礼贤下士，不过是井底之蛙罢了，非英雄豪杰也。
之后，马援又拜访刘秀，刘秀以布包头，下殿相迎，完全没有皇帝的架子。马援说：“当今之世，非独君择臣也，臣亦择君矣。臣远道而来，陛下这些疏以防范，万一我是刺客怎么办？”刘秀笑道：“你不是刺客，你是说客！”马援叹服道：“天下反复，盗用帝王称号者不可胜数。今见陛下，恢廓大度，如同汉高祖，果然是真天子啊。”
这次马援与刘秀历史性的会面，明君遇到名将，真果如马援所说：“非独君择臣，臣亦择君。”马援敢于在光武帝面前说得这样坦率，也使刘秀佩服他的胆量与见识。
马援返回西州后，在隗嚣面前极力赞誉光武帝，隗嚣因为派遣长子入质，马援也随行到达洛阳。然而隗嚣并非诚心归附光武帝，首鼠两端，马援多次写信规劝，不料隗嚣却认为马援胳膊肘往外拐，背叛自己。
建武六年（30年），隗嚣发兵反汉。马援上书光武帝，以表心迹，光武帝知人善任，对马援不仅不怀疑，而且派五千骑车给马援，让马援奔走于隗嚣部将以及归附隗嚣的羌人之间，以分化瓦解隗嚣的势力。
建武八年（32年），光武帝刘秀亲征隗嚣，马援在此役中，创造了一项世界军事之最：他是世界战争史上第一次使用沙盘的将领。不过严格来说，马援并不是用沙盘，而是用米盘。由于西北的地形复杂，而马援则熟悉这里的山川分布，他用米堆成地形模型，将复杂的山川地形，用最简洁的方式直观地展示出来，为不熟悉地形的汉军击败隗嚣兵团打下了基础。这是马援对中国军事战争艺术的一大贡献。
击败隗嚣后，光武帝占据了西部地区，然而一个新的问题出现了。西部边郡金城，羌人很多，从王莽时代开始，天下大乱，羌人也趁机造反，不断向中国发动攻击，西部边郡如金城，基本上落入羌人之手。从光武一朝开始，东汉近两百的历史，羌乱一直是帝国的心腹大患，羌乱基本上与帝国相始终。羌族是一个松散却又坚忍的民族，民族性格剽悍如风，不亚匈奴。为什么羌乱极难平定，并非汉军的战斗力不行，而是战争的耗费极其惊人，大军所需的粮草、军备、武器都必须要长途输送。
金城郡毗邻陇西，陇西曾是隗嚣的地盘，马援对这里十分熟悉，所以要平定羌乱，非马援莫属。建武十一年（35年），马援临危受命，出任陇西太守，开始他独抵一面的辉煌军事生涯，这一年，马援四十九岁，志在千里的伏枥老骥，终于要放腿奔跑了。
马援走马上任，马上着手准备对羌人发动一次突袭，他率领三千名骑兵、步兵混成兵团，对临洮（甘肃岷县）的先零羌部落发动奇袭，先零羌人没有料到马援来得这么快，被打得措手不及，狼狈鼠窜，遗下数百具尸体，马援兵团首战告捷，俘获马、羊、牛等牲畜万余头。在隗嚣统治凉州时，有不少羌人归附隗嚣，而马援作为隗嚣的旧将，威名远扬，所以羌人听说东汉政府派遣马援前来，心中大骇，马援刚打完一场胜战，随即便有守卫要塞的羌人八千多人，集体向马援投诚。
与此同时，在陇西东南的武都郡，扬威将军马成也击败西羌的军队，平定了武都的羌乱。此时的羌乱中心转移到浩亹（甘肃碾伯县东），先零羌与其他羌部落数万人据守于此，四处抢掠。马援兵团与北上的马成兵团会师后，共同进剿浩亹。
羌人晓得马援的厉害，不敢轻敌，便将妻儿老小、粮草辎重都转移到允吾谷，企图据险与东汉兵团相抗衡。但马援是何许人啊，他的本事就是探测地形，制成沙盘（米盘），然后研究击破敌人的策略。马援寻找到一条秘密小道，大军连夜沿着小道开进，绕过羌人的正面防线，突然发动攻击。羌人见汉军从天而降，大惊失色，仓惶逃命，退守唐翼谷。
汉军穷追不舍，羌军据守唐翼谷北山，这里的地形易守难攻。马援足智多谋，深知正面强攻不易奏效，便使用疑兵之计，命令大军从正面佯攻，暗地里派遣数百名骑兵绕到羌军背后，等到天黑之后，乘夜纵火，然后又敲锣打鼓的，搞得震天响。羌军一听，哇，漫山遍野都是战鼓声，一时便乱了分寸，黑夜中也搞不清是怎么回事，还以为被马援兵团所包围，慌乱中夺路而逃。
马援见敌军阵脚已乱，立即下令发起总攻，羌军阵营一片混乱，跑得慢的便成为刀下之鬼，粮食辎重牲畜也顾不上了，统统留给了马援。羌军在逃跑过程中，黑乎乎的，胡乱放了一通箭，飞箭漫天乱窜，有一支箭刺穿马援的小腿，伤势不轻，马援忍痛指挥追击，共击斩羌军一千余人。
经此一役，马援将羌人的势力逐出了金城，总共只用了半年左右的时间，马援的军事才华崭露无遗。马援不仅军事水平过硬，作为地方行政长官，他的政绩可圈可点。
由于多年的羌乱，金城郡的汉人基本上都逃往外地避难了，破羌县（甘肃碾伯县西）以西的地区更是荒凉，所以朝廷一些大臣认为应当放弃破羌县以西的地区。马援一听，赶紧上书光武帝，力陈不可放弃破羌西，那里有坚固的堡垒，可以用来抵御羌人的进攻，地处湟水谷地，土地肥沃，灌溉便利，一旦放弃该地，便落入羌人之手，到时羌人进据湟水谷地，得到这片肥沃之地，那么对帝国是个大大的灾难。
马援的分析有理有据，光武帝接受这个建议。马援对金城郡的战后重建发挥了巨大的作用，流落各地的难民纷纷返回，在马援的主持下，设置行政官吏、修缮城郭、开导水田、劝民耕牧，肥沃的湟中谷地，又恢复勃勃生机。同时马援也展开积极外交，鼓动周边羌人部落前来归降汉朝，维系边疆的稳定。
金城的硝烟刚散，武都的兵戈又起。
武都是羌乱的另一个重灾区。武都地位嘉陵江上游，是汉人与氐羌杂居之地，羌人在此分布极众。东汉扬威将军马成于建武十一年击破武都羌乱，但一年后，武都最大的羌部落参狼羌，勾结塞外其他羌部落，再次引发战争，袭杀汉官吏百姓，一时间武都郡又风雨飘摇，血色满天。
平定武都羌乱的重任又落在马援身上。马援亲点四千名精兵南下，他对付羌人很有一套办法，羌人虽然悍勇无比，但是部落松散，单兵作战能力强，但没有整体作战的概念，打得顺的时候相当枭勇，打不顺时作鸟兽散，用一句话来概括，就是一群勇敢的乌合之众。汉军武器先进，训练有素，整体素质高，军纪严明，特别是马援兵团。所以羌人晓得马援的厉害，拒险而守，马援逐一击破。
马援进兵至氐道县（甘肃清水县西南），这里离边境线已经很近了，羌人部落联军如果守不住这道防线，就得撤出中国的边境。羌军占据山岭制高点，重兵防守，马援兵团在山脚下，由于地势陡峭，十分凶险，易守难攻。马援是第一流的山地战专家，羌人本多生活于山区，对山地战十分熟稔，但是很不幸遇到更内行的马援。
马援亲自到前线勘察地形，经过仔细的观察，他发现羌军在防御上出现了一个致命的错误：羌人把军营安置在山岭上，却忽视了对水源与水草的控制。马援笑道：“羌虏容易破矣！”于是下令军队占领水源与水草区，日夜守备，严阵以待。羌人这下方才领会什么叫战争艺术，原来战争的胜利，并不全靠孔武有力、胳膊粗壮来取得的，更需要凭借智慧与机谋。
汉军围而不攻，几天下来，羌人受不了了，人缺水，牲畜缺草，此时意识到问题的严重性，下山与汉军争夺水草，马援命令大军坚守，以强弓劲弩将下山的羌兵打回去。羌军几次突击都没有效果，军心大乱，士气动摇，怎么办，几大部落的首领坐一起商讨，只有一条路可以走，便是撤到塞外。这样马援以极小的代价迫使羌军撤出中国边境，仍然留在武都郡的羌军一万多人，集体向马援投降。
至此，陇右羌乱全部平定，东汉的西部边疆获得安定，这是马援对国家的伟大贡献之一，此后二十年，再没有羌乱。马援为东汉帝国的西部赢得二十年的安定，不要小看这二十年，在东汉帝国一百九十六年的漫长历史中，汉羌两大民族没有兵戎相见最长的时间间距，就是马援平羌后的这二十年。
我们来对比一下马援金城、武都平羌战中的三次山地战。第一次是允吾谷之战，马援采用的方法是寻找到一条秘密山道，发奇兵突袭，大破羌军；第二次是唐翼谷之战，马援采取疑兵之计，绕行到羌军背后，纵火烧山，又虚张声势，造成汉军无处不在的假象，这也是一种心理战；而第三次氐道县山岭之战中，马援则切断其水源与水草，坐困敌军，使优势敌军数日之内便崩溃瓦解。
同样是山地战，每一战的战法都不同，打山地战本来是汉军所短，但是马援每次打山地战都拿捏得恰到好处，似乎胜利得之甚易，甚易的背后，是马援精深的军事思想，充分地审时度势，利用地形，化不利条件为有利条件，既有奇袭战，又有心理战，又有经济战，这不禁令人想起另一位伟大的将领赵充国，马援与赵充国一样，决胜于无形之境，真是深得兵家思想之精髓啊。
马援在陇西太守一职上干了六年，政绩卓著。建武十六年（40年），马援离开陇西，回到洛阳，任虎贲中郎将，就在这一年，南方发生了大规模的反叛。
叛乱发生在交趾。交趾即现在越南北部，武帝平越后，交趾并入汉帝国的疆土，光武年间，交趾出了两位奇女子，这是一对姐妹，姐姐叫征侧，妹妹叫征贰，是麊泠县土族将领的女儿，姐妹两人不爱红装爱武装，异常勇敢。
当时交趾太守叫苏定，苏定这个人的人品官品怎么样，史书上没有详细的资料，估计是用法比较深刻的官员。他曾把征侧抓起来治罪，但是史料上并没有征侧犯罪的记载，只是写：“征侧甚雄勇，交趾太守以法绳之。”这句话让人看了莫名其妙，难道就仅因为征侧是个女子，表现得太勇敢，就被苏定法办了吗？写得不清不楚。后来苏定还把征侧的丈夫诗索（一说单名一字“诗”）抓起来杀了，原因同样是不清不楚。
这样，失去丈夫的征侧伙同其妹妹征贰，聚众起兵，攻打苏定，苏定落荒而逃。随即九真、日南（此二郡均位越南中部）、合浦（位于广西）三郡越人纷纷起兵，响应征侧，反叛的烽火熊熊燃烧，很快越人占据了六十五座城邑，共推征侧为王，后来被称为“征王”。
而对征侧势力的膨胀，交州刺史以及诸郡的太守没有力量反击，仅得以自守。
面对南方日益恶化的局势，光武帝一面下诏勒令南方诸郡修车船、通道路、架桥梁，储粮谷，进行战争前的准备，另一方面，委任马援为南方远征军的总司令，头衔为“伏波将军”，前汉也有一位著名的“伏波将军”，便是平定南越的名将路博德，光武帝用意深远，期勉马援能象路博德一样，平定南方。事实上，马援的功业要远超路博路，以致后人用“伏波将军”这一称呼时，更多是指马援而非路博德。
马援统率大军南下，然后沿着海岸线前进，遇山开路，遇水搭桥，就这样艰难地行进了一千多里，终于到了交趾。建武十八年（42年）春，马援兵团进抵浪泊（越南河内附近的西湖），在此与征侧的大军相遇。虽然交趾人英勇作战，但这群乌合之众敌不过久经沙场的老将军。马援大破征侧军队，斩首数千级，降者万余人。
征侧姐妹不得不后撤至禁溪，马援穷追不舍，屡战屡胜，二征的军队全部瓦解，四处逃散。征侧姐妹拒绝投降，躲进深山老林中继续抵抗，直到第二年（43年）的二月初二，征氏姐妹逃到福禄县的喝门社，此时马援兵团已将此地团团围困，征氏姐妹走投无路，投喝江自尽，随后首级被斩下，传送洛阳。
征侧、征贰姐妹，历来被越南人视为民族英雄，她们是女中豪杰，但遇到马援，失败是注定的。此次交趾的反叛，并没有强大的武力作为后盾，然而交趾远离中原，汉军行军作战是极其艰难的，马援兵团纵横数千里，作战时间超过一年，交趾遍布热带丛林，瘴气湿重，毒虫出没，对北方而来的汉军是一个巨大的威胁。马援用“下潦上雾，毒气重蒸”八个字来描述这种令汉军极度不适应的自然环境。然而马援兵团一路克服了这些障碍，并且掌握了一些防御瘴气的方法，比如说食用一种叫薏苡的植物，可以轻身省欲，抵御瘴气的侵害，尽可能地减少非战斗性减员。
征侧覆亡后，战争并还未结束。征侧的部将率残众南逃到九真郡，马援率战舰二千余艘，战士二万余人，从海路南下，登陆后向最后的叛乱者发动最后一波打击，从无功到居风，一路横扫，斩俘敌军五千余人，南方诸郡的叛乱，至此全部平定。
马援平乱后的政绩仍然可圈可点，他在交趾、九真等地为当地百姓做了不少事，修城郭，兴修水利工作用以农业灌溉，完善当地的法律制度。他还在交趾立了根大铜柱，上面刻了六个字：“铜柱折，交趾灭。”后来交趾人路过这里时，就用石头堆在铜柱下，久而久之，这根铜柱就被埋在石头之下了，现在已经不晓得这根铜柱在何处，如果有重见天日的那一天，我们可再一次感受到大汉帝国强悍与威严。
马援是一位伟大的军人，伟大的战士，作为一名军人，他的人生信念是：“男儿要当死于边野，以马革裹尸还葬耳，何能卧床上在儿女子手中邪？”难能可贵的是，马援践行了这种信念。
马革裹尸！这是何等的豁达，何等的豪迈！何等的气壮！
南蛮的叛乱给马援实现“马革裹尸”夙愿的机会。建武二十三年（47年），南蛮诸部落发生叛乱。这次南蛮的叛乱，可以说是汉武帝征伐南越后的余波，先是南郡蛮叛乱，光武帝派遣武威将军刘尚率军平叛，刘尚是征讨西南夷时的汉军统帅，此次出征十分顺利。时隔不久，武陵蛮也爆发了反政府武装暴动，武威将军刘尚再次挂帅出征，统率一万多人马，沿着沅江逆流而上，深入到武陵蛮的叛乱区武溪地区，多次征讨蛮族的刘尚显然对武陵蛮的力量过于轻视，轻视的后果是付出最惨重的代价。汉军一万多人陷入武陵蛮族士兵的包围之中，武陵蛮凭借对地形的熟悉与灵活多变的战术，取了一次辉煌的胜利，刘尚兵团在深山丛林中全军覆没！
消息传到洛阳，光武帝刘秀震惊了，没想到久经沙场的一万多名精兵，竟然被一群南蛮吞掉。武陵蛮兵乘胜扩大战果，转而进攻武陵郡政府所在地临沅（湖南常德），光武帝派李嵩、马成率军讨伐，但面对神出鬼没的武陵蛮，汉军竟然不知所措，找不到击破武陵蛮的方法。
南方密密的丛林、层层叠叠的山陵与湿热的气候，使得擅长在中原地区作战的汉军非常不适应。此时，已经六十二岁的老将马援自告奋勇，愿意带兵出征。的确，马援是征伐武陵蛮的最佳人选，他有丰富的山地战的经验，也在交趾、九真一带热带丛林中作战一年多，加上他卓越的军事才华，南征总司令之职，舍马援其谁？
但是马援已经六十多岁的老汉了啊，光武帝刘秀不