幸好，旅长徐海东知道他是个做部队思想政治工作的行家里手，十分支持黄克诚的工作。
徐海东专注于打仗，部队有人闹情绪，思想出了问题，汇报给他，他总是大手一挥，说：“找政委去！”
有时，记者来前线访问徐海东，他也说：“找政委去！”
黄克诚在军事问题上虽然尽量少讲话，但由于他已经与三四四旅同甘共苦，荣辱与共，融为一体了，所以他很快发现三四四旅作战方式有问题。
三四四旅大多沿用过去对付国民党军队的那一套打法，与日军作战，猛打猛冲，对于毛泽东提出的山地游击战并不在意，显得勇猛有余，灵活不足，战斗中多次吃亏，这支英雄之师经受了几次挫折。
1937年底到1938年初，三四四旅奉命开赴正太路以北，开展敌后游击战争，建立抗日民主政权。
这期间，三四四旅同日军进行了两次较大的战斗。
一次是盂县牛村之战。六八七团在团长张绍东指挥下，打了一场运动战。
虽然歼灭了敌人一部，但是由于我军策略、战术水平不高，部队也遭较大伤亡。
不久，三四四旅为配合晋察冀军区反“扫荡”，在平山县温汤与日军大战一场。温汤战斗，因为旅长徐海东病重，由黄克诚负责指挥。这一仗原本计划将温汤日军五百余人全歼，但是仗一打起来，各部队之间配合不好，乱了套，不仅没有在预定时间内全歼日军，反而受到增援日军的重炮轰击。由于广大干部战士缺乏避炮经验，全旅伤亡较大，六八八团团长与一营营长双双阵黄克诚为此深深自责，看到部队两次受挫，他就劝说大家研究新战法，避免再打被动仗和阵地仗。
然而，很多人听不进去。
黄克诚也不急躁，还是耐心进行说服工作。
就在这节骨眼上，三四四旅发生了一起重大政治事故。
1938年3月，三四四旅奉命南下晋东南，进入太行山区，配合刘伯承、邓小平领导的一二九师作战。
部队在山西平定、昔阳地区行军时，徐海东、黄克诚率部走在前面，由主力六八七团殿后。
六八七团团长张绍东本来是个善动脑子的红军指挥员，从红军时期到抗战初期，一直是三四四旅中的一员勇将。但是，他擅自违背中央有关抗日民族统一战线的政策，在部队驻地搞起了“打土豪”！而且从中渔利，进而嫖娼！不仅如此，他还把团参谋长兰国清拉下了水。纸里包不住火，旅部知道这个情况后，决定整顿队伍。张绍东听到消息后，心里发慌。他就把连以上干部集中起来，以看地形为名，骗出驻地。在半路上，张绍东和盘托出自己的打算，胁迫他们一起叛逃。
六八七团毕竟是支老红军主导的团队，张绍东的阴谋当即受到政工干部的抵制，不少干部也站在了政工干部一边，苦劝张绍东改变主意。
但是张绍东最终不知悔改，看见绝大多数人不想跟他叛逃，他只好带着兰国清等少数几个人逃跑了。
部队全部由政工干部拉回了旅部。
这件事令徐海东、黄克诚大为恼火，也使三四四旅这支英雄部队蒙受了耻辱。
朱德总司令闻讯，也大为恼火，这不但会影响军心士气，而且会影响八路军的声誉啊！
朱德亲自来到三四四旅指导工作，他总结性地感慨道：“部队的政治工作必须深入哟！”
一番话，使黄克诚深受震动，觉得肩上的担子更重了。三四四旅进入太行山区后，黄克诚被任命为太南军政委员会书记，与徐海东一起，指挥部队开始在太行山南段坚持抗日游击战争，放手发动群众，建立抗日民主政权。
4月间，日军纠集三万余人，分九路大举进攻晋东南地区。晋东南地区烽火连天，如何粉碎日军九路围攻成为国共两党关注的焦点。
徐海东、黄克诚率三四四旅配合兄弟部队在内线开展游击战，实行坚壁清野，使日军逐步陷入处处扑空、饥饿疲惫和被动挨打的境地。
三四四旅历经长乐村、虒亭镇、张店镇等战斗，给予日军以有力打击，在反“九路围攻”作战中显露锋芒。经过二十三天的反击，日寇的九路围攻被完全粉碎。
7月6日。沁河畔町店。
骄阳似火，路旁的柳树无精打采，柳枝低垂，仿佛睡了一般。
随着阵阵轰鸣声，数十辆汽车从远处蠕动而来。膏药旗斜插在驾驶窗旁，迎风作响。
汽车队在町店停了下来，一群群日本鬼子从车上钻了出来，叽哩咕噜一阵之后，四散开来。有的脱下衣裤，下河洗澡；有的坐在树荫下睡觉休息。
一个个松懈、懒散，毫无生气。知了声声，燥热难安。
町店四周的制高点上，三四四旅已经埋伏很久了。日军的一举一动，尽数映入大家的视野。
得知日军第一○八师团主力驰援沿同蒲路南犯日军的消息后，八路军总部立即命令徐海东、黄克诚率三四四旅在晋城以西地区截击西援日军。
徐海东、黄克诚接到报告，高平以南一百里的晋城，日军开来了百余辆汽车，并抓民夫抢修开往高平的公路，好像向北进犯。
徐海东、黄克诚分析研究后，率部进抵阳城以北的町店地区，准备伏击这股敌人。
敌人果然开过来了！而且在三四四旅眼皮底下四散休息，毫无察觉。
这是伏击歼敌的最佳时机！
如果三四四旅采取迫击炮、机枪进行轰击、扫射，势必予敌以重大杀伤，以后再发起冲锋，完全可以取得较大战果。但是三四四旅采用了猛打猛冲的作战方法，战斗刚打响不久，便冲向敌阵，拼起了刺刀。起初，敌人毫无准备，被打了个措手不及，有些懵懵懂懂，被消灭了不少。
很快，敌人回过味来，稳住了部队，开始组织顽强抵抗，死不缴械。
有不少日本鬼子就势趴在汽车底下，或者躲在河边的芦苇丛中向八路军疯狂射击。
日军枪法相当准，因而三四四旅遭受一定伤亡。双方展开了面对面的激战。
被围日军边拼命抵抗，边组织撤退，企图冲破包围。八路军猛打猛冲，紧紧咬住敌人不放，使其无法突围而出。战斗从中午持续到傍晚，晚霞映红了沁河水。
双方战斗激烈程度未减。
这时，日军援兵到了，向三四四旅展开反扑。
三四四旅转而三面受敌！徐海东、黄克诚急忙下令部队撤出战斗。
町店一仗，歼敌五百多人，击毁敌人军车二十多辆，但是八路军伤亡也有二三百人。三四四旅在有利的战机下，没有打好。徐海东、黄克诚心情沉重。
三四四旅进驻沁水县端氏镇休整。
朱德总司令亲临三四四旅进行整训。他围绕部队几次战斗的损失，对旅长徐海东进行了严厉的批评。
此时，徐海东体质很差，重病在身，有时吐血不止，黄克诚等旅团干部多次劝他回延安养病，但是他放心不下这支部队，更不想离开杀敌前线，所以一直硬撑着。最后，在中央关心下，离开部队去延安养病和学习。
沁水端氏镇。
徐海东离职，旅长这个位置空缺，军中不可一日无将。谁知在当旅长的问题上，三四四旅发生了一场不愉快的争执，黄克诚蒙受了不少误会。
徐海东一走，就发生了由谁来代理旅长职务的问题。黄克诚倾向于由六八七团团长田守尧接任。田守尧是红十五军团的老同志，论资格、能力由他代理旅长较为合适。朱德总司令也持这种看法。于是，他找到黄克诚征询意见。黄克诚与朱总司令不谋而合，当即表示完全赞成田守尧代理旅长职务。
朱德便找来田守尧谈话，明确告诉田守尧，让他代理三四四旅旅长并兼任六八七团团长。
“司令放心好了，旅长虽然走了，我一定尽力把这副担子挑起来！”田守尧心里不免高兴，但嘴上还是表示了谦逊之词。“那就好，你当了旅长之后，仍兼六八七团团长，担子可不轻啊！”
“首长放心！”田守尧向朱德保证。
“好吧，你先代理旅长，等候中央和总部任命。”很快，全旅上下都知道了这件事。
但是，朱德将电报打往总部和延安请示时，没有想到，毛泽东和彭德怀都不同意田守尧出任三四四旅旅长。至于原因，既复杂又简单。三四四旅以往几次战斗失利，部队中该旅少数人表现出的山头主义倾向早有反映，而不久前町店失利也给总部和毛泽东留下了印象：三四四旅有不少方面需要进一步改进、提高。
应该从前中央红军方面派一个人去，设法消除三四四旅山头主义倾向。
毛泽东、彭德怀的考虑的确有道理。
“可是。已经正式跟田守尧谈过话了！”朱德觉得有点难办，“总不能自己说出去的话再收回去吧？！”朱德再次致电中央，提出了自己的意见。
毛泽东认为此事重大，就专门回了一份电报，陈述了另派人任职的原因。
朱德明白了中央此举的意义，也不便再坚持己见。于是，把黄克诚找来，向他说明了中央另派人来担任三四四旅旅长的情况。
“老总，这件事情恐怕不大好办了。”黄克诚一听，有些急了，他向朱德建议：“你还是再发一份电报，把详细情况报告延安和总部吧，说明事先已同田守尧本人谈过话了，田代理旅长已成事实，不好再改变了，否则会影响今后的工作和他本人的情绪朱德听到这儿说：”我何尝没有想到这点。不过，这又有什么关系？都是共产党员嘛！戏点到谁谁唱呗！“很快，总部决定将三四三旅旅长杨得志调任三四四旅旅长。田守尧为此有些不高兴，情绪起了波动。确实，声势已经造出去了，大家知道自己当代理旅长，突然上级派别人来了。田守尧心里想不通。
几天后，在为徐海东送行的欢送会上，田守尧没有到场。朱德看见田守尧果真闹起情绪来，就找来黄克诚，对他说：“你们召开个党委会吧，开展批评与自我批评，对田守尧进行帮助。”
黄克诚召集党委会，朱德也亲自参加。
会议开始后，大家沉默了好长时间，谁也没有开口讲话。看到大家都闷在一旁不吭气，黄克诚心想自己是旅政委，又是党委书记，应该带头发言。
于是他只好硬起头皮，对田守尧进行批评。
考虑到他在三四四旅的工作刚刚有进展，加之部队的关系、今后的工作，还有这件事的前因后果，黄克诚对田守尧的批评较为婉转。黄克诚说完后，屋里也没人发言了。
除了满屋呛人的烟味，连声咳嗽也没有，大家都低头不语。
朱德对于黄克诚婉转的批评本来就不满意，环视屋里一圈后，看到大家这副样子，不禁心头火起，他站了起来，一个一个地指着与会同志，说道：“你们这是什么党委会？不敢进行批评与自我批评，算什么共产党员！”
朱德对田守尧进行了严厉批评。
最后，他对大家语重心长他说：“戏点到谁谁就唱，没点到你就不能出台，共产党员嘛，我们都要听党中央的，不能闹情绪！”
整个会议，除了黄克诚，三四四旅中没有一个人发言。
会议不欢而散。
这次党委会，给黄克诚带来了不小的误会。黄克诚本来就是“外来户”，大家对他有所抵触，这时他又是惟一发言批评田守尧的人。因而，在三四四旅中有些人就认为上级之所以没有批准田守尧代理旅长，可能是黄克诚从中作梗。黄克诚有苦难言，但是又不能作解释，于是他一直把自己的想法闷在心里。
从此以后，田守尧在相当长的一段时间里，对黄克诚一直心存芥蒂。后来，部队挺进苏北，经过两人长期相处，田守尧才发现黄克诚并非自己所想象的那样，因而两人心释前嫌，成为亲密的战友。
在朱德总司令关怀和亲自指导下，三四四旅在端氏镇进行了认真学习整训，总结了抗战以来存在的问题及作战经验教训，在部队作风和战略战术上，都有了较大提高，实现了以打游击战为主的根本转变。
杨得志到任后，三四四旅又以团、营为单位，深入敌后，开展游击战争，在对日伪军作战中接连取得胜利。
金秋十月，太行根据地一派繁忙的秋收景象。
1938年10月19日。潞城县故漳村。村南大庙里，总部召开了太行根据地各方面主要负责人的会议。作为太南军政委员会书记，黄克诚参加了这次会议。
会议主要研究了当前如何准备迎击敌人对根据地的进攻，克服困难，准备反击的问题。
会后，黄克诚回到太南区，组织部署工作。
太南区，地处太行山南部，跨山西、河南两省，共辖十七个县，晋东南六个，豫北十一个，全区人口达三百万之多。
遵照上级有关建立巩固的抗日根据地的指示，黄克诚全面分析了太南区的情况后，认为晋东南一带局面已经打开，豫北则开辟得较晚一些，国民党仍在那里活动频繁，并且历史上豫北土匪、联庄会、会道门较多。虽然抗战以来，许多士匪、联庄会改编为抗日部队，但对他们的改造、巩固决不能有丝毫的忽视。
因此，他同太南特委同志商议后，确定了巩固晋东南、加强豫北的工作方针，并在全区展开。
黄克诚不仅关注太南区革命形势的发展，还注重立足全局考虑问题。
经过三四四旅干部战士的艰苦努力，三四四旅不仅巩固、发展了抗日根据地，而且扩大了自己的队伍，组建了很多地方武装，三四四旅活动区域日益扩大。
黄克诚经过慎重思考，向总部建议，将三四四旅分成两部分开展活动，他和杨得志，一人留守旅部，一人过平汉路向东开辟新区。
总部采纳了黄克诚的建议，回电要黄克诚留守旅部，杨得志率一部过平汉路东。
1939年初，杨得志遂带领一部分干部和部队来到冀鲁豫交界地区，组建冀鲁豫支队，在那里开展敌后游击战争。杨得志率一部离开太南区后，黄克诚肩挑军政重担，将各团分散，展开活动。
过了一段时间，黄克诚发觉部队由于分散活动，队伍都有扩大，因而山头主义倾向有所抬头，甚至有点不大听指挥了。于是，黄克诚凭着政工干部特有的敏锐感与责任感，果断将所有部队集中到太行山区进行整训。
他把各团主要干部都召集来，召开党委扩大会议，批判山头主义，加强党的领导。
起初，党委扩大会议召开时，有些干部不来参加会议。黄克诚本着高度负责的精神，无论来人齐与不齐，每次都按时开会，该怎么讲就怎么讲，该批评就批评，不讲情面，他相信那些没来开会的同志总会听得到。
有时，个别干部不服气，黄克诚就耐心讲道理，做说服工作。
朱德总司令也经常来参加会议，一再要求大家克服山头主义的不良倾向。
连续十几天，黄克诚几乎累垮了，以至于会议结束之后很长时间，他还没有从疲劳中恢复过来。
黄克诚扎实而细致的工作，终于取得了一定成效，这使得他倍感欣慰。
1939年12月，三四四旅配合一二九师，对日军进行的冀鲁豫、晋冀豫等抗日根据地大“扫荡”予以坚决反击，取得了辉煌战果。
正当我抗日军民深入敌后开展游击战争，八路军奋勇杀敌，力量日益发展壮大之时，1939年底，国民党顽固派开始了消极抗日、积极反共的活动，接连制造反共磨擦事件。1940年初，国民党反共磨擦活动达到高峰。
正在太南区活动的黄克诚得知彭德怀来到晋东南