全国抗战爆发后，红军主力改编为国民革命军第八路军，迅速挺进山西抗日前线。八路军没有辜负民众的期望，入晋不久便取得了震惊中外的平型关大捷。
八路军第115师下辖两个旅，即陈光为旅长的第343旅和徐海东为旅长的第344旅，陈士榘任第343旅参谋长。第115师在开赴山西北部雁门关一带后，准备与日军进行一次大规模战斗。正巧遇上日军第5师团第21旅团一部向山西平型关一带进发。我军当即决定实施平型关战役。
平型关战役发起时，陈士榘被林彪、聂荣臻临时从343旅抽调到师部参与作战计划制订及指挥，按照对付国民党军的惯例，林彪甚至考虑好战后将日俘送到战区国民党方面去展示，因此领导战前给战士作动员，说是要优待俘虏，陈士榘等准备抓1000个俘虏。
抗日战争开始后，为了抓到一个俘虏，八路军许多官兵付出了代价。平型关战役中，有一位副营长背起一个半死不活的日本伤兵，准备送往急救站，半路上伤兵稍稍缓过劲来，一口咬掉了营长的耳朵。还有一位通信员在收电话线时，发现汽车底下躺着一个日本伤兵，受了重伤，呻吟不止，通信员掏出纱布准备为他裹伤，那伤兵却扬手一刀刺进了通信员的腹部。由此可见，日军顽抗到了何等地步。
平型关一役，第115师发挥了善于近战和山地战的特长，保证了战斗的突然性，以劣势装备一举击毙日军第5师团第21旅团一部千余人，击毁汽车百余辆、大车200辆，缴获九二式步兵炮1门、战马50多匹、轻重机枪20多挺、步枪1000余支以及其他大批军用物资，这么大的伏击战却没抓到一个俘虏。林彪在战后总结的《平型关战斗经验》中专门就俘虏问题指出：“日本兵至死不肯缴枪，一来因日本之武士道教育、法西斯教育，同时因他们对中国军民太残暴，恐怕中国人报复。”
平型关大捷后，第115师一分为二。林彪率主力南下支援娘子关方面友军，聂荣臻则率领师独立团、骑兵营、第343旅的两个连留下开辟晋察冀根据地。此时，日军第20师团已突破晋东门户娘子关，并于11月4日拂晓由平定直扑榆次，企图直下太原，迂回进攻忻口方面的阎锡山、卫立煌主力，以解陷入忻口的第5师团之围，结果一头撞进了从五台山南下的第115师第343旅在昔阳县西广阳地区的伏击圈，一场恶战在所难免。
广阳附近山路纵横交错，山峦重叠，有的山沟长达几十里路，有利于伏击作战。伏击圈是林彪在拂晓前部署的，具体分工是：第685团由旅长陈光和团长杨得志带领，负责堵截；第686团由担任第343旅参谋长的陈士榘指挥，负责歼灭伏击圈内日军。11月3日，战士们从拂晓一直等到下午3时，待敌大部人马通过后，对其后续辎重部队发起了攻击。陈士榘指挥第686团从两侧的高山不断向狭长的谷底投弹射击。日军辎重部队的骡马受惊后乱蹦乱跳，将大车拉得东倒西歪。在敌人被打得晕头转向的时候，陈士榘果断命令司号员吹响了冲锋号，指战员们如猛虎下山，迅速冲向公路将敌人切成数段。刹那间，呐喊声、刺刀的碰撞声响彻了整个山谷。
广阳战斗从第20师团这些日军的抵抗程度来看，远不如在平型关第5师团的表现。陈士榘深知俘敌了解军情之重要，此时不禁又产生了抓俘虏的念头。正在这时，有一伙惊慌失措的日军逃到公路北面的一个洼地顽抗。陈士榘转身将警卫排长唤来，指着洼地说：“你带两个班冲下去，抓几个俘虏！”警卫排长听后一挥手：“一班、二班跟我来！”陈士榘从望远镜里目送警卫排朝洼地扑去，心里暗暗高兴。他对这些战士们充满了信心，这都是旅长陈光从部队一个一个挑选出来的，不仅体格健壮，而且作战勇敢。一阵激烈的枪声过后，警卫排很快就回来了，缴了不少三八大盖，却没抓着一个俘虏，排长气呼呼地说：“他们受武士道精神毒害太深，顽固不化，只好把他们消灭了！”陈士榘听后不免有些失望，随着战斗的发展，敌寇不断被歼灭，只怕是活捉日俘又要落空。
夜幕降临，战斗已基本结束，第686团共歼敌500人以上，向林彪汇报了战况后，陈士榘让团长李天佑将指挥所移进了广阳镇。此时，镇内还有不少残敌在负隅顽抗。陈士榘进入镇子，听到零星的枪声后，又一次激起了抓俘虏的强烈愿望。
顺着枪声，他来到了一个小院门口，看到已有不少战士将院子团团围住，一个战士正准备向院子里投手榴弹。“慢着！”陈士榘连忙制止：“有多少鬼子？”“报告参谋长，就一个，钻进了院子，老朝我们打枪。”陈士榘一拍大腿，将手枪拔出，“那还不抓活的，扔什么手榴弹。”他侧身闪进院门，师侦察科长苏静也跟了进去。又一声枪响，子弹打在门框上溅起一串火星，陈士榘猫着腰悄悄摸到窗口旁边，用刚刚学会的日语喊道：“缴枪不杀，宽待日本俘虏！”这时，院外的战士们也跟着陈士榘用刚学会的日语向里喊话，“啪啪”，日本兵又胡乱放了两枪。陈士榘早在战争中磨练出处事不惊的胸怀，他耐着性子，尽量用温和的口气又喊了几遍。
屋里不再放枪，但仍然没有人出来。忽然，“明白明白的……”屋里传来生硬的中国话，那声音充满了恐惧。陈士榘听后一阵惊喜：“小鬼子听明白了，这下可有戏啦。”可等了老半天仍不见屋里有任何动静，他忍不住一脚踹开房门，借着月光一眼就瞧见了明晃晃的刺刀，迅速伸手抓住枪管用力一拽，鬼子吓得尖叫一声连忙松手，枪被夺了下来。
陈士榘人高马大、身材魁梧，比日本兵高出许多，心理上对他产生一种震慑。定睛一看，那日本兵缩在墙角一个粮食筐后，粮食挤压让他动弹不得，看来挣扎了好一阵，加上紧张恐惧、孤身一人抵抗，累得汗水把军衣都浸透了。陈士榘上去一把揪住他，费了好大劲才将其硬拖了出来。这名日军腰上挎着军刀，居然还是官佐，只见他吓得浑身发抖，汗珠从额头上淌下来。别看鬼子没了枪，双手仍死死握着军刀不放，陈士榘用手枪指着他，毫不客气地一把夺下他的军刀，威严地告诉他：“你现在是我的俘虏，必须交出所有武器！”虽然这些话是中文，但俘虏从语气听懂了。这时苏静等人冲进屋子，兴奋地大叫起来：“陈参谋长抓住俘虏了！”
陈士榘在回忆录中说，他一夺长枪二夺军刀活捉日本兵的消息很快传遍了整个镇子。大家都争先恐后地跑来看，因为这是八路军捉到的第一个日本俘虏，当时在第115师引起了轰动，连林彪都惊动了。经审讯，这名俘虏是日军第20师团第79联队辎重兵军曹加膝幸夫。据解放军报