华北各抗日根据地开展的游击战争，使日本将华北建为其战争后方基地，以推行其以华制华、以战养战的战略企图无法实现。日华北方面军司令官多田骏，为了集中兵力“对共产军根据地进行毁灭战”，决心“对晋甫地区的中央军发动一次大兵力的作战，一举扫清黄河以北的中央军势力”，以便转用该地区的日军于专门对付第八路军，“迅速恢复华北的治安”；同时打击重庆国民政府的抗战意志。因而在1941年春决定发动中原会战（当时中国军队称之为晋南会战，即中条山会战）。
中条山会战之前，日军第11军为抽出其第33师团转用于晋南，先发动上高会战。以2个师团又1个旅团的兵力，于1941年3月15日由安义、万寿宫、原田街，分3路向上高进攻。其第33师团在19日突破第9战区第70军上富第三线主阵地后，即抽调转用于中条山方面，其第34师团会合独立混成第20旅，突破第74军官桥第三线主阵地后，继续向上高进攻。第19集团军以第74军固守上高、第49军和第70军分向日军左、右侧包围进击。激战至25日，日军退走，在守军追击、堵击下，损失甚重。中国军队获炮10门、步机枪1000余支，4月2日，又恢复原态势。
日中国派遣军为增加进攻的力量，除由武汉方面抽调第33师团至晋南外，又从苏州地区抽调第17师团至徐州接防，原在徐州的第21师团转用于晋南。参加进攻中条山作战的日军，由第1军司令官篠塚义男指挥，所属部队有：第21师团（田中久一）、第35师团（原田熊吉）、第33师团（樱井省三）、第36师团（井关仞）、第37师团（安达二十三）、第41师团（清水规矩）、独立混成第9旅团（池上贤吉）、独立混成第16旅团（若松平治）、骑兵第4旅团（佐久间为人）等共6个师团、3个旅团；总兵力约10万人。此外，为增加此次作战的空中力量，日本大本营于4月19日调关东军第7飞行团之轻轰作第32战队和第2飞行团之侦察第83战队配属第3飞行集团。第3飞行集团辖第1、第3飞行团，有轻轰炸第90战队、独立战斗第10中队、独立侦察第83中队和侦察直协第44战队，共有飞机约200架。
日军第1军根据1941年2月26日华北方面军治安肃正作战会议传达的本年度第1号作战计划，制订了进攻中条山的作战计划，其主要内容、作战目的是：歼灭黄河以北晋南、豫北地区的中央军主力，以确保华北之安定并给予重庆政权以重大打击。其作战指导是：彻底击灭张马、垣曲之线以西的中国军队，严重打击该线以东的中国军队。其兵力部署是：对中条山西部地区，以第41师团和独立混成第9旅团，分别由翼城、绛县并列南下，攻占垣曲、割断第5集团军与东部第14集团军之联系，并对第5集团军实施双重包围，以第36师团和第37师团分别由闻喜、运城从夏县以南并列东进，进行双重迂回包围，与第41师团和独立混成第9旅团会合后，围歼第5集团军及第80军；独立混成第16旅团，由平陆沿黄河北岸快速东进至济源，与东路的第35、第21师团在邵原会合，切断第5、第14集团军向黄河南岸的退路。对中条山东部地区，以第35师团和第21师团，分别由温县、沁阳并列西进，经济源、王屋攻占邵原，与独立混成第16旅会合，切断守军退路后，由济源至邵原的公路线北上进攻第14集团军。以第33师团由阳城南下，协同第35、第21师团对第14集团军进行南北夹击。协同作战的航空兵部队，主要配合西路部队的作战，作战开始后，从空中切断西安至洛阳的陇海路。
中条山位于山西南部，横亘黄河北岸，东西约170公里，南北50公里，东连太行山，太岳山，西接吕梁山，南屏渲关、洛阳，北控晋南，东控豫北。平汉、同蒲两铁路在其东西两侧。既是向华北进击的前进基地，也是实施敌后游击作战的基地。战略位置甚为重要。
1941年初，第一战区在黄河以北共有11个军，其中，4个军配置于太行，太岳山区，7个军配置于中年山区。这7个军的具体配置是：第8军（孔令恂，新编第27师、第165师）守备中条山西侧；第5集团军（曾万钟）以第3军（唐淮源，第7、第12、第34师），第17军（高桂滋，第84师，新编第2师），由左向右，并列守备垣曲，桑池之线以西地区（中条山西部）；第14集团军（刘茂恩）以第43军（赵世铃，第70师、暂编47师）、第98军（武士敏，第42、第169师）、第15军（武延麟，第64、第65师）并列守备中条山北侧；第9军（裴昌会，第47、第54师，新编第24师）守备中条山东侧。中条山守军总兵力共16个师，约15万人。
当日军向中条山地区增调兵力时，中国军事委员会军令部判断日军有进攻中条山区的企图，遂拟定了第一战区作战指导的3个参考方案：
第1案，主力向黄河南岸撤退，巩固河防；
第2案，乘敌集中未毕，制敌机先，以击破其攻势；
第3案，采取机动战术，变内线为外线。
4月18日，参谋总长何应钦在洛阳主持有第一、第二、第五战区高级将领参加的晋南会战作战准备会议。他指出：“中条山地位异常重要，如现三角地带一部为敌占领，则陇海路不独感威胁，且洛阳恐亦难保，而西安亦危。”同时认为：“晋南之敌，似将逐次夺取我中条山各据点，企图彻底肃清黄河北岸之我军，然后与豫东之敌相呼应，进取洛阳、潼关，以威胁我第五战区之侧背，或西向进窥西安。”20日第2次会议上，何应钦基本上采用军令部第2案的精神，对晋南作战作出下述指示：“为确保中条山，第一步，应相机以93军（刘勘，在太岳山区）由北向南，以27军（范汉杰，在太行山区）由东向西，与中条山阵地右翼各部，合力攻取高平、晋城、阳城、沁水间地区，以恢复29年（1940年）4月前之态势。第二步，与晋西军及第二、第八战区协力，包围晋南三角地带之敌而歼灭之。最低限度亦须能确保中条山。”
4月28日，军委会军令部判断日军有由沁阳、济源及横岭关、皋落镇公路进攻垣曲之企图，军委会于5月2日令第一战区加强中条山阵地工事，破坏、阻塞主阵地前的道路；先发制敌、以一军向高平、博爱，另以一军向闻喜、侯马、夏县采取攻势，以击破敌之攻势。令第二战区晋西部队向同蒲路，第五战区汜东部队向陇海路各当面之敌进行牵制。第一战区于5月3日决定作战方针：为打破敌之进犯企图，制敌机先，积极实施游击，以粉碎敌之攻击准备及兵力集中，随即分令各军以一部向当面之敌游击，但各军的出击部署尚未完成，日军已开始进攻。
日军航空兵首先发动攻击，于1941年5月6、7两日，轰炸西安、咸阳、潼关、郑州等地，并炸断陇海铁路。5月7日晚，日军按计划以分割包围和向心攻击，向中条山发动进攻。
西部方面。日军第41师团和独立混成第9旅团，分由西桑池（第5和第14集团军结合部）、横岭关附近向垣曲方向进攻。守军第43军与第17军协力抵抗，激战至8日晨，阵地被突破。日军于当晚攻占垣曲，中条山守军遂被分割为东、西两部。日军第36、第37师团及独立混成第16旅团，分由夏县以北、以南向中条山西侧守军进攻，主突方向为第3军与第80军之结合部。8月凌晨，张店镇附近阵地被突破，日军迅速向守军后方渗入。第15集团军各军被迫退守秦家岭、望原等第二线阵地。9日4时，日军一部已迫近第5集团军总司令部所在地马村。司令部遂东移至涧南沟，当即收到第一战区司令长官卫立煌的电话：“本部已派兵2团，在五福涧以北高地占领桥头堡阵地，并征集渡船10余只。不得已时，各军应逐次南移，在五福涧渡河。”但日军独立混成第16旅团的先头部队已于9日晨进至五福涧，由河南岸派来之第14军第85师的2个团，与日军激战至10日晨，被迫退回河南岸。此时，退守台寨附近的第80军已与日军苦战2日，新编第27师师长王竣、副师长梁希贤、参谋长陈文祀等，均已壮烈牺牲。第80军残部于11日夜渡至黄河以南。至此，第6集团军已被完全包围，南渡黄河的迟路亦被切断，陷于苦战之中，处境危殆。于是以团为单位，多路向北、西方向敌后突围，第3军军长唐淮源因无法突出，于12日自杀，其第12师师长寸性奇于15日阵亡。第98军于15日向北突围至太岳区。曾万钟率第3、第17军及第94师残部，陆续通过日军封锁线，西渡汾河、黄河，辗转到达洛阳、新安一带。
东部方面，5月7日晚，日军第21师团及第35师团（配属骑兵第4旅团），分别由沁阳、温县地区向防守东方正面的第9军进攻，激战至8日8时，日军第35师团突破第54师阵地占领孟县，尔后，与第21师团合击济源。当夜，日军攻占济源。第9军退守封门口既设阵地，留一部在大岭头侧击敌人。由于西路日军第41师团已于8日晚攻占垣曲，独立混成第16旅一部继续沿黄河北岸东进。卫立煌因河防空虚，急令第9军主力由关阳渡口撤至黄河南岸担任河防，留一部兵力迟滞日军，掩护第14集团军的后方。10日拂晓，第9军直属部队及第54师开始渡河。由于日军飞机不断轰炸渡口及船只，第54师伤亡颇大，且只能乘日机轰炸的间隙抢渡，所以直至当夜，军直属部队及第54师方渡过黄河。11日，日军猛攻第47军阵地，渡口、船只已全被炸毁，第47师及新编第24师无法渡河，不得己退至王屋、邵原公路以北，进行游击，并与第14集团军取得联系。
当日，日军西路的独立混成第16旅团与东路的第35师团在邵原会合。至此，第14集团军的南部后方，全部被日军遮断，黄河渡口亦被日军封锁。在第14集团军北方正面的日军33师团，5月7日晚，由阳董封向第98军阵地进攻。10日，日军由董封突破阵地，进至煤坪。该军转移至横河镇东南地区。此时，左邻第5集团军己陷于混战。卫立煌电话指示，令“14集团军主力向沁水、翼城公路以北转移，就地补给，另整态势”。刘茂恩遂令第15、第98军准备北进，令第43军在同善镇、灵官庙之线拒止北上日军，另令在太岳山区的第93军南下接应。12日夜开始北进，但被日军阻止，折还横河镇一带，仅有2个师于13日到达沁水以北地区，其余被阻于中条山区内。14日以后，日军一面封锁黄河各渡口，一面继续围攻山区内的中国军队。山区内的各部队损失甚巨，乃化整为零，分头突围，向太岳、吕梁山区及黄河南岸转移。至28日，战况趋于沉寂，中条山会战结束。
此次会战，日军仅伤亡4000人左右，而第一战区则伤亡42万余人、被俘3.5万余人。
5月28日，蒋介石在会战结束的当天检讨作战失败时说：这是“抗战史中最大的耻辱”。导致惨败的原因，除兵力薄弱、装备劣势外，高级将领指挥失当、准备不足也是重要原因之一。中条山区东西长约170公里，而纵深不过50公里，背水为阵，而后方“各渡口生死攸关之桥头堡毫不注重而且未闻有何工事”，“中条山山地险要，各部与敌对阵将近3年，而并未积极加强阵地工事构筑”。直至日军即将开始进攻之5月初，中条山内各军、师均无战备存粮，以致战斗开始几天，即告断炊。5月7日会战开始，5月11日，第14集团军总司令刘茂恩就向蒋介石致电说：山区“苦无存粮，大军已绝食3日，四周皆有强敌，官兵枵腹血战，状至可悯。若不急筹办法，恐有溃散之虞”。从会战开始前，至会战开始后，第一战区未实施任伺有力的主动措施，完全处于被动地位，对日军主力的集结、进攻，竟然企图令各军用一部兵力实施游击来打破，焉有可能。各集团军均未控置足够的预备队，阵地一旦被敌突破，即束手无策。