1946年7月，人民解放战争的炮声打响了，我军经过一年多的浴血奋战，先后粉碎了国民党军队向我解放区的全面进攻和重点进攻。
翌年6月底，晋冀鲁豫野战军在刘伯承、邓小平的统一指挥下，一举攻破了敌人所谓“可当40万大军”的黄河天险，挺进鲁西南，从而揭开了我军从战略防御转入战略进攻的序幕。接着，晋冀鲁豫野战军太岳兵团在陈赓、谢富治的率领下，由晋南强渡黄河，挺进豫西作战。陈毅、粟裕率领华东野战军则挺进豫皖苏。
三路大军，相互配合，密切协同，向国民党统治的中原地区，进行战略展开，在江、淮、河、汉之间，机动作战，寻机歼敌，先后拔城百余座，创建了中原解放区。我西北野战军和东北野战军，也在内线向国民党军队发起了猛烈的攻势。在我军的沉重打击下，国民党军队只有招架之功，没有还手之力，占领区日渐缩小，不得不转入分区防御，主要兵力都麇集到战略要点和交通线上。
就在这一年的12月27日，我刚组建的第8纵队和西北野战军的第2纵队，晋绥军区独立第3旅及太岳军区的4个团，发起了运城战役，一举攻克了阎锡山、胡宗南在晋南的重要据点——运城。而运城一失守，阎锡山在晋南就只剩下临汾这座孤城了。
临汾——这座晋南最大的城市，相传是唐尧建都的地方，历来是军事重镇。自从纵贯山西全省、沟通华北与西北交通的同蒲路建成以后，这里是南段的枢纽，地位益加重要。临汾城筑在汾河东岸一片冲积而成的黄土高地上，城外地势比城内低，黄土垒砌的城墙，黏结得非常坚固，基部最厚处有30余米，墙面如牛背，倾斜向上，高达14米，顶上有10米宽，可并行3辆大车；城周长近10公里；城外的东南部又加修了一座护卫城，高厚度略次于主城，周长3公里多。整座城，西傍汾河，南、东、北三面均为开阔地。从远处看，宛似伏在汾河边上的一头黄牛。所以，临汾又称“卧牛城”。据当地人说，临汾城在历史上没有被攻破过，连闯王李自成被射瞎一只眼，也没有降伏得了这头“卧牛”，气得他把盔甲挂在城外一棵树上撤兵而去。于是后人把那挂盔甲的村庄，称为“挂甲屯”。
也许是历史记载的作用，自运城解放后，晋南的反动乡团、地痞恶霸都缩进临汾躲避，把临汾当做了一个避风港。
临汾，确实太重要了。它是晋中的桥头堡、太原的南大门。国民党军要想保住晋中和太原，并牵制我晋冀鲁豫部队对西北战场的支援，就不能没有临汾。蒋介石是看到了这一点，他不能再让临汾丢失了。于是急令胡宗南部的第30旅留守临汾，并电催阎锡山从晋中抽调1个师加强临汾防务。根据蒋介石的指示，阎锡山作出了加强临汾防卫力量的决定，命令驻介休的第66师徐其昌率部入晋中赶来增援。同时，为统一调动指挥临汾驻军，命令已任临汾守备军第6集团军总司令的梁培璜兼任晋南武装总司令。
“还得给临汾的梁将军发个电报！”阎锡山命令他的参谋长郭宗汾说：“要他根据运城失守的教训，加修、改造城防工事。日本军事顾问3人，将同第66师徐将军一同进入临汾。”