25日清晨，日军丰岛房太郎第三师团和北野宪造第四师团一部组成的左翼兵团，在丰岛统一指挥下，从小林店东西一线分三路向泌阳、高邑和邢店进攻；平林盛人第十七师团和酒井直次第十五师团一部组成的中央兵团，在平林盛人指挥下，从明港沿平汉铁路向北攻击；青木成一第四十师团作为右翼兵团，从正阳向上蔡方向攻击。日本空军出动几十架战机，对中国守军阵地狂轰滥炸。
中国军队主力已经转移，正面兵力较少。26日，日军占领泌阳、高邑、邢店和确山一线；27日，日军推进到春水、沙河店和驻马店东西一线。这时，第三十一集团军总司令汤恩伯，急令张雪中第十三军向象河关机动，李楚瀛第八十五军向上蔡机动，从两翼攻击日军。第二集团军总司令孙连仲同时派出刘汝明第六十八军尾击向象河关进攻的日军，将曹福林第五十五军从唐河调往泌阳，命令冯治安的部队向南阳推进。
29日，日军左、右翼兵团分别在接官厅和上蔡附近，遭到张雪中军和李楚瀛军的猛烈攻击，伤亡较大。日军中央兵团面对的中国军队主动后撤，日军得以快速推进。他们在30日兵分两路，主力由西平向舞阳迂回，一部从遂平进攻上蔡，企图协同两翼兵团夹击中国军队。31日，平林的日军部队攻占舞阳和上蔡，形成包围圈，但中国军队又已转移，致使日军扑空。