第１５师团应速向龙游南方地区转进，６月１日由雨井、树底附近出发，黄昏以前进入下山溪左岸高地，自６月３日拂晓攻击当面敌阵地。
第２２师团应于６月１日开始行动，黄昏以前进入厌山、白西坑一线，自６月３日拂晓攻击当面阵地。
小江旅团应于汤溪，主力集结龙游，应特别警戒遂昌、宣平方向。
军指挥所６月１日虽由此地出发，黄昏以前抵龙游（第７０师团担任后方警备）。
６月１日，日军各部队均已到达规定的进攻出发地位，第１３军战斗指挥所也由金华推进至龙游。６月２日，第１３军令小江旅团派出１个支队（以１个步兵大队、１个山炮中队为基干组成），进至灵山镇附近，对南方警戒，掩护军的左翼侧；令第７０师团以一部兵力担任龙游警备，并确保至金华的后方交通线。与此同时，其他第一线各部队均派出一部兵力驱逐守军的警戒部队及攻击守军的前进阵地。至当日晚，相继进至守军主阵地带前沿阵地之前。
６月３日拂晓，日军第３２师团、第１１６师团在衢江以北，河野旅团、第１５师团、第２２师团在衢江以南对衢州发起全线攻击。当时负责衢州城郊防守的第８６军兵力部署为： 第６７师附第１６师的第４６团主力及１个独立炮兵团，防守衢州城东南樟树潭、西伯陇及飞机场等处据点群阵地；第１６师（欠第６４团）附１个山炮营，防守衢州城西北茂坞、九里山一带据点群阵地；第１６师第４６团第２营防守衢州城核心阵地；第８６军军部及直属队位于衢州城内南部。
衢江以南守军第一线的第５８师、第４０师及第６７师分别与日军第２２师团、第１５师团及河野旅团激战终日，第５８师撤至黄坛口一带，第４０师及第６７师先后撤至乌溪江西岸防守。至傍晚时，日军各部队均进至乌溪江东岸，其第１５师团一部突进至乌溪江西岸，迫使第４０师再退至棠埭坞。
衢江以北守军第１６师茂坞、孔家山等处阵地全被日军第３２师团攻占，部队大部溃散及伤亡，师长曹振铎率残部退入城中与其第６４团会合。日军第３２师团一部进抵距衢州城北门仅２公里、衢江北岸龚家埠一带；其主力继续进攻石梁市附近阵地。守军第１０５师退至西镇。
负责固守衢州城郊的第８６军军长莫与硕见形势严峻，竟以收容第１６师溃散部队为借口擅离职守，出城向江山方向逃去，军直属部队亦大多随之离去（本会战后，莫与硕和其参谋长胡炎被判有期徒刑５年，曹振铎亦以作战不力而被撤职）。衢州防守战斗由副军长陈颐鼎接替指挥。
第三战区认为衢州主力战斗已经开始、决战时机成熟，于当日晚下令各部转移攻势。其命令的主要内容为：〔１２〕
（１） 战区决心确保衢州阵地，消耗疲惫敌人，着控置在衢州南北之主力，于明日（4日）拂晓前完成出击准备，以衢州阵地为轴，夹击歼灭敌人。攻势转移时机另定。
（２） 各集团军的任务如下：
第２５集团军，除原有任务外，暂３２师即日开始行动，切断东阳江水道并牵制敌人；暂９军主力应努力向汤溪、龙游敌后挺进，切断龙游以东敌水陆交通。
第１０集团军，应严令第８８军切断敌后方联络，督饬衢州守军死守阵地，并即推进第７４军，预定以衢州阵地为轴，由大洲镇及其以西地区转移攻势，压迫敌于衢江南岸歼灭之。为策衢州阵地南翼之安全，应以第４９军的第２６师主力占领岭底背亘西山之线，尔后迅以第７４军派队接替，使该师归还为战区预备队。
第３２集团军，应严令富春江左岸各部队努力切断敌后联络，巩固淳安、寿昌要点，并确实掌握石梁市。以第２６军分由石梁市、外宅村、杜泽、峡口市、叶村市、后徐镇等处出击，置重点于石梁市一带地区，攻击敌侧背，压迫敌于衢江北岸而歼灭之。由杜泽以东进出之部队，应先期出击，使重点方面之决战容易奏功。
第４９军（欠暂１３师）除第１０５师之1个团应固守常山港北岸、柘溪村至石梁市（不含）之线外，该师主力迅速进出常山港，集结航埠以北地区；第２６师主力暂归第１０集团军指挥，占领岭底背亘西山之线，俟交防第７４军后，仍归还该军，控置后溪街及江山港以北地区，保持机动。又该军对江山港、常山港与衢江合流处以西地区应负责警戒，保障衢州阵地西侧之安全。
日军第１１军为策应第１３军在浙江的作战，于５月３１日夜从南昌附近渡过抚河，向第三战区西部第１００军防线发动进攻。６月３日，当日军第１３军开始对衢州发动总攻时，第１１军占领了进贤，并逼近临川。军事委员会决定改变原来的作战计划，于４日电令第三战区“避免在衢州决战”。电文主要内容为：
（１） 国军以保存实力、机动打击敌人之目的，决避免在衢州附近决战。
（２） 第８６军主力应依衢州既设阵地，持久抵抗，竭力打击、消耗敌人。
（３） 衢州附近我主力各军应向衢州及其以西铁道两侧地区妥为分散配置，准备尔后侧击沿铁道两侧突击之敌。特须注意，我的企图、行动须绝对保密。
（４） 第１００军应竭力持久抵抗，打击消耗敌人。
（５） 在敌后各军应积极游击。
（６） 破坏铁道及疏散物资应即实施。
第三战区遵令部署如下：〔１３〕
（１） 第１０集团军
第８６军应竭力利用既设阵地，消耗敌人，以一部死守衢州，主力待命由江山港、常山港间地区向峡口、保安街间转进，在该地及仙霞岭附近构筑阵地，并迅速整补。
第７４军指挥暂１３师应与敌保持接触，利用灵山镇、大洲镇、黄坛口以南山地，阻止、打击窜犯之敌，并对沿铁道两侧突进之敌作好侧击的准备。该军第５７师迅速占领江山城及其以东地区，重点保持在江山港以东，掩护第４９军向后转进。
总部尔后在二十八都指挥。
（２） 第３２集团军
第２６军应以一部与敌保持接触，主力迅速转移到芳村镇及常山城附近占领阵地，俟第２５军主力到达芳村镇、常山城时，该军即逐步转移到玉山控置，以一部沿常山至玉山道路择要扼守。
第２５军除留置第１４６师在上方镇、大同镇及寿昌一带地区积极活动外，应派出一部进出杜泽、外宅、石梁市各隘路口袭扰敌人，策应衢州守军作战。该军长率第１０８师、第１４５师向芳村镇、常山城转移。如敌突进常山城，该军主力应利用常山到华埠间山地择要扼守，以一部掌握衢州以北山地，待机侧击突进之敌。
该总部俟第２６军、第２５军概就玉山、常山位置时，应移至上饶指挥。
（３） 第４９军（欠暂１３师，并指挥第４０师）即归第１０集团军指挥，联系第７４军，占领仰于坪、东山、前河街沿江山港西岸、常山港南岸到招贤镇之线，与常山港北岸我第２６军切取联系，对敌由常（山）以东向江山以北之窜扰应特慎警戒。
由于３日夜降大雨，江水暴涨，至４日晨，衢江以南日军，除第１５师团徒步部队已徒涉至乌溪江西岸外，其余部队全被阻于东岸。４日晚，第２２师团一部徒步部队亦进至西岸；河野旅团少数步兵曾在铁路桥（已炸毁）处以橡皮舟潜渡乌溪江，但在守军第６７师阻击、反击下，已渡者全被歼灭。衢江以北日军，第３２师团于傍晚进至东镇（衢州西南９公里）附近，一部渡至常山港南岸，切断了衢州至常山的联络线；第１１６师团进至衢江北岸附近。
守军各军根据第三战区的命令，均在进行反击的准备。第７４军一部在向北推进途中与南下的日军第１５师团主力遭遇，发生激战。由于接到“避免决战”的命令，第７４军主动撤至黄坛口以南山地防守；第４０师在日军第１５师团一部攻击下，退至江山港北岸，改归第４９军指挥；第１０５师与日军第３２师团激战后，撤至常山港南岸招贤附近防守。
６月５日，日军第１５师团在航空兵掩护下，集中兵力猛攻衢州南郊阵地，激战至午后，突破六马桥阵地，守军第６７师退守衢州南关；日军第２２师团一个联队渡过乌溪江，于傍晚进至江山港南岸，其主力仍在陆续渡江中；日军第３２师团当日攻占西镇，进至常山港以南地区。此时，衢州城已处于四面包围之中。
当日下午，泽田茂得到情报： 后溪街附近有中国军队有力部队集结。为支援及保障第１５师团攻破衢州，令第１５师团攻占衢州城，令第３２师团和第２２师团分别向后溪街和江山方向进攻。
６月６日又下大雨，双方冒雨激战。日军河野旅团于拂晓后通过刚刚修好的临时铁路桥，进至乌溪江以西，立即向衢州城西及城北门逼进；第１５师团主力从铁路附近猛攻南门及南城墙，其一部兵力与河野旅团一部于８时许攻占衢州飞机场及航空学校。
第三战区根据当时敌情及军事委员会指示精神，对６月４日下达的“避免在衢州决战”的命令又下达了部队转移的补充指示：〔１４〕
（１） 第１０集团军：
第７４军并指挥暂１３师、第４０师，主力迅速转移到江山附近占领阵地、打击敌人，掩护第４９军、第２６军向后转移。
第４９军应由原阵地转移到峡口到八都之线占领阵地，并留置一部于石门市要点。
第８６军突围后开二十八都集结待命。
（２） 第３２集团军：
第２６军以１个师守常山，主力应迅速转移到玉山附近占领阵地，与八都方面第４９军切取联系；其在常之１个师，俟第２５军到达交防后迅速转移到上饶控置。
第２５军除留第１４６师在寿昌续行前任务外，主力迅速转移到常山附近，接替第２６军的守备任务。
衢州城外各军接到战区指示后交互掩护，逐渐脱离接触，向指定的位置转移。城内守军因通信器材已全被日军的飞机、大炮所击毁，与战区及集团军均失去联系，仍依托城防工事继续苦战。血战至晚，日军第１５师团攻占南门及新开门，河野旅团攻占东北门、北门及西北角城墙。此时，船民齐大年从信安江（一名信安溪、西溪）游水进入城中，带来王敬久关于守军向枫林港突围的指示。副军长、第67师师长陈颐鼎与第１６师师长曹振铎商议后，以第６４团第２营担任掩护，丢弃了重伤员及一切重武器、骡马车辆等，利用夜暗天雨突围西撤。在第６４团第２营官兵英勇顽强的抗击下，已经占领了城门及城墙的日军始终未能进入城内，亦未能阻止住突围的部队。激战至７日拂晓，第６４团团长谢士炎率领第２营残部１００余人从东门突围（第２营营长宋汉武已牺牲），绕道向清明镇转进。衢州为日军占领。
（三） 上饶、广丰地区战斗
第三战区