1946年3月，为应付即将到来的全面内战，国军部队全面实行大整编，第二军奉命整编为第九师，下辖3个整编旅，其中第九师编为整九旅，第七十六师编为整七十六旅，预备第二师编为预备第二旅，此时全师约3万人，全美械装备，驻扎在昆明附近待命。

1947年1月，整编第九师奉命从云南向湖北汉口集结，后接到陆军总司令顾祝同的命令直接到徐州集结，4月上旬，整九师到达徐州，旋即奉命开往临沂归以汤恩伯任总司令的第一兵团指挥，其间整九师预备第二旅改番号为整四十六旅，4月中旬，整九师进至新安镇地区，随后立即被命令开往衮州归王敬久的第二兵团指挥，几天后，又突然接到命令开往大汶口归欧震的第三兵团指挥，欧震为策应济南战役，命令整九师派部进攻肥城，还没到达目的地，顾祝同又命令整九师开往新泰归范汉杰的郑州指挥所指挥，到达新泰后，立即接到开往蒙阴以东协助整二十五师解救被困孟良崮的整七十四师的命令，5月中旬，到达蒙阴以东，并与整二十五师黄伯韬部取得联系，但为时已晚，国军“五大主力”之一的整七十四师已在孟良崮被解放军全歼，7月上旬，陆军副总司令范汉杰兼任胶东兵团司令官，整九师归胶东兵团建制，随后为策应整十一师进攻南麻，整九师奉命向沂水进军，7月中旬，整九师占领沂水，7月下旬，由于整十一师被华东野战军包围于南麻，整九师奉命增援，9月上旬，整九师奉命由平度以西之大营向平度进攻，另外因整四十六旅在沂蒙山区损失严重，已把能作战的单位分拨到整九和整七十六两旅，整四十六旅后调补充，所以此时整九师只剩下整九和整七十六两个旅，其间与华东野战军第十三纵队第三十九师在平度城外发生战斗，随后占领平度，九月中旬，整九师向华东野战军第十三纵队第三十八师守备的高山、勾山阵地发起猛攻，不久占领夏甸，10月上旬，整九师和整四十五师由亭口、高密、潍县增援被困守在范家镇的整六十四师，由于华东野战军的奋力阻击，整九师被阻挡在红石山以东地区，未能按时到达增援地点，致使孤军突进的整四十五师第二一一旅在山阳庄地区被全歼，11上旬，整九师奉命从高密西调潍县，在朱阳、丈岭地区与华东野战军第二、七、九纵队遭遇，并发生激战，由于敌众我寡，整九师被迫占领大小麻湾、丈岭、刘河埠、万家庄等村落据守，11月中旬，整九师在整六十四师等部的接应下，“交替掩护”地向大沽河以东胶县、城阳地区撤退，随后蒋介石在青岛召开军事检讨会，整九师师长王凌云被指“作战不力”当场被撤职，调任军委会中将高级参谋，空缺的师长一职由副师长张金廷提升继任，11月下旬，由于整五十四师主力和整一九八旅分别在海阳地区和现子湾、上下仙游一带被华东野战军包围，整九师第七十六旅奉命增援，结果又被华东野战军第七纵队包围于南阡地区，后由于华东野战军主动撤围，才得以逃脱。

1948年1月上旬，整九师原师长王凌云任第十三绥靖区司令官，整九师拨归第十三绥靖区建制，而原归属整九师的整四十六旅改隶整五师，此时整九师下辖整九、整七十六两个旅，1月下旬，整九师在师长张金率领下由山东青岛到达湖北汉口，然后由司令官王凌云带领到达河南南阳——第十三绥靖区驻地，随后，整九师在南阳城内修建了飞机场，构筑了城防工事，并对部队开展整补训练，5月上旬，整二十师和整五十八师分别被中原野战军包围于兴隆集、马柳营一带，整九师奉命增援，向马柳营地区猛攻，策应整五十八师突围，两天后，整五十八师被全歼，整九师则退回南阳加强防务，7月间，第十三绥靖区司令官王凌云获得情报称方城县一带有中共部队的军事仓库，命令整七十六旅副旅长张桐森率领二二八团王英冠部前往搜查掠夺，谁知在柳河地区被中原野战军包围，全部被歼，只剩下张桐森只身逃回，8月上旬，军委会在南京召开军事检讨会，会议决定取消整编师、旅的编制，所以整九师正式恢复第二军的番号，下辖第九、七十六两个师，原下辖的四十六师改隶第五军建制，11月上旬，第十三绥靖区接白崇禧的命令，放弃南阳，第二军随总部经新野向襄阳撤退，其间原军长张金廷因病调往国防部任中将部员，空缺的军长一职由副军长陈克非提升继任，12月上旬，第二军奉命开往荆沙，并脱离第十三绥靖区建制，改归宋希濂的第十四兵团指挥，下辖原来第九、七十六两个师外，另外新组建第一柳丝师归其建制。

1949年1月，第二军随第十四兵团主力布防于当阳一带，企图掩护鄂西江防，控制四川门户，2月上旬，解放军江汉军区部队突袭荆门，第二军奉命增援，但路途遥远，直至守军第七十九军被击溃，荆门失陷，第二军的援军方至，对战局已於事无补，3月，第二军布防于宜昌一带，6月下旬，第二军奉命和第一二四军协同作战，向远安、当阳地区实行反击，并收复两座县城，7月，解放军四野部队发动宜沙战役，第二军由宜昌地区北进，与解放军第四十七军在当阳东北处发生遭遇战，解放军第十三兵团各部见状立刻实施迂回包围计划，第二军发现解放军主力的意图后，全线退回宜昌，解放军尾随追击，7月中旬，解放军各部对宜昌形成包围之势，第二军等部惧怕被歼，乘夜向三斗江方向撤逃。

1949年9月，第二军军长陈克非升任第二十兵团司令官，第二军改归该兵团指挥，此时第二军主力集中在巴东县城附近，主要负责巴东至野三关一线防务，10月中旬，解放军攻下大庸、永顺后，直接威胁到宋希濂集团的侧翼，第二军协同第一二四军奉命在咸丰、宣恩、恩施一线占领阵地，掩护宋集团主力撤退，11月上旬，第二军先行退入四川，以彭水为中心沿乌江布防，同月中旬，第二军由彭水西渡乌江撤退，撤退中不慎烧毁彭水县城，第二军第九师在逃至彭水县马头山、马草坝地区时设伏，击溃追击而来的解放军第十二军第三十六师第一0八团，致使该团损失八百余人，随团前进的师参谋长安仲琨阵亡。11月下旬，第二军随兵团通过白马山时，被占领山头的解放军截断，只有军直属队通过，后续的第九、七十六、一柳丝等3个师被迫另寻小路南逃，与军部失去联系，12月上旬，兵团司令官兼军长陈克非率领第二军军部直属队到达成都，兵团部兼军部驻扎在陴县县城，12月24日，陈克非率领第二十兵团共12000余人在陴县县城通电起义，而后奉解放军命令移至安岳、乐至、宜宾地区。

1950年初，第二十兵团部的电台收到失去联络多时的第二军各师电报，兵团司令官兼军长陈克非随即命令各部就地起义，各师将领回电“愿随钧座共荣辱”，遂接洽解放军就地进行起义，并奉命向宜宾集结，只有第七十六师一部由师长张桐森带往西昌。

后来国民革命军第二军被改编为人民解放军第五十军第一六七师一部，军长陈克非任解放军第五十军副军长，而以第九师为主的起义部队改编为第五十军第一六七师第四九九团；而被张桐森（此时已被中央委任为第二军副军长的虚衔）带往西昌的第七十六师残部于1950年3月在西昌与追击而至的解放军发生战斗，其中228团大部被歼，226团和227团一部于1950年5月向解放军投降，至此，国民革命军第二军已走到历史的尽头。