吕颐浩料定必将有人会出来反对此事，他希望这个人是胡安国。而胡安国也果然没有让吕颐浩失望，他第一个站出来发出了反对的声音。
　　为了说服赵构，胡安国还历数了朱胜非的三条大罪：“附会汪伯彦和黄潜善，主张南逃江南；尊用张邦昌，结好金国；苗刘之变，身为宰相没有以身殉职，而是苟且偷生。”

　　吕颐浩看了胡安国的上书，差点直接笑出来了。平乱的四大功臣之一，竟然被你说的如此不堪，你让皇帝的面子往哪摆。须知，若不是朱胜非左右斡旋，策反苗刘的狗头军师王世修、王均甫、马柔吉等人，现在有没有赵构还是个问题。
　　正如吕颐浩所想的那样，赵构亲自出面为朱胜非说情。赵构给胡安国下了一道御笔亲札，向他讲明委朱胜非以重任的理由：“苗傅、刘正彦谋逆作乱之时，正是朱胜非调护于内，使勤王之师得以顺利进展。现在的几位统兵大将（指韩世忠、张俊、刘光世），当时都是与他同功一体之人。起用朱胜非，他必能使诸将同心协力，确保沿江防线的安全。”
　　见赵构亲自写信给胡安国解释，秦桧又授意继续侍御史江跻上章议论。江跻的找出的理由则是朱胜非乃是一介文人，不懂军事。
　　八月五日，胡安国觐见赵构时，突然又旧事重提，请求赵构把靖康之难时不能守节的“僭伪派”大臣逐出朝廷，并向赵构举荐由李纲出任同都督江、淮、荆、浙八路军事之职。
　　赵构问胡安国：“卿何以知李纲能担此大任？”

　　胡安国答道：“宣、政年间，李纲还只是个小官，却敢上章言水灾之事。”
　　赵构无语，这叫什么理由？胡安国答非所问，急不择言，终于惹怒了赵构。
　　“李纲就是凭借这个博得名望，况且我也让他当了宰相。李纲当年解太原之围，让手下士兵往前线冲，自己和属官却躲在怀州，与太原前线相差数千里。李纲为人只会务虚名而处实祸，叫他做宰相只会祸国殃民，而且我也让他当了地方帅臣，也不算大材小用。”
　　说罢，赵构拂袖而去。
　　第二天，赵构将自己与胡安国的谈话告知宰辅大臣，秦桧心里有鬼，连个屁都不敢放。
　　最终，两派斗争的结果是产生出了一个妥协的方案，由孟庾出任同都督江、淮、荆、浙八路军事。不论是从人望还是从才能上来看，孟庾既不如李纲，也不如朱胜非，用他肯定是不合适的；但从派系斗争的需要上来看，他是两方阵营都能勉强接受的人选。
　　第一回合，吕颐浩和胡安国算是打了个平手，而秦桧仍旧还在幕后。
　　吕颐浩自然是不会就此罢休，八月十一日，他又就朱胜非的事问了赵构的态度。赵构道：“朱胜非拜相才三日，就遇上苗傅、刘正彦作乱，当时多亏他周旋调护，这些事朕岂不知？现在不得已取消了对朱胜非同都督的任命，朝臣中也颇有人上章为朱胜非鸣不平，只有一、二个台谏官持不同意见。可以先给朱胜非安排一个临安府的宫观闲职，并让他当经筵官。”

　　吕颐浩闻听后心中大喜，赵构这是换一个方式召朱胜非入朝。
　　吕颐浩立即拟好了任命朱胜非为提举醴泉观兼侍读的文书。按朝廷的正常程序，此任命书应当下到中书门下省，省内的官员如果有异议，可以行使封驳之权。而胡安国此时任给事中之职，他有权把任命书压住不发，申请再议。因此，吕颐浩特意避开了胡安国，把任命书交给了自己这一派的中书门下省检正诸房公事黄龟年，让黄龟年走完流程，发了下去。
　　消息传开后，胡安国勃然大怒，吕颐浩不仅是剥夺自己的职权，更是破坏朝廷纲纪。胡安国立即上了一道措辞严厉的奏章，以辞职的方式表示强烈抗议。
　　在辞职奏章中，胡安国再度重申不能用朱胜非，而且态度非常强硬，甚至威胁赵构说：“春秋时期，君主的行为不当，臣下可以废黜君主”，还表示自己决不与朱胜非同朝为官。
　　赵构看了之后大怒，杀机顿起，恨不得立马干掉胡安国。不过，在经历了陈东和欧阳澈事件之后，赵构成熟了很多，士大夫是杀不得的，杀了成就的是他们的名声。
　　因此，赵构并没有动胡安国，只是不理会而已。胡安国得不到答复，干脆往家里一躺，不出来了。
　　远在绍兴的朱胜非收到消息后，立即上书赵构要求回乡养老。好你个吕颐浩，两年不见你长见识了，居然拿老子作为你和秦桧争权的筹码。作为一流的政客，朱胜非算是秦桧、吕颐浩等人的前辈，吕颐浩那点伎俩岂能瞒得了朱胜非。
　　赵构坚决不允，为此还给朱胜非下了一道抚谕诏：“卿所作所为，于礼义并无违背，大可不必在意他人的流言；君臣之间相互信任，纵使有人议论，又何伤大体？”
　　这道诏书表明赵构已经铁了心要召回朱胜非，胡安国的力阻已经起不了作用了。
　　至此，双方的第二回合战斗基本结束，吕颐浩已经胜利在望了。
　　然而，就在这个关键时刻，一个突如其来的消息打乱吕颐浩的计划，动摇了赵构的决心，差点影响了双方第三回合的胜负。
　　八月十六日，朝廷突然接到了刘光世的奏报，在奏报中刘光世称早年被扣押在金国的南宋使臣王伦被放回来了，并且带来了金国有意息兵议和的消息。
　　赵构的内心充满了疑惑，他已经被金国忽悠怕了，生怕金国还是继续使用以和谈佐攻战的故伎。但赵构又心怀侥幸，万一金国真的有意和谈呢？

　　赵构实在无法作出准确的判断，于是，他立即下诏命王伦火速赶往临安府，他迫切需要从王伦口里知道更多、更详细的情况。
　　本来，赵构已经倾向于吕颐浩的意见，准备用朱胜非取代秦桧，但现在他又犹豫了，如果金国真有息兵议和之意，那还是把秦桧留下为好，或许能发挥很大的作用；只是用这个人的时候，必须严加提防。
　　吕颐浩觉察到了赵构态度的微妙变化，他也开始忧心忡忡。如果赵构为了议和又转而决定留下秦桧，则他的一切努力都将白费。于是，吕颐浩又多次在赵构面前游说，设法坚定赵构的决心。
　　绍兴二年八月二十一日，胡安国这个洛学教主最终被赵构赶出了朝廷。至此，第二回合较量结束，吕颐浩取得了胜利，如愿以偿地挤掉了胡安国。第三个回合即将开始，秦桧和吕颐浩将在这最后一个回合里分出胜负。
　　胡安国离朝，是秦桧无法忍受的损失。于是，秦桧一党纷纷上书，要求赵构收回成命，继续留胡安国在朝廷。
　　赵构不为所动，对秦桧一党的上书不予理会。
　　在秦桧的支持者的一片反对声中，朱胜非应召来到了临安府。赵构命人以隆重的礼节迎接这位患难之臣重返朝廷。
　　朱胜非觐见时，赵构对他嘘寒问暖，关切之情溢于言表，并且还特别说明：“此前让卿承担苗刘兵变的责任，罢相降职，这不是出自朕意，卿应当能够体谅。”
　　朱胜非此时的官职还只是提举醴泉观兼侍读，但赵构却下了一个在宋朝绝无先例的命令，特许朱胜非上朝时位列于宰相班中。