羊祜对吴，无非笼络计策，即陆抗亦为所“愚”。吴主孙皓反以为疑，责备陆抗私交羊祜。陆抗上疏辩驳，并陈守国时宜十二条，均不见行。孙皓且信术士刁元言，谓：“黄旗紫盖，出现东南。荆扬君主，必有天下。”乃大发徒众，杖钺西行，凡后宫数千人，悉数相随。行次华里，正值春雪兼旬，凝寒不解，兵士不堪寒冻，互相私语道：“今日遇敌，便当倒戈。”
孙皓颇有所闻，始引兵还都。陆抗忧国情深，抑郁成疾，在镇五年，竟致溘逝。遗表以西陵建平，居国上游，不宜弛防为请。吴主孙皓因而命陆抗三个儿子分统部军，陆抗长子名元景，次子名元机，又次子名云，陆机和陆云善属文，并负重名，独未谙将略。吴主孙皓却令他分将父兵，真所谓用违其长了。
术士尚广，为吴主孙皓卜筮，上问休咎。尚广希旨进言，说是岁次庚子，青盖当入洛阳。吴主孙皓大喜。已而临平湖忽开，朝臣多称为祯祥。临平湖自汉末湮塞，故老相传：“湖塞天下乱，湖开天下平。”
吴主孙皓以为青盖入洛，当在此时，因召问都尉陈顺。陈顺答说道：“臣止能望气，不能知湖的开塞。”孙皓于是令他退去。
陈顺出宫告诉密友，说道：“青盖入洛，恐是衔璧的预兆。今临平湖无故忽开，也岂得为佳征么？”嗣复由历阳长官奏报，历阳山石印封发，应兆太平。
孙皓又遣使致祭，封山神为王，改元天纪。东吴方相继而称庆，西晋已潜拟兴师，羊祜缮甲训卒，期在必发，因首先上表，力请伐吴，大略如是说：
先帝顺应天意人心，西平巴蜀，南和孙吴，海内百姓得以休养生息，人心安乐。而吴背信弃约，使边境又生战事，国家气数虽是天定，而功业必靠人为，不灭东吴，则士卒百姓无安宁之日。完成统一大业，也是光大先帝功勋，实现无为而治的举措。尧伐丹水，舜征三苗，都是以使宇内安宁，停止兵乱，民众和睦为目的的。当年平蜀之时，天下人都以为应当一并灭吴，而蜀灭至今已十三年，这算一个周期，灭吴的日子应在今朝。
而议论此事者常说吴楚在盛世最后被征服，在乱世最先强盛，这是诸侯纷争的时候，当今天下一统，不得与古时并论。有些说法只适用于大道理而不知权变，所以出谋略的人很多，而可以作为决策的就少了。凡是凭险阻而得生存的国家，是指它的实力与敌国相差不多，有力量固守。如地位轻重不同，强弱相差很大，那智士的计谋也不能救它。险阻的地势也不能保它。蜀国地势不是不险要，高山上接云霓，深谷不见日月，关隘险道，束马悬车方能通过，有一夫操戈，千人莫挡之势。
然而灭蜀进军时，蜀国好像连一道篱笆都没有，我军斩将夺旗，斩杀敌军数万，乘胜席卷蜀地，直捣成都城下，汉中一带的蜀兵，像鸟栖于巢一样不敢出动。这也并非蜀人不愿战，实在是力量不足与我军抗衡。到刘禅投降时，蜀地各营垒官兵便悄然四散。目前江淮的难渡不会超过剑阁，山川的险要不会超过岷山汉水，孙皓的暴虐超过刘禅，吴人的贫困甚于巴蜀，而大晋的军队多于前世，军饷兵械多于往日。不趁此机会平吴，而屯兵据险相守，使士兵役夫日夜辛苦于战争徭役，旷日持久。
这种状况不能维持长久，应当及时定夺，统一四海。如果率领梁、益两州军队水陆并进而东下，荆楚军队进逼江陵，平南、豫州军队进攻夏口，徐、扬、青、兖等州军队进军秣陵，击鼓摇旗作为疑军，多方齐进，使敌军虚实难辨，以东南一角的吴国，抵挡天下大军必然兵力分散，人心慌乱，各种军需紧急难备。这时巴、汉军队顺流而下，直捣空虚腹地，一处陷落则全境震动。吴国国土沿江，没有前线后方之分，东西数千里，处处设防，战场广大，不能安息养精。孙皓肆意妄为，与下属互相猜忌，名臣重将失去信心，所以像孙秀这类人都害怕威胁而来投降。
将帅疑于朝廷，士卒困顿于战场，没有保国安民之计，人心散乱，平时即有叛离之意，一旦兵临城下，必然有人响应而来降，他们最后不会齐心拼死尽忠是可以预见的。
吴人做事急速而不能持久，弓弩戟盾等又不如中原，只有水战于他们有利，但我军一入吴境，长江就不是吴军专有，吴军回头保守城池，则是去其长而有其短。晋军深入敌国，远离后方，必有死战的决心;吴人在本土作战，会有败则退而守城的念头。如此看来，平吴之战是很快可以取胜的。
乞奋神断，毋误事机，臣不胜櫜鞬待命之至。
这奏表呈上，晋武帝司马炎很为嘉奖接纳，即召群臣会议进止。贾充、荀勖、冯紞，却极力反对，朝廷群臣多是同声附和，且言秦凉未平，不应有事东南。
晋武帝因而饬令羊祜且缓进兵。羊祜复申表固请，大略谓：“东吴平定，则胡人自然安定，当前只应迅速完成灭吴的大业，不必迟疑啊。”
晋武帝司马炎终为廷议所阻，未肯急进。羊祜长叹道：“天下不如意事，常十居八九，当断不断，天与不取，恐将来转无此机会了。”
既而晋朝廷有诏封羊祜为南城郡侯，羊祜固辞不拜。
羊祜任职历魏晋二朝，掌握国家机要，重大举措，都要向他咨询，而争权求利的事却与他无关。他所献的好计谋和正直的议论，事后都把稿子烧掉，所以世人很少知道。凡是他所荐拔的人，都不知荐拔人是谁。
有人认为羊祜这样谨慎守密太过分了，羊祜解释说：“话怎能这样说呢，现在一般人在你跟前促膝谈心，像是很亲近，一出门就说假话坏话，所谓君臣之间不守密的训诫，我怕自己还没做到呢？身居要位而不荐拔贤才奇人，岂不在知人问题上有愧吗？况且，被荐举的人在朝廷受职，而却到荐拔者私门谢恩，这是我不愿意做的。”
羊祜的女婿劝羊祜说：“购置些田产家业，也好卸官后有所归宿，后事有所依托，这样不是很好吗？”
羊祜当时没有答话，事后告诉子女们说：“这种说法是知其一不知其二。作为人臣，经营私业就违背公事，这是很糊涂的做法，你们应记住我这些话。”
羊祜曾经给从弟羊琇写信道：“东吴平定之后，我当戴上隐士的角巾，东回故里，经营一个能容棺材的坟墓。一个贫寒之士而至身居重位，怎能不因势盛气满而受指责呢？汉朝的疏广就是我的榜样。”
咸宁三年（277年）冬十二月，吴夏口都督孙慎侵入西晋边界，掠走弋阳、江夏等地上千家人口。羊祜没有派兵进行追击。事后，晋武帝司马炎派人追查原因，并打算移徙荆州的治所。
羊祜说：“江夏离襄阳八百里，等知道吴贼侵犯的消息，贼已离去几天了，再派兵去，哪能救护百姓呢？让军队来回奔波，只图不受责备，这样做恐怕不合适。从前魏武帝设置都督，大致都与州府接近，因为军队宜聚合而忌分散。国境线上一方是敌，一方是我，认真守住边界就算了，这是古代人有益的教诲。如频繁迁徙州府所在地，敌人出没无常，很难确定州府应设在哪里。”
使者也无法责问羊祜了。
后来，羊祜因击吴有功，应当增封爵位或食邑。他请求将自己的这份恩赐转给舅父的儿子蔡袭，于是晋武帝司马炎下诏封蔡袭为关内侯，食邑三百户。
咸宁四年（278年）八月，羊祜患病颇剧，力疾求朝，既至都下，晋武帝司马炎命乘车入视，使卫士扶羊祜进入殿门，免行拜跪礼，赐令侍坐。
羊祜仍当面奏请伐吴，且言：“臣死在朝夕，故特入觐天颜，冀偿初志。”
晋武帝司马炎好言慰谕，决从羊祜之谋。羊祜乃趋退，暂留洛都。
晋武帝司马炎不忍其多劳，常命中书令张华，衔命访问羊祜。羊祜告诉张华道：“当今主上有受禅让的美名，但功德尚未着称于世，吴人暴政已到极点，此时伐吴可不战而胜。统一天下而兴办文教，则晋主可比尧舜，而臣下犹如稷契，这是百代难逢的盛事。如果放过这个机会，孙皓或不幸死去，吴人另立英明君主，虽有百万大军，长江是难以越过的，这不是留下后患吗？”
张华连声赞成。羊祜唏嘘道：“我恐不能见平吴盛事，将来得成我志，非汝莫属了。”
张华唯唯受教，复告晋武帝。晋武帝复令张华代为传达己意，欲使羊祜卧护诸将。祜答道：“取吴不必我亲自参加，但平吴之后还要圣上操心去治理啊！关于功名的事，臣不敢自居。若我的一生即将完结，应当将未成事业托付他人，希望能审慎选出这个人。”
同年十一月，羊祜病重而逝，享年五十八岁。
并在临终前举荐度支尚书杜预自代。
他死后，晋武帝司马炎亲着丧服痛哭，时值寒冬，晋武帝司马炎的泪水流到鬓须上面，都结成了冰。荆州百姓在集市之日听说羊祜的死讯，纷纷罢市痛哭，街巷悲声相属，连绵不断；吴国守边将士也为之落泪。
随后，晋武帝司马炎下诏追赠羊祜为侍中、太傅，谥号为“成”；赐“东园秘器，朝服一袭，钱三十万，布百匹。
羊祜为人清廉节俭，服饰简易朴实，所得俸禄都用来接济亲族，赏赐军士，家中无余财，临终遗嘱，不能将南城侯印置入棺材。从弟羊琇等向司马炎陈述羊祜平生的志愿，要求葬在先人墓旁，晋武帝司马炎不许，将离洛阳城十里外的一顷地赐给羊祜作墓地。
羊祜的灵柩及送葬队伍出发时，司马炎在洛阳的大司马门南边奠祭送行。
羊祜的外甥、齐王司马攸又在奏表中替羊祜之妻夏侯氏表明其家不愿以侯礼安葬羊祜的意见，晋武帝司马炎下诏说：“羊祜生前多次辞让官爵，此意不可勉强。身虽死而谦让之德存，更能激励后人，伯夷、叔齐因辞让而称贤，季札因辞让而全节，正是这个原因。现恢复原来封爵，以表彰其高风美德。”
羊祜生前喜游山水，风景美好的日子，一定到襄阳城南的岘山游乐，饮酒赋诗，终日不倦。有次，羊祜慨然叹息，对从事中郎邹湛等人说：“自从有了宇宙便有此山，自古以来的贤达高士，像我和你们一样，登上此山眺望游乐的不知有多少，但都淹没无闻了，想来令人悲伤。如死后有知，我的魂魄仍会登此山的。”邹湛说：“您德冠四海，道接前哲，美好的业绩和名望一定和岘山一样永存于世，至于我等之人，才像您说的会淹没无闻啊！”
羊祜的仁德流芳后世，襄阳百姓为纪念他，特地在羊祜生前喜欢游息之地岘山建庙立碑，原名为晋征南大将军羊公祜之碑，简称羊公碑。此后每逢时节，周围的百姓都会祭拜他，睹碑生情，莫不流泪，羊祜的继任者、西晋名臣杜预因此把它称作堕泪碑。
太傅何曾，同时逝世。何曾性极孝，闺房私事也很严谨，从少年至成年，不追求声色享受。年老之后，与妻子相见，总是衣冠整齐，相待如宾。自己南面而坐，妻子北面再拜，然后上酒，饮酒罢即出去。一年中，如此见面应酬不过两三次。司隶校尉傅玄曾经撰文称赞何曾与荀顗的孝行。
惟阿附之臣贾充，无所建白，自奉甚厚，一食万钱，尚谓无下箸处。
朗陵公何曾逝世，朝廷下令礼官议定何曾的谥号，秦秀批评何曾“资性骄奢，不循轨则”，认为虽然他在生时没被弹劾，但死后都应加以恶谥，以警剔其他王公大臣，否则礼教就荒废。故此秦秀建议谥号为“丑缪公”。
虽然晋武帝司马炎最终都没有采纳秦秀的建议，而自赐谥号为“孝公”，但听闻秦秀议谥的语句后都甚为恐惧。
秦秀本人亦十分痛恨佞臣，甚至视之如仇敌，秦秀一向都鄙视何曾之前为为曹魏之臣却杀害曹髦、在朝中兴朋党之争的权臣贾充。
晋武帝正拟举兵伐吴，忽然听闻凉州兵败，刺史杨欣，又复战死，晋武帝司马炎又未免踌躇，仆射李熹，独推举匈奴左部帅刘渊，使他讨伐树机能，侍臣孔恂谏阻道：“非我族类，其心必异，刘渊岂可专征？若使他讨平树机能，恐西北边患，从此益深了。”晋武帝于是不从李熹之言。
这刘渊乃是西晋祸首，既经叙及，不得不详为表明。从前南匈奴与汉朝和亲，自称汉甥，冒姓刘氏。魏祖曹操，曾命南匈奴单于呼厨泉，入居并州境内，分匈奴部众为五部。左部帅刘豹，乃是呼厨泉兄长之子，部族最强。后司马师用邓艾之计，分左部为二，另立右贤王，使居雁门。
刘豹之子名渊，字元海。刘渊的母亲呼延氏也是匈奴人，大约在曹魏嘉平四年（252年）或嘉平五年（253年）生下刘渊。刘渊自幼就十分聪慧伶俐。呼延氏去世时，他年仅七岁，就像大人一样号哭不绝，哀感四邻。宗族部落的人都为之赞叹。当时的司空王昶听到此事，也派人送来办丧事用的财物，以褒奖刘渊的孝道。
刘渊所在的匈奴部落，因久在汉地，汉化程度较高，故刘渊自幼就拜上党士人崔游为师，学习《毛诗》《京氏易》《马氏尚书》等儒家经典。他特别喜欢读《春秋左氏传》和《孙吴兵法》，并大体上可以将这些书籍的内容背诵出来。刘渊很是勤勉好学，除学习上述典籍外，还能博览《史记》《汉书》及诸子百家的学说。他曾对同学朱纪、范隆说：“每当我读《汉书》列传时，常常鄙视随何、陆贾没有武功，周勃、灌婴缺乏文治。承上启下，开创大业，全在于人。做不到博学广识，是君子的耻辱。随何、陆贾在汉高帝开国之世而不能建军功封侯，周勃、灌婴辅佐汉文帝却不能设学立教，真是可惜啊！”于是他又学习武事，并且武艺超众，擅长射箭，体力过人。
成年后的刘渊，身高八尺四寸，胡须三尺余长，体态魁伟，一表人才。屯留人崔懿之、襄陵人公师彧以善于相面着称，据说他们在见到刘渊后，大惊失色说：“此人形貌非凡，平生头一次看见。”于是对刘渊非常崇敬，甘居其下与之交结。出身太原王氏的王浑也虚襟与刘渊交友，命其子王济拜见刘渊。
曹魏咸熙年间（264年－265年），刘渊作为匈奴任子居住在洛阳。关于他在洛阳时的经历，多有神奇之处。据《晋书·刘元海载记》记述，刘渊刚到洛阳，便受到掌握曹魏政权的权臣司马昭的礼遇。等到西晋建立后，时为越骑校尉的王浑屡次向晋武帝司马炎谈起刘渊。
晋武帝遂召见刘渊，与之交谈后，非常高兴，对王济说：“刘渊仪表堂堂，即使是由余、金日磾也无法与之相比！”
王济回答说：“刘渊的仪表，诚如圣上所言，但他的文武才干却远在由余、金日磾之上。陛下如果用他负责对东吴征伐，平定江南，指日可待。”
晋武帝深以为然。但孔恂、杨珧却进言道：“臣下观察刘渊的才能，感到当今之世恐怕无人与之匹敌。陛下如果让他掌握少量兵马，则平吴事难成；若授以威权，则平吴之后，恐怕他将据有江南，不复称臣。与我族类不同者，其心必然不同。以刘渊统帅其部族，臣下尚且为陛下担忧寒心。如果以有天险为凭依的江南资助刘渊，怎么可以呢！”
晋武帝司马炎听后，默然不语，此议遂作罢。
刘渊得知消息，密语好友王弥道：“王浑、李憙与我同乡，对我的为人深知熟知，常向皇帝称赞推荐，离间的谗言因此随之而生。这一切本不是我之所愿，却深受其害。我并不想为官仕进，这一点只有你清楚。恐怕今生只能死在洛阳，与你永别了。”
因而纵酒长啸，欷歔流涕。当有人告知齐王司马攸，司马攸入奏晋武帝道：“陛下不除刘渊，臣恐并州不能久安。”
王浑在侧，独替刘渊解免道，“大晋方以信义怀柔殊俗，奈何无故加疑，杀人侍子呢？”
晋主司马炎遂释刘渊而不诛，没多久，刘豹死，竟授刘渊为左部帅，出都而去。纵虎归山。
已而复闻树机能攻陷凉州，晋武帝且忧且叹道：“何人为我讨平此虏？”
道言未毕，左班内闪出一人道：“陛下若肯任臣，臣决能平虏。”
晋武帝司马炎瞧将过去，乃是司马督马隆，便接口道：“卿能平贼，当然委任，但未知卿方略何如？”
马隆答道：“臣愿募勇士三千人，率领西行，陛下不必预问战略，由臣临敌制谋，定能报捷。”
晋武帝大喜道：“卿能如是，朕复何忧？”
当下命马隆为讨虏将军，兼武威太守。廷臣多言马隆本是小将，妄谈难信，且现兵已多，何必再募勇士？晋武帝不听，一意委任马隆。马隆设局选拔勇士时，合格的人要能拉起三十六钧（约238公斤）的弩和四钧（约26公斤）的弓。到中午时选得三千五百人，马隆即要到武具库选杖，但武库令与马隆有积怨，只给一些已经腐朽的杖给马隆，马隆不满而遭御史中丞弹劾，马隆力争后，把物品分给勇士，一边入朝辞行。
晋武帝面许给三年军资，马隆拜命出都，向西进发。行过温水，树机能等拥众数万，据险拒守。
马隆见山路崎岖狭窄，于是依八阵图制作了偏箱车，到广阔地方就列成鹿角车营，到狭窄地方就设木屋放在车上，一边战斗一边前进，沿途箭无虚发，敌人纷纷应弦而倒；另又在道路两边放置大量磁石，因为对方穿着铁制铠甲，会被磁石吸引，故此受制于磁石阵；但马隆部众却穿犀甲，经过磁石时无任何影响，于是能够有效打击对手。行军千余里后，秃发树机能部队伤亡惨重。
马隆且战且前，并令勇士挽弓四射，发无不中。胡兵多应弦倒地，有几个侥幸脱彀，均皆骇散。因此马隆冒险进兵，如同平地，转战千里，未尝一挫，反杀伤胡虏数千人，得直抵武威镇所。
自从马隆领兵西进，音闻杳然，好几月不见军报，晋朝廷颇以为忧。或谓马隆已陷没，故无音耗，及马隆使到达，始知他已安全抵达武威。
晋武帝抚掌欢笑，自喜知人，诘朝召语群臣道：“朕若误信卿等，是已无秦凉了。”
群臣怀惭退去。晋武帝司马炎即降诏奖励马隆，加命马隆为假节宣威将军，加赤幢曲盖鼓吹，未几，又得马隆捷报，已擒得降鲜卑部酋数人，得众万余，又未几更闻报大捷，十年以来的巨寇树机能，竟然被马隆乘胜奋斫，斩杀枭首于凉州，秦凉各境，一律肃清。有诗咏道：
用兵最忌是拘牵，良将功成在任专。
十载胡氛从此扫，明良相遇自安全。
秦凉既平，晋武帝司马炎拟按功行赏，偏朝上一班奸臣，又复出来阻挠，毕竟马隆众能否邀赏，且看下节再表。