江都郡丞王世充闻听，也想攀附，竟献来数十面铜镜屏风。每面屏风高五尺、阔三尺，镜面光亮如洗，能照出人影。杨广命人将屏风搬入寝宫，环绕在床榻周围，每夜与宫女交欢时，各种情态都映在镜中，纤毫毕露。他大喜道：“绘画都是虚的，这般才是真容，比画强万倍！”当即厚赏王世充，还给他升了官。
杨广在迷楼中住了数月，又动了南巡的念头，想带着后妃、宫女和文武百官再下江南。可内使却奏报，之前的龙舟都被杨玄感的乱党烧光了。他只得命江都官吏再造龙舟，自己则暂时留在迷楼中等待。
谁知一天夜里，西苑突然失火，杨广以为是乱军杀进了宫，吓得连鞋都来不及穿，从迷楼中奔逃出来，藏在草丛里瑟瑟发抖。直到苑中杂役把火扑灭，他才敢出来。经此一吓，他竟得了心悸病，夜里常常梦见有贼来杀他，必须让几名宫女在旁摇晃抚拍，才能勉强入睡。
光阴似箭，转眼到了大业十二年秋初，江都的工匠终于造好了比之前更宏大华丽龙舟。杨广大喜，立刻命许廷辅筹备，选定吉日启程。
右候卫大将军赵才实在看不下去，冒死进谏：“如今百姓疲惫，国库空虚，盗贼遍地，禁令不行！愿陛下速回西京，安抚百姓，切勿再南巡了！”杨广闻言大怒，当即下令把赵才打入大牢。建节尉任宗又入宫上书劝谏，竟被杨广命武士在殿上活活杖毙。九品官崔民象和王爱仁捧着谏书跪在西苑门外求见，杨广不仅不见，还命武士撕裂他们的两腮，然后斩首示众。自此，再也没人敢阻拦他南巡。
这次南巡，杨广带上了萧后、所有妃嫔夫人，还有文武百官，仪仗护卫的人数比第一次还要多。船队行至宁陵到睢阳的河道时，屡次搁浅。杨广派人探测，发现河道淤浅的地方竟有一百二十多处，他怒不可遏：“这分明是从前的工役不尽心，耽误了国家大事！若不严惩，如何服众？”当即命刘岑追查当年开挖这段河道的役夫，悉数逮捕，然后将他们倒埋在河岸下，恶狠狠地说：“让他们生做开河夫，死做抱沙鬼！”最终，刘岑捕得五万余人，全部按杨广的命令活埋，河岸下顿时成了人间地狱。
到了江都后，杨广的荒淫变本加厉。他在行宫中开设了数十间奢华的房间，每间房住一个美女，让她们轮流做“东道主”，自己则当“宾客”，每日到一间房里饮酒宣淫，逐一临幸。此时的杨广已年近五十，本就精力不济，又为了纵欲常服春药，起初还能勉强支撑，后来便渐渐精力枯竭，各种病痛缠身。
可他依旧不管不顾，直到中原的警报接连传来：先是杨玄感的同党李密，与单雄信等人在瓦岗寨聚众称雄，列举了杨广十条罪状，写成檄文传遍天下，响应者无数；接着，太原留守李渊与其子李世民起兵二十万，攻入西京长安，拥立代王杨侑为帝，遥尊杨广为太上皇，李渊自任大丞相，总揽军政大权，他的儿子李建成、李世民、李元吉也都封了公。后来，李密率军逼近东都洛阳，李渊则命李建成、李世民东征，名义上是驰援东都，实则是想牵制李密，争夺中原。
杨广见中原大乱，心中终于有了一丝不安。他常常头戴绢巾，身穿短衣，拄着拐杖在宫中的楼台庭院里徘徊，急切地观赏景物，仿佛怕来不及享受。他通晓天文星象，又喜欢说吴地方言，有时会拉着萧后登上高台，一边饮酒一边仰观星象。一次，他喝得微醉，用吴语对萧后说：“如今外面有很多人想害我，可我就算丢了天下，也能像陈后主那样做个长城公，你也能做沈后，咱们暂且只管眼前行乐吧！”萧后素来柔顺，只能在一旁附和。
一天早晨，杨广起床后对着镜子自照，忽然叹气对萧后说：“好头颈，不知将来会被谁砍去？”萧后大惊，问他为何说这般丧气话，他却淡然道：“贵贱苦乐，循环往复，有什么可惊的？”
不久，江都的粮食耗尽了。护驾的将士大多是关中人，客居异乡已久，都思念故土，可杨广见中原已乱，竟不想北归，还想迁都丹阳，保住江南半壁江山。将士们自然不愿，军心愈发涣散。
没几天，护驾将领窦贤竟带着部下不辞而别，向西逃走。杨广得知后，立刻派人追杀窦贤，想杀鸡儆猴。可将士们都知道隋朝气数已尽，逃走的人还是越来越多。虎贲郎将司马德戡、直阁将军裴虔通、虎牙郎将赵元枢等人也暗中商议，准备一起西逃。
就在这时，将作少监宇文智及却站出来反对：“主上虽然淫虐，但仍有威令！你们若是逃走，恐怕会重蹈窦贤的覆辙！如今天下大乱，群雄并起，咱们手下有几万人，若是趁机举事，小则为王，大则称帝，何必要逃？”
众将领一听，都觉得有理，便推举右屯卫将军宇文化及为帅，暗中筹备谋反。
此时，将士们议论造反的事已经毫不避讳。一个宫女听见后，连忙禀报萧后：“外面的人都想造反了！”萧后道：“你快去告诉陛下。”宫女连忙去奏报杨广，谁知杨广竟勃然大怒：“你懂什么国事，敢在这里妄言！”当即命人把宫女拖出去斩首。从此，再也没人敢向他禀报实情。
这天夜里，司马德戡在城东门集合兵士，举火与城外的军士呼应。杨广正和后妃们饮酒消愁，见东面火光冲天，又听到一片喧哗，慌忙召来裴虔通询问缘由。裴虔通撒谎道：“不过是草坊失火，外面的军民正在扑救，陛下不必担心。”
杨广信以为真，命裴虔通出去严加防备，自己则继续酣饮，直到醉意醺醺，才拥着萧后和朱贵儿回寝室入睡。
拂晓时分，司马德戡率军杀入行宫，裴虔通在宫内接应。几个不愿谋反的将领奋起抵抗，却因寡不敌众，悉数被杀。司马德戡和裴虔通率军冲入寝殿，却发现里面空无一人，只得率军四处搜寻。
裴虔通刚出寝殿，就撞见一个宫人挟着细软想逃，当即把她捉住，逼问杨广的下落。宫人起初不肯说，被裴虔通用刀威胁，才指了指西阁。
裴虔通立刻率军赶往西阁，校尉令狐行达持刀在前。杨广、萧后和朱贵儿听到动静，早已从寝殿逃到了西阁。杨广听见阁外人声嘈杂，开窗探视，正好撞见令狐行达持刀走来，慌忙问道：“你想杀我吗？”
令狐行达道：“臣不敢，只是想侍奉陛下西归。”说罢，便冲入阁内，逼杨广下楼。
这时，裴虔通也率人赶到，一面命令狐行达看守杨广，一面派人去迎宇文智及入宫。
天已大亮，宇文智及在司马德戡的迎接下进入殿中，被推为丞相，召集百官。裴虔通得知后，对杨广说：“百官都在朝堂上，等着陛下前去慰谕。”
杨广不愿出阁，裴虔通便强行把他架出来，又命卫士牵来一匹马，逼他骑上，挟持着出宫。将士们见杨广被押出来，顿时欢呼躁动。宇文智及见状，高声道：“把这东西拉出来有什么用？快送回寝殿下手！”
裴虔通只得又把杨广押回寝殿，与司马德戡持刀立于两旁。杨广叹道：“我有何罪，竟落到这般田地？”
护驾将领马文举厉声回道：“陛下背弃宗庙，巡游不止，对外连年征战，对内奢侈荒淫！百姓男丁死于刀刃，妇孺填于沟壑，士农工商无法安居乐业！陛下还专任奸佞，拒谏饰非，怎能说无罪？”
杨广辩解道：“朕虽负了百姓，却不曾负你们！朕给了你们荣华富贵，你们为何要背叛朕？今日之事，是谁为首？”
司马德戡冷声道：“普天同怨，何止一人！如今天下大乱，两京已被贼寇占据，陛下归无路，我们也求生无门！既然已经背叛陛下，就不能回头了，愿借陛下首级，以谢天下！”
杨广吓得魂飞魄散，一句话也说不出来。
他的爱子赵王杨杲，年仅十二岁，见父亲被刀逼迫，吓得拉着杨广的袍襟号啕大哭。裴虔通听得心烦，手起刀落，将杨杲杀死，鲜血溅了杨广一身。裴虔通又举刀要杀杨广，杨广忙道：“天子自有死法，怎能用刀？快拿鸩酒来！”
马文举等人不许，令狐行达上前逼他自决。杨广无奈，只得解下束发的绢巾，递给令狐行达。令狐行达接过绢巾，套在杨广的颈上，用力一勒——这个荒淫无道的隋炀帝，转眼间便气绝身亡。
杨广在位十三年，死时五十岁。他死后，宇文智及下令诛杀杨氏宗室、外戚，无论老幼，无一幸免。盛极一时的大隋王朝，也随之走向了灭亡。