隋朝灭亡之后，隋炀帝的后代哪里去了?很多人以为他们在隋朝灭亡时被斩尽杀绝了。事实并非如此。《唐会要》记载，唐朝建立之初，曾经有过一项独特的规矩，朝廷每年给予“二王”极为优厚的待遇。所谓“二王”，是指唐朝之前的两个朝代北周、隋朝两朝皇帝的后代。
唐朝皇帝为了显示自己泱泱大国的风范，明文规定，两家的后代“子孙准同正三品荫，隋后每年给绢三百匹，米粟三百石。周后每年赐绢二百匹，粟二百石。”因此唐朝建立后，隋炀帝的后代还受到了很好的优待，不仅可以世袭做官，不低于正三品，除了俸禄之外，还可以领到一笔丰厚的赏赐，小日子过得那是相当不错。隋炀帝的孙子杨政道，杨政道之子杨崇礼，杨崇礼三个儿子杨慎矜、杨慎馀、杨慎名，都在唐朝为官。
杨崇礼在世时，担任过唐玄宗的太府卿，为唐朝皇帝掌管皇室的金银财货。因为尽职尽责，认真细致，数十年如一日，账目毫无差错。杨崇礼年老退休后，唐玄宗意犹未尽，又让杨崇礼的长子杨慎矜接替他父亲，继续掌管太府。杨慎矜和他父亲一样，都对工作兢兢业业，把唐玄宗的皇室财产打理的井然有序，深得皇帝欢心。
杨慎矜和他两个弟弟杨慎馀、杨慎名，“皆伟仪形，风韵高朗，爱客喜饮，籍甚于时”，身世高贵，相貌堂堂，仪态洒脱，喜爱结交社会名流，又都同朝为官，受到唐玄宗的信任，名重一时。然而谁知天有不测风云，因为一件意外之事，三兄弟同时遇害，让世人惋惜不已。
杨慎矜平时结交了三教九流各色人等，与一个名叫史敬忠的人交情莫逆。史敬忠是一个江湖术士，两人在一起经常秉烛夜谈，通宵达旦，所谈论都是些观天象、厌胜之术、谶语等所谓的江湖法术。杨慎矜有一个侍女名叫明珠，姿色动人，史敬忠经常“屡目之”。杨慎矜看出端倪，就把明珠送给了史敬忠。
史敬忠有一次和明珠乘着马车出游，路过杨贵妃姐姐家的楼下。史敬忠交游极广，杨贵妃的姐姐也认识他，就把他请上楼闲谈，并且一眼看中了聪慧俊秀的明珠，不由分说把明珠要了过来。史敬忠满心不情愿但又惹不起人家，只得勉强同意。
杨贵妃的姐姐有一次带着明珠进宫朝见唐玄宗。唐玄宗也看上了明珠，于是明珠从此留在宫中，成为唐玄宗的侍女。唐玄宗有一天和明珠闲聊，问起她的身家由来，明珠据实相告。一听说她是大臣杨慎矜身边的人，唐玄宗大感好奇，于是不免刨根问底起来。明珠口无遮拦，把杨慎矜与史敬忠交往的过程和细节都说了出来，提到一句二人“坐廷中步星变，白厌胜事”。唐玄宗也听说过史敬忠的名头，知道他是个江湖术士，“上以慎矜与术士为妖法，恶之”。因为杨慎矜身份特殊，是隋炀帝后代，又和江湖术士谈论星相吉凶、厌胜之术等，唐玄宗疑心他有不臣之心。
在唐玄宗授意下，奸相李林甫牵头，掀起了声势浩大的“杨慎矜谋逆大案”。结果杨家三兄弟全部被关入大牢，李林甫等人揣测上意，硬是把杨家三人屈打成招，办成谋反铁案。唐玄宗还专门为此下达亲笔诏书《赐杨慎矜等自尽并处置诏》，杨家三人含冤被赐死，铸成了轰动一时的冤案。