天宝五年春，正月十三日，诏以陇右节度使皇甫惟明兼河西节度使，入朝任鸿泸卿。施行之下传至洮郡，咸直公主于京中传来消息，可能与已不利，李扬更是小心从事，任何事务皆不敢张口，只做了个哑巴司马。
过几日，杨钊又至书中安慰道：“妹婿不必小心，过几日便好。”果然二十三日，又传消息，至尊因皇甫惟明与韦坚结朋党密谋他事，下制书责韦坚谋求上位官职，存有野心，贬为缙云太守；皇甫惟明为挑拨离间君臣之间的关系，贬为播川太守。一时朝中大哗，人人皆是寒栗。
李扬回想杨钊之书中所说，便是叹了一声，私于妻杨氏小荷道：“朝中风云莫测，实是心寒。”便生了归隐之意。
月底，留于长安宅中的刘五遣人送书，将此事说透，原因也简单，不过是权势相争罢了。太子享与李林甫暗中不睦，本来他是想立寿王而陛下改为忠王，这便恐日后有不利，便日日想废之。这皇甫惟明、韦坚又与太子善，加之皇甫惟明入朝后曾劝至尊，‘林甫专权，恐为大唐之祸，不如改为刑部尚书韦坚代之。’早已收买至尊身边左右的李林甫隔日闻之，心中大恶。遂今御史中丞杨慎矜密查其所动向，以图把柄。十五之夜，太子行游，私会韦坚，而韦坚又不爱自身，转而密会皇甫惟明于景龙观。杨慎矜次日上书至尊，言其为太子亲戚之人，不该与边将狎混。二人之间行迹鬼魅，是否存有不当。至尊疑之，李林甫又使御史中丞王鉷上奏道，陛下，历来边将与国戚交通，不外乎谋权二字。但韦坚为太子亲，这恐怕是否对陛下有不利之图。李隆基这才大怒，朝责韦坚与皇甫惟明为逆，令兵部铨曹案中之能手京兆府法曹吉温审其事。韦坚、皇甫惟明知事关太子，便咬牙不屈李林甫之意，吉温也是束手。但至尊心中早已有了别样的想法，大抵是敲打太子，便是下制书戒百官，贬二人（摘改自资治通卷二百一十五）。
这让李扬心中更感恐慌，疾书于国公宅呈李林甫道：“政见不同，可拢之。此事天下人知，恐损岳父大人声誉！”。李林甫未回，但李岫却是回书道：“子仁如表字，心为仁，但朝中之事，恐不是你我之人所能左右，也非是和气一团之像。子仁，稍安勿燥。”
李扬接书，半响未言，轻轻的拍于案上，用手指猛然扣住死死团成一团，扔于角落之间。
陇右、河西不可一日无主政之人，二月，制下授朔方、河东节度使王忠嗣兼陇右、河西二节度使，一人执四节，军倾天下！
三月王方镇入主鄯郡，李扬拜之，皆是旧识谈说甚欢，言之安心为官，至尊心中常念子仁之语，这让李扬心中涌出一些暖意。
月末，妾室李氏柳叶儿房中冬梅闻喜，小荷以奴婢不得乱老爷之血脉为由，今其堕胎。血崩之下，冬梅差些丧命，但身子已损，不能再孕。知其事后，冬梅精神便是恍惚，常有疯癫之举动，安史之乱时走失再无音信，这今小荷心中自责不已，遂放开禁制。此后秋娘、夏莲、春桃、春月、梅子皆是生子女，却未立妾，以家中之人得以善终。
四月，契丹、奚平叛，至尊封故去燕国公李娑固为昭信王，其婿蓟郡公李楷洛为恭仁王，各为二族之主，以楷洛子李光弼为左清率府中郎将兼安北都护，充赤水军使。又下制书于洮郡，因李扬之妾李氏妇道贞德，为昭信王之后，特再为清和县君。洮州都督府司马李扬迁中书舍人押刑部事，复为清徐县开国男。
未及杨钊来书笑称，皆是贵妃之功，回京勿忘来拜。
接制书后，李扬宅中顿时起伏，妾室杨太真飞扬起来，仗贵妃势处处压众妾一头。事及正妻之利益，被小荷正以家法方是好了些。是夜叙与李扬，婉转承欢讨了欢心，又谄朵儿之坏。李扬不知情，依言二日辰责张氏，朵儿气不过，寻太真理论反被其呛之。朵儿一怒之下，掌掴其脸，太真不甘受辱与之破口，惊动众女。小荷又执家法将此事压下，而不与李扬说过，但二女之间怨气却是浓生，至死时后辈依言分葬于李扬之左右二穴中，云中之人皆称二妒美人冢。尤其今人称道的是，朵儿这边起一树头朝左，太真那边起一树头朝右，真是让人叹道不已。
五月入京之时，于驿中又闻，李适时因病推托政事，上书言之散地（译为闲散之地，此处代为闲散的官职）。李隆其准之，以其为太子太保遂罢其政事，以门下侍郎、崇玄馆大学士陈希烈为门下同平章事。在太子少保李适之子卫尉少卿李霅设宴待宾客，也不知所为皆是无人应赴，世人皆指长安城东薛王别墅却不敢言。
进中舍人公事房，进见阁老知权礼部待郎事达奚珣，与同为舍人的李日韦、阳浚等人相见礼，再拜右相（中书令）李林甫。
翁婿二人相见自是各有所感，不知何因，李扬只知心中对其隔阂已深，虽是笑颜相说，但那笑脸之下却是各自有些淡淡的冷漠。
再回兰陵之宅，咸直公主早已相候，见面已是泪眼。李扬痴痴而望，掩面别过一边，想将其拥入怀中却是有些不敢。小荷却是迎了上去，口称妹妹与之痛哭在了一起。
过后相说之间，咸直公主幽怨之极，暗然而道：“万安阿姊去岁自阿郎西行之后，便是被禁于宫中。妾身相看数次皆是被旨意挡回，也不知她如今过得可好？”说罢定是思念极深，便又是泪不成泣。
李扬暗然，一切都是因已而起，想必是至尊不许万安随意出入，好断了与已的关系。心下难过，却是无计可施。
月底，四节节度使王忠嗣遣将入京献俘，同时拜会李扬。将其迎入府中，问道：“王方镇近来可好？不知洮郡是否安定。”
来将施礼道：“多谢中书李舍人挂念，一切皆安。前月有小股贼子寇边，已被军镇击退，并掩杀百里，俘其甚多。”
李扬连声说好，又是问其之名。
“卑职名为哥舒翰，祖讳名沮为太子左清道率，父讳道元，官为安西副大都护、赤水军使。卑职现为王方镇之牙将。”
李扬叹道：“原是名门之后，本官敬仰之至。”
“岂敢承李县男如此，卑职惶恐。”哥舒翰忙是施礼回道，并取王忠嗣所捎于的棋子一付呈上，“方镇知李县男好此道，便让卑职呈上。”
李扬对此物倒是不拒，命人接过，又与之攀谈了几句，却是发现哥舒翰熟知《春秋》、《汉书》，考研了几分当是对答如流，便是心喜。唤李苍头过来，将自己曾佩过的一柄长剑相赠与他，并吩咐道，“本官此生已是无望于沙场之上，请哥舒将军佩此剑多斩敌之首！”
哥舒翰感激，于堂下以此剑舞一曲破阵子回赠。
同月，杨钊之好友剑南节度使章仇兼琼入朝为户部尚书，皆是举荐杨钊之因果。
六月，至尊赞杨钊张驰有度，迁其为度支员外郎，兼侍御史。
三日，贵妃思姊妹，遂让李扬之妾太真与另三位阿姊入中宫。李扬送出中使高力士出宅门，竟见其坐御者处充当老板，便大惊失色，求他下车。
高力士笑道：“无妨，为贵妃做事，理当如此！”挥鞭而去，独留李扬于当地叹而摇头，心中却是恐慌之急，心中暗道，如此跋扈恐是不妥。回宅与小荷商议，小荷便将近日杨太真势压众妾之事略说几处。李扬听后半响未语，有些悔恨道：“都是为夫之过，太过宠信她了。”将朵儿唤入房中，好声的安慰。
张氏垂泪，怜爱之样今李扬又是加了几分疼爱。
是夜，太真回宅，手捧彩色织锦与众人显耀后。回房披于身上讨好李扬道：“阿郎，请观之。这为贵妃所赠之物，是岭南经略使张九章特地进贡贵妃的。阿郎，你看好么？”
李扬恶其行为，沉声道：“脱下来！”转了脸不去看她。
“阿郎——”太真不知今日李扬为何这般，娇唤了一声，见其仍不动声色，将织锦扔于地上，想如往常一样依如他怀中，却被李扬轻轻推开，责道，“太真，往后莫要多行于中宫，以恐世人笑话。”
太真大感委屈，幽幽道：“阿郎，妾身岂是不知，可贵妃教招于妾身，妾身也不敢不去。”又道，“就说这锦段，那进献之人一位加三品，另一位为最者迁为户部侍郎职，阿郎为中书舍人岂能不知？又想及阿郎不过因娶番女李氏为妾，便从副大都护贬为下都督府司马，再次又回中枢，这其中的道理可是明明白白。”
“糊涂！”李扬怒起，但也不知道因何而气愤，只是胸中难平，手指太真后语却塞住，不知要说什么好，半响甩袖推门而去。
太真怔住，十几年来未见阿郎冲自己发过怒，今日这是怎么了。一时之间羞恼从生却是咬紧下唇不肯开口相唤。春桃急着从外间进来唤道：“奶奶！”
“滚出去！”真是不敢相信自己会对春桃如此喝骂，气泄之后又是后悔，太真又急是问道，“老爷呢？”
春桃低首红着眼回道：“回奶奶的话，老爷去了二房奶奶那里。”
“原来是她！二姊算你狠毒！”太真咬牙挤出话来，一股无力之感涌上头，便是头晕目旋慢慢的朝地上倒去。
七月，李林甫听闻韦坚慢行其道，又上奏道：“陛下，罪人有罪，左降之后更是不想留京，就是起赴任上，都为慢行，至其任上官位缺失数月也是有之。”
李隆基听后下敕书道：“流贬人多在道逗留。自今左降官日驰十驿以上。”
过日，韦坚之弟将作少匠韦兰、兵部员外郎韦芝为其兄讼冤，奏道：“陛下仁爱，但兄犯重罪悔之晚亦，途行之中与书臣等，称其罪是为太子殿下所游所致，悔不改交通边将，以致铸成大错。望陛下看在其兄有功这份上，请求发还家乡。”
李隆基大怒，责二人道：“你等这是逼朕吗？难道朕之判是错了？好，好的很，你等皆是忠心耿耿呀！”便下旨再贬韦坚为江夏员外别驾，韦兰、韦芝皆贬岭南恶水之地。
李林甫暗想，斩草需除根，便再引韦坚与李适之等人为朋党，如不加以惩处，恐为乱大唐。
陛下怒气更甚，隔二日，改贬为流使韦坚于临封，女婿巴陵太守卢幼临长流合浦郡，李适之贬为宜春太守，太常少卿韦斌贬巴陵太守，韦坚之外甥嗣薛王李琄贬夷陵别驾，睢阳太守裴宽贬安陆别驾，河南尹李齐物贬竟陵太守，凡亲党连坐流贬者有仓部员外郎郑章贬南丰丞，殿中侍御史郑钦说贬夜郎尉，监察御史豆卢友贬富水尉，监察御史杨惠贬巴东尉等数十人。
太子闻风大惧，上表企求与韦妃合离，并言道：乞不以亲废法。时今众臣心中为之一寒，不免可怜又不免暗叹。
冬十一月，又发淄川太守裴敦复与北海太守李邕案，陛下使李林甫查之，李林甫以京兆士曹吉温与御史鞫之，案中赞善大夫杜有邻一女为左骁卫兵曹柳勣妻，柳勣狂妄，数次流言杜有邻借图谶之说与太子，言中涉及至尊。李隆基得知震怒，下旨杖毙涉案赞善大夫杜有邻、左骁卫兵曹柳勣、柳勣好友著作郎王曾等人，堆积尸体于大理寺，其妻妾与子女皆流与边远。柳勣好交友，曾被裴敦复举于李邕，三人已是交好遂发此案。过后，李邕之子嗣虢王李巨贬义阳司马、鄴郡太守王琚因与李邕交好也坐赃贬为江华司马，杜有邻又一女时为太子良娣亦受累，被太子废为庶人。此上明为案发，实是李林甫欲将太子废之。（以上摘改于资治通鉴卷二百一十五，旧唐书本纪玄宗下）
过几日，杨钊又至书中安慰道：“妹婿不必小心，过几日便好。”果然二十三日，又传消息，至尊因皇甫惟明与韦坚结朋党密谋他事，下制书责韦坚谋求上位官职，存有野心，贬为缙云太守；皇甫惟明为挑拨离间君臣之间的关系，贬为播川太守。一时朝中大哗，人人皆是寒栗。
李扬回想杨钊之书中所说，便是叹了一声，私于妻杨氏小荷道：“朝中风云莫测，实是心寒。”便生了归隐之意。
月底，留于长安宅中的刘五遣人送书，将此事说透，原因也简单，不过是权势相争罢了。太子享与李林甫暗中不睦，本来他是想立寿王而陛下改为忠王，这便恐日后有不利，便日日想废之。这皇甫惟明、韦坚又与太子善，加之皇甫惟明入朝后曾劝至尊，‘林甫专权，恐为大唐之祸，不如改为刑部尚书韦坚代之。’早已收买至尊身边左右的李林甫隔日闻之，心中大恶。遂今御史中丞杨慎矜密查其所动向，以图把柄。十五之夜，太子行游，私会韦坚，而韦坚又不爱自身，转而密会皇甫惟明于景龙观。杨慎矜次日上书至尊，言其为太子亲戚之人，不该与边将狎混。二人之间行迹鬼魅，是否存有不当。至尊疑之，李林甫又使御史中丞王鉷上奏道，陛下，历来边将与国戚交通，不外乎谋权二字。但韦坚为太子亲，这恐怕是否对陛下有不利之图。李隆基这才大怒，朝责韦坚与皇甫惟明为逆，令兵部铨曹案中之能手京兆府法曹吉温审其事。韦坚、皇甫惟明知事关太子，便咬牙不屈李林甫之意，吉温也是束手。但至尊心中早已有了别样的想法，大抵是敲打太子，便是下制书戒百官，贬二人（摘改自资治通卷二百一十五）。
这让李扬心中更感恐慌，疾书于国公宅呈李林甫道：“政见不同，可拢之。此事天下人知，恐损岳父大人声誉！”。李林甫未回，但李岫却是回书道：“子仁如表字，心为仁，但朝中之事，恐不是你我之人所能左右，也非是和气一团之像。子仁，稍安勿燥。”
李扬接书，半响未言，轻轻的拍于案上，用手指猛然扣住死死团成一团，扔于角落之间。
陇右、河西不可一日无主政之人，二月，制下授朔方、河东节度使王忠嗣兼陇右、河西二节度使，一人执四节，军倾天下！
三月王方镇入主鄯郡，李扬拜之，皆是旧识谈说甚欢，言之安心为官，至尊心中常念子仁之语，这让李扬心中涌出一些暖意。
月末，妾室李氏柳叶儿房中冬梅闻喜，小荷以奴婢不得乱老爷之血脉为由，今其堕胎。血崩之下，冬梅差些丧命，但身子已损，不能再孕。知其事后，冬梅精神便是恍惚，常有疯癫之举动，安史之乱时走失再无音信，这今小荷心中自责不已，遂放开禁制。此后秋娘、夏莲、春桃、春月、梅子皆是生子女，却未立妾，以家中之人得以善终。
四月，契丹、奚平叛，至尊封故去燕国公李娑固为昭信王，其婿蓟郡公李楷洛为恭仁王，各为二族之主，以楷洛子李光弼为左清率府中郎将兼安北都护，充赤水军使。又下制书于洮郡，因李扬之妾李氏妇道贞德，为昭信王之后，特再为清和县君。洮州都督府司马李扬迁中书舍人押刑部事，复为清徐县开国男。
未及杨钊来书笑称，皆是贵妃之功，回京勿忘来拜。
接制书后，李扬宅中顿时起伏，妾室杨太真飞扬起来，仗贵妃势处处压众妾一头。事及正妻之利益，被小荷正以家法方是好了些。是夜叙与李扬，婉转承欢讨了欢心，又谄朵儿之坏。李扬不知情，依言二日辰责张氏，朵儿气不过，寻太真理论反被其呛之。朵儿一怒之下，掌掴其脸，太真不甘受辱与之破口，惊动众女。小荷又执家法将此事压下，而不与李扬说过，但二女之间怨气却是浓生，至死时后辈依言分葬于李扬之左右二穴中，云中之人皆称二妒美人冢。尤其今人称道的是，朵儿这边起一树头朝左，太真那边起一树头朝右，真是让人叹道不已。
五月入京之时，于驿中又闻，李适时因病推托政事，上书言之散地（译为闲散之地，此处代为闲散的官职）。李隆其准之，以其为太子太保遂罢其政事，以门下侍郎、崇玄馆大学士陈希烈为门下同平章事。在太子少保李适之子卫尉少卿李霅设宴待宾客，也不知所为皆是无人应赴，世人皆指长安城东薛王别墅却不敢言。
进中舍人公事房，进见阁老知权礼部待郎事达奚珣，与同为舍人的李日韦、阳浚等人相见礼，再拜右相（中书令）李林甫。
翁婿二人相见自是各有所感，不知何因，李扬只知心中对其隔阂已深，虽是笑颜相说，但那笑脸之下却是各自有些淡淡的冷漠。
再回兰陵之宅，咸直公主早已相候，见面已是泪眼。李扬痴痴而望，掩面别过一边，想将其拥入怀中却是有些不敢。小荷却是迎了上去，口称妹妹与之痛哭在了一起。
过后相说之间，咸直公主幽怨之极，暗然而道：“万安阿姊去岁自阿郎西行之后，便是被禁于宫中。妾身相看数次皆是被旨意挡回，也不知她如今过得可好？”说罢定是思念极深，便又是泪不成泣。
李扬暗然，一切都是因已而起，想必是至尊不许万安随意出入，好断了与已的关系。心下难过，却是无计可施。
月底，四节节度使王忠嗣遣将入京献俘，同时拜会李扬。将其迎入府中，问道：“王方镇近来可好？不知洮郡是否安定。”
来将施礼道：“多谢中书李舍人挂念，一切皆安。前月有小股贼子寇边，已被军镇击退，并掩杀百里，俘其甚多。”
李扬连声说好，又是问其之名。
“卑职名为哥舒翰，祖讳名沮为太子左清道率，父讳道元，官为安西副大都护、赤水军使。卑职现为王方镇之牙将。”
李扬叹道：“原是名门之后，本官敬仰之至。”
“岂敢承李县男如此，卑职惶恐。”哥舒翰忙是施礼回道，并取王忠嗣所捎于的棋子一付呈上，“方镇知李县男好此道，便让卑职呈上。”
李扬对此物倒是不拒，命人接过，又与之攀谈了几句，却是发现哥舒翰熟知《春秋》、《汉书》，考研了几分当是对答如流，便是心喜。唤李苍头过来，将自己曾佩过的一柄长剑相赠与他，并吩咐道，“本官此生已是无望于沙场之上，请哥舒将军佩此剑多斩敌之首！”
哥舒翰感激，于堂下以此剑舞一曲破阵子回赠。
同月，杨钊之好友剑南节度使章仇兼琼入朝为户部尚书，皆是举荐杨钊之因果。
六月，至尊赞杨钊张驰有度，迁其为度支员外郎，兼侍御史。
三日，贵妃思姊妹，遂让李扬之妾太真与另三位阿姊入中宫。李扬送出中使高力士出宅门，竟见其坐御者处充当老板，便大惊失色，求他下车。
高力士笑道：“无妨，为贵妃做事，理当如此！”挥鞭而去，独留李扬于当地叹而摇头，心中却是恐慌之急，心中暗道，如此跋扈恐是不妥。回宅与小荷商议，小荷便将近日杨太真势压众妾之事略说几处。李扬听后半响未语，有些悔恨道：“都是为夫之过，太过宠信她了。”将朵儿唤入房中，好声的安慰。
张氏垂泪，怜爱之样今李扬又是加了几分疼爱。
是夜，太真回宅，手捧彩色织锦与众人显耀后。回房披于身上讨好李扬道：“阿郎，请观之。这为贵妃所赠之物，是岭南经略使张九章特地进贡贵妃的。阿郎，你看好么？”
李扬恶其行为，沉声道：“脱下来！”转了脸不去看她。
“阿郎——”太真不知今日李扬为何这般，娇唤了一声，见其仍不动声色，将织锦扔于地上，想如往常一样依如他怀中，却被李扬轻轻推开，责道，“太真，往后莫要多行于中宫，以恐世人笑话。”
太真大感委屈，幽幽道：“阿郎，妾身岂是不知，可贵妃教招于妾身，妾身也不敢不去。”又道，“就说这锦段，那进献之人一位加三品，另一位为最者迁为户部侍郎职，阿郎为中书舍人岂能不知？又想及阿郎不过因娶番女李氏为妾，便从副大都护贬为下都督府司马，再次又回中枢，这其中的道理可是明明白白。”
“糊涂！”李扬怒起，但也不知道因何而气愤，只是胸中难平，手指太真后语却塞住，不知要说什么好，半响甩袖推门而去。
太真怔住，十几年来未见阿郎冲自己发过怒，今日这是怎么了。一时之间羞恼从生却是咬紧下唇不肯开口相唤。春桃急着从外间进来唤道：“奶奶！”
“滚出去！”真是不敢相信自己会对春桃如此喝骂，气泄之后又是后悔，太真又急是问道，“老爷呢？”
春桃低首红着眼回道：“回奶奶的话，老爷去了二房奶奶那里。”
“原来是她！二姊算你狠毒！”太真咬牙挤出话来，一股无力之感涌上头，便是头晕目旋慢慢的朝地上倒去。
七月，李林甫听闻韦坚慢行其道，又上奏道：“陛下，罪人有罪，左降之后更是不想留京，就是起赴任上，都为慢行，至其任上官位缺失数月也是有之。”
李隆基听后下敕书道：“流贬人多在道逗留。自今左降官日驰十驿以上。”
过日，韦坚之弟将作少匠韦兰、兵部员外郎韦芝为其兄讼冤，奏道：“陛下仁爱，但兄犯重罪悔之晚亦，途行之中与书臣等，称其罪是为太子殿下所游所致，悔不改交通边将，以致铸成大错。望陛下看在其兄有功这份上，请求发还家乡。”
李隆基大怒，责二人道：“你等这是逼朕吗？难道朕之判是错了？好，好的很，你等皆是忠心耿耿呀！”便下旨再贬韦坚为江夏员外别驾，韦兰、韦芝皆贬岭南恶水之地。
李林甫暗想，斩草需除根，便再引韦坚与李适之等人为朋党，如不加以惩处，恐为乱大唐。
陛下怒气更甚，隔二日，改贬为流使韦坚于临封，女婿巴陵太守卢幼临长流合浦郡，李适之贬为宜春太守，太常少卿韦斌贬巴陵太守，韦坚之外甥嗣薛王李琄贬夷陵别驾，睢阳太守裴宽贬安陆别驾，河南尹李齐物贬竟陵太守，凡亲党连坐流贬者有仓部员外郎郑章贬南丰丞，殿中侍御史郑钦说贬夜郎尉，监察御史豆卢友贬富水尉，监察御史杨惠贬巴东尉等数十人。
太子闻风大惧，上表企求与韦妃合离，并言道：乞不以亲废法。时今众臣心中为之一寒，不免可怜又不免暗叹。
冬十一月，又发淄川太守裴敦复与北海太守李邕案，陛下使李林甫查之，李林甫以京兆士曹吉温与御史鞫之，案中赞善大夫杜有邻一女为左骁卫兵曹柳勣妻，柳勣狂妄，数次流言杜有邻借图谶之说与太子，言中涉及至尊。李隆基得知震怒，下旨杖毙涉案赞善大夫杜有邻、左骁卫兵曹柳勣、柳勣好友著作郎王曾等人，堆积尸体于大理寺，其妻妾与子女皆流与边远。柳勣好交友，曾被裴敦复举于李邕，三人已是交好遂发此案。过后，李邕之子嗣虢王李巨贬义阳司马、鄴郡太守王琚因与李邕交好也坐赃贬为江华司马，杜有邻又一女时为太子良娣亦受累，被太子废为庶人。此上明为案发，实是李林甫欲将太子废之。（以上摘改于资治通鉴卷二百一十五，旧唐书本纪玄宗下）