杨国忠曾经私下对人说：“我本来出身清寒，是靠了后宫的关系才有了今天这样的地位。以后，也不会有什么好名声，倒不如生前尽情享乐。”这番话，却也是他这个政治暴发户内心世界的真实写照。
据《旧唐书·杨国忠传》，杨国忠及杨贵妃的兄妹杨钅舌和韩国夫人、虢国夫人、秦国夫人五家，在宣义里构连甲第。每筑一堂，费用超过千万钱。还说：“土木被绨缔，栋宇之盛，两都莫比”。意思是：土木都蒙上了锦绣，其豪华的程度，超过了西京长安和东都洛阳的任何一家。
杨国忠早在年轻时就与虢国夫人私通，入相后更加肆无忌惮。他们昼夜会聚，无复礼度。有时候，二人竟并排骑马入朝，招摇过市，相互谐谑，路人对此无不嗤之以鼻。杨国忠使用的“锁子帐”与虢国夫人的“夜光杯”，都是稀世之宝，价值连城。据传说，杨国忠还常常以女婢为“肉阵”取暖，其子弟春游时用“楼车”载女乐，以沉香为阁，檀香为栏，家里还有自转的“移春槛”。
唐玄宗每年10月起都要带着杨贵妃到骊山华清官去过冬。每一次，杨国忠和韩、虢、秦三夫人无不陪同前往。他们每家为一队，各为一色；五家合队，其鞍马锦绣灿若云霞。而遗落在地上的钿子及瑟瑟珠翠，又散发着耀眼的光亮。人们看到这一场面，无不惊骇叹息！
