称德女帝复位的次年（公元765年），改元天平神护，随即任命道镜为大臣，称“大臣禅师”。按照女帝自己的说法：“朕以出家人为帝，当用出家人为臣。”于是当年闰十月，竟然升任道镜为太政大臣，第二年更封其为法王。
称德女帝和道镜法王两人的生活极度骄奢淫逸，虽然将吉备真备等人重新召回都城供职，朝政却没有丝毫的起色，反而日益颓败。日本有史料记载，女帝和道镜夜则同寝，道镜衣食住行皆如天皇，两人同受百官朝贺。虽说日本的风俗并不严禁婚外情或者和尚娶妻，但天皇不同于普通百姓，这种行为肯定会招致各方议论的。大概是为了堵住众人之口，称德女帝公开下诏，严禁有妇之夫另爱第三者，并且取消了每年正月举行的青年男女表述衷情的踏歌会。
称德女帝沉湎于放纵的生活中，根本无心治理国事，道镜因此觊觎天皇宝座，他暗示官吏上奏，说在宇佐八幡神宫得到了神谕：“道镜即位，天下太平。”位于九州的宇佐八幡神宫乃是神道教的著名寺社，影响力很大，因此称德女帝派和气清麿前往确认神谕。和气清麿临行前，道镜悄悄把他拉到一边，许诺说如果自己能够顺利当上天皇，就让清麿做太政大臣。然而和气清麿毫不理会道镜的封官许愿，数月后即带回神谕，明确宣告说：“我国从天地开辟以来，就是君臣名分森严之邦，从来没有过以臣为君的事情。如果无道小人竟敢觊觎神器，定为神灵所不容。应该早立皇嗣，并将无道之人清除出去！”
这是公元769年之事。第二年八月，称德天皇就驾崩了，临终立天智天皇的孙子白壁王为东宫。十月，白壁王继位，改元宝龟，即光仁天皇。失去靠山的道镜和尚也灰溜溜的被赶出了京城，前往偏远的下野国担任药师寺别当（僧职）去了。
光仁天皇立称德女帝的妹妹井上内亲王为皇后，立他户亲王为东宫。然而井上皇后如她的姐姐一般荒淫，传说某次和天皇下棋赌赛，双方约定输方要向赢方推荐美男或者美女，结果光仁天皇输了，皇后就一再索要美男，不肯罢休。光仁天皇无奈，只好与藤原百川商议对策。
惠美押胜虽然败亡，但当时仍有相当一部分朝中显贵是藤原氏的子弟，比如左大臣藤原永手（北家）、内大臣藤原良继（式家）等，但其中权力最大也最有智谋的，还是式家的藤原百川。
藤原百川早就对井上皇后和他户太子的荒淫跋扈恨之入骨，于是设计让天皇把亲儿子山部亲王推荐给皇后。等到正当盛年的山部亲王同年过五旬的皇后干柴烈火、打成一片以后，藤原百川趁机密奏说皇后想要“咒杀天皇”。已经对皇后所作所为厌恶到极点的光仁天皇毫不犹豫，立刻废黜井上皇后，两个月后又废黜了东宫他户皇子。藤原百川继续施行自己的计划，据说花费了四十多天劝说天皇，终于使天皇于次年即宝龟四年（公元773年）元月，正式下诏立山部亲王为东宫。
天应元年（公元781年）四月，光仁天皇让位于山部亲王，他就是鼎鼎大名的桓武天皇。延历三年（公元784年），桓武天皇迁都到长冈，延历十三年（公元794年）再迁葛野——葛野的新都称为平安京，日本从此进入了“平安时代”。
日本人的氏、姓和苗字
说到日本人的姓氏，首先要从中国人的姓氏谈起。请问，商鞅姓什么？姓商？错。姓卫？错。姓公孙？更错！因为在中国上古，姓和氏是分开的，女子称姓，男子称氏。所谓姓，指的是一个人的血统（当然只有贵族才有闲空研究或者附会自己的血统），而氏，则代表此人的身份地位。商鞅是卫国的公族，卫是周朝的同姓诸侯，所以商鞅的姓，应该是周的国姓——姬。他是卫国人，所以以国名卫为氏，称之为卫鞅；他是卫的公族，所以也称为公孙鞅；仕秦后被封于商，所以也称商鞅。这卫、公孙、商，正是他的氏。再如，姜子牙姓姜，但为吕氏（大概是出生地）、太公氏（被周武王尊为太公）；秦始皇姓嬴，但为赵氏（生在赵国）、秦氏（秦的国君）。诸如此类。
男子主外，平常使用能代表其身份地位的氏而不用姓，商鞅虽然姓姬，但不能叫他姬鞅，秦始皇虽然姓嬴，但叫他嬴政就不合习惯。只是这一姓、氏分开的制度，汉以后就逐渐被大家遗忘了，姓、氏逐渐合流。
日本的情况则恰恰相反，氏指的是出身氏族（日本古代的氏族并不一定由血缘关系组成），姓则指的是大和朝廷赐予氏上等贵族的称号，比如臣、连、造等等。这种“姓”其实含有种姓的意味，以区别氏族地位的高低。其后出现的赐姓如藤原、橘、源、平等，严格意义上来说仍然是氏，而不是姓。贵族男子正规的称呼，必须姓氏叠用，比如“藤原朝臣九条兼实”，藤原是氏，朝臣是姓，九条是苗字（苗裔之意），兼实是名。
苗字又是什么呢？苗字是一个氏姓的分家的意思，可以有多种来源，比如地名、官名、庄园名等等，苗字可以经常更换，其实更像中国古代的氏。打比方说，武田苗字出于源氏的新罗三郎义光，其后裔一支任甲斐守护，如武田信玄，一支任若狭守护，如武田元光。再比如，战国名将中，有不少称北条苗字，但实际上几乎没有一个是真正名门平氏的北条之后裔：北条早云祖孙三代，出身低微，来源不详，为了名正言顺称霸关东，而冒苗字北条；大将北条纲成，本是今川家臣福岛正成之子，因为娶了北条氏纲的女儿，而赐苗字北条，是冒称之冒称；上杉谦信麾下名将北条高广，其实本来的苗字是毛利（他的家徽也是一文字三星），只是以所领北条庄为新苗字，才变成了看似显赫的北条氏……
武士阶层抬头以后，武士们的苗字越分越多，越分越杂，逐渐变成了现代意义上的姓，而到了江户时代，很多商家把商号冠在自己的名字前面，也逐渐演化成现代意义上的姓——本书后面为了行文方便，会经常在苗字后面加个“氏”字以指代某一家族，但这并不说明苗字和氏有何共通之处。
不过，古代日本的平民百姓都是没有姓的，到近代明治维新以后，强迫人人都必须有姓，从而大多姓才毫无本源地生造出来。
