吴刚又叫吴权，是西汉河西人。这是一个非常庸俗的人，整天无所事事，到处游手好闲。但是，有时候，因为天天都吃喝玩乐，就也觉得十分无聊，闲得难受，所以又常常异想天开。
有一天，他从外面鬼混回来，忽然就把自己独自关在一间屋子里，茶饭不思，累了就顺便倒在床上呼呼大睡。家里人也不知道他怎么了，可是他又将房门从里边拴了，进不去，就只好由着他。到第三天的时候，吴刚突然从房里冲了出来，还背着一个收拾好的包袱。他与妻子道别道：“我要寻师学道去了。”说完这样简简单单的一句话，便跨上马背，扬长而去。
吴刚离家之后，他走访了不少的名山大川，到处去寻求高士名僧。可是因为他生性懒散惯了，不愿遵循太多的礼数，结果每到一处，学不了三五天就又离开，另找他处。有的修道高僧干脆就不肯收他为徒。这样，吴刚在外面晃悠了三年，还是一事无成。接着，他又有些怀念家里的妻子了，于是不顾长途的跋涉回家了。
但是吴刚的妻子缘妇，在家里苦苦等了这么多年，见吴刚一个口信都从未捎回过家，觉到吴刚是没有什么盼头了，就和乡里的伯陵好上了。两个人结成夫妇，住在了一起，并且在吴刚外出学仙的时间里，还生了三个儿子。一家五口美满地生活在一起。这时候吴刚回来，对这个家来说完全是多余的了。
等到吴刚推开自家的门，他被眼前的一切惊呆了，马上就感到无比的愤慨和深深的侮辱。三个孩童在院子里叽叽喳喳地玩耍游戏。这是谁家的孩子呢？当他还在纳闷，就一眼看到妻子正在屋檐下的织布机前织布。他刚要过去跟妻子打过招呼，忽然看到在不远处的葡萄架下，一个陌生的男人在劈柴，他仔细一瞧，原来是同乡的伯陵。吴刚一切都明白了，他知道妻子在他走后，跟伯陵结了婚，还生了几个孩子！
吴刚怒火冲天，一股无名的力量支撑着他，让他不顾一切地奔到伯陵的身后，拿起一根碗口粗的大木棍，对着伯陵的后脑就是一阵猛打。直打到伯陵头破血流，栽到地上再也爬不起来为止。吴刚还不肯罢手，把他平时的地痞脾性全拿了出来，提起双脚对着伯陵的头部乱踢，边踢边骂。在一旁的妻子缘妇，吓得惊呆了，早就停下了手里的织布机。可是她也觉得自己做了对不起丈夫的事，不敢上前去劝，又没有去叫左邻右舍，只是站在那里一个劲地哆嗦。三个孩子，看到这样一个蛮横的“乞丐”冲进家门就打自己的父亲，立刻哇哇大哭起来。
孩子的哭惊动邻里的乡亲，吴刚家里一下就围满了人。可是，对于这事，各人褒贬不一，公说公有理，婆说婆有理，大家议论纷纷。
乱轰轰的场面很快就吵到了已上天成仙的炎帝的耳朵里，炎帝就再也按忍不住了。原来，伯陵是炎帝子孙。吴刚杀了他的子孙，炎帝当然要责罚吴刚。后来，当他知道自己的子孙伯陵有不可轻恕的错误后，也就减轻了对吴刚的处罚。吴刚不是想成仙吗？那就让他到孤寂的月亮上去吧。于是炎帝就把吴刚赶到了寒冷、荒凉的月宫。
月亮上果然很冷，吴刚一到上面就立刻感到寒意彻骨。在他的身边有一棵高有五百丈的桂树，树干大得一百个人也合抱不过来。树上结满了数不清的很小很小的花朵，花虽然小，可是异香扑鼻，特别浓郁。这桂树是天上独有的树，地上的后来也有了桂树，这是吴刚从天上偷到凡间来的。
吴刚还如醉如痴地嗅着这花香，忽地看到不远处有一座宫殿，写着“广寒宫”三个字。宫殿建得很华丽，但是，寒气逼人，好像这月亮上的寒气都是从那里迸放出来的。宫殿里还有一个异常美貌的嫦娥。吴刚正想走到近处看看嫦娥，不知一位什么天神飞了过来——这是炎帝派来监管他的天神辛。辛对他说：“吴刚，我是炎帝派来监督你的，给你一把斧子，你若是把这桂树砍倒了，就能回到你的妻子身边，要不然就永远也回不去了。”说完就扔下一把斧吴刚伐桂子给他。
“这么粗的树干，叫我怎么砍得倒？”吴刚心里只有埋怨，埋怨炎帝的不公。也就不理这位天神的话，他把斧子踢到一边，就找个地方睡觉去了。
吴刚这一睡就睡了七天，等到他醒来的时候，就觉得自己有用不完的力气，浑身都是劲，就是无事可做。后来，他转念想：我这样要到什么时候才能回家呢？这树虽然巨粗无比，但是只要我每天砍一点点，还是有出头之日的。可是他没有想到的是，这桂树刚被砍开一个小口，立马就又合上了。无论他怎能样拼命地砍，树干都能一下就回到原来的样子。但是吴刚并没有因此放弃，他把对炎帝的不满全部发泄在这棵树上，一天天、一月月、一年年地无休无止地砍，砍下来的木屑都堆出了好几座山。
在地上的吴刚的妻子缘妇也深感负疚，就叫她的三个儿子：一个叫鼓、一个叫延、一个叫殳，等他们稍大的时候，就要他们到月亮上面去陪伴吴刚。又有人说，大儿子鼓变成了蟾蜍，二儿子变成了兔子，还有一个不知道变成了什么。又有的说，殳制作出了箭靶，鼓和延他们两却对乐具特别感兴趣，并自行研制成功了钟、磬等乐器，而且还创作了乐章，时常在月宫里演奏，所以有时候，当我们静静地在月下驻听时，还能听到仙乐飘飘。到了后来的唐明皇漫游月宫的广寒宫，听到他们的乐曲，就把它记了下来，当他回到了地上，就叫人又谱了出来，就成了历史上很有名的《霓裳羽衣曲》的由来。
