一天晚上，香玉神情凄惨地走进黄生房里，说：“你连‘陇’都不能守住了，还指望得到‘蜀’吗？今天我就要和你长期分别了。”黄生问她：“你要到哪里去？”香玉用衣袖擦着眼泪，说：“这也是命中注定的，很难对你说明白。你以前的那首诗，今天成了应验的预言。‘佳人已属沙吒利，义士今无古押衙’的诗句，可以说是为我咏唱的。”黄生问她到底是怎么回事，香玉不说话，只是不断地抽泣。她整个晚上都没有入睡，凌晨时分就走了。黄生感到十分纳闷。
第二天，即墨县有个姓蓝的来到下清宫游览，他看见那株白牡丹，很喜欢，就把它连根挖出来带走了。黄生这才领悟到香玉原来是花妖，他不禁无限惆怅，惋惜不已。过了几天，黄生听说姓蓝的把那株白牡丹移植到家里，白牡丹就一天天地枯萎死去了。黄生悲愤极了，作了五十首哭花诗，天天到原来种植白牡丹的树坑前痛哭。
一天，黄生悼念完香玉，正往回走，远远看见身穿红衣服的绛雪也来到穴旁哭祭。黄生慢慢地走近去，绛雪也不躲避。黄生就拉着绛雪的衣袖，两人相对流泪。哭祭完了，黄生挽着绛雪的手，请她到自己的书斋里去，绛雪也跟着他走。进了屋，绛雪叹息着说：“小时候的姐妹，想不到竟一朝永别！听你哭得那么哀伤，更增加了我的悲痛。眼泪流入九泉之下，也许她能够被我们真诚的怀念所感动而再生。但是死者的神气已经消散，短时间内怎么能和我们两人一起谈笑呢。”黄生说：“我是个薄命的人，害了情人，当然也没有福气消受两个美人。以前我多次托香玉向你转达我的心意，为什么你不来呢？”绛雪说：“我以为年轻的书生，十个之中有九个是无情无义的，没想到你原来是个最钟情的人。但是我和你交往，在于友情，不在淫欲。要是白天黑夜地亲热，那我是做不到的。”说完，绛雪就要告别。黄生说：“香玉长期离开了我，叫我吃不下饭，睡不好觉。想请你稍微留一会儿，来安慰我的思念的情怀，你怎么这样断然拒绝呢？”绛雪听了，就留了下来，过了一夜才离去。
一连几天，绛雪没有再来。这一天，冷雨纷飞，寒窗幽暗，黄生更是苦苦地思念香玉，他在床上辗转反侧，泪水把枕席都沾湿了。他爬起来穿上衣服，挑亮油灯，按照上次那首诗的韵脚，又写了一首诗：“山院黄昏雨，垂帘坐小窗。相思人不见，中夜泪双双。”作完了诗，他就自己吟诵起来。忽然听到窗外有人说：“作诗不能没有和诗的。”黄生侧耳一听，原来是绛雪。他连忙把门打开，请绛雪进来。绛雪看了黄生的诗，就在后面续了一首：“连袂人何处？孤灯照晚窗。空山人一个，对影自成双。”黄生读了绛雪的诗，不禁流下了眼泪，他抱怨绛雪和他相见得太少了。
绛雪说：“我不能像香玉那样和你亲热，只能稍微排解一下你的寂寞罢了。”黄生想要和绛雪亲昵一番。绛雪说：“相见的欢乐，何必要在这方面呢？”从此，每当黄生最为寂寞无聊的时候，绛雪就来一趟。来了就和黄生一边饮酒，一边作诗酬唱，有时不睡觉就走了，黄生也听之任之。黄生说：“香玉是我心爱的妻子，绛雪是我最好的朋友。”他常常问绛雪：“你是院子里的第几株花呢？请你早点告诉我，我要把你移植到家里，免得像香玉那样被恶人夺去，让人遗恨百年。”绛雪说：“故土难离呀，就是告诉你也没有什么好处。你妻子尚且不能终生跟从你，何况是朋友呢？”黄生不听，拉住她的胳膊走出去，每走到一株牡丹下面，就问：“这是不是你呢？”绛雪不说话，只是捂着嘴笑。
很快到了腊月底，黄生回家过年去了。到了二月间，黄生忽然梦见绛雪来了，凄楚地对他说：“我有大难！你赶快去下清宫，咱们还能见一面；晚了就来不及了。”黄生醒来以后感到很奇怪，他火速叫仆人备马，星夜赶到崂山。原来是道士要建房子，有一棵耐冬树，妨碍施工，工匠正要用斧头把它砍掉。黄生马上制止他们。到了夜里，绛雪来向黄生道谢。黄生笑着说：“你以前不如实告诉我你的身份，活该遭到这次厄运！现在我已经知道那个是你了；如果你不来，我就要用艾火烤你。”绛雪说：“我本来就知道你会这样做的，所以过去不敢告诉你。”坐了一会儿，黄生说：“今天面对着好朋友，更加想念我那美丽的妻子。我很久没有哭香玉了，你能陪我一起去哭哭吗？”绛雪答应了。两人就一起来到牡丹花的坑穴前痛哭流泪。直到一更多，绛雪才收住泪，把黄生劝住了。
又过了几个晚上，黄生正独自孤寂地坐着，绛雪满面笑容地走进来，对黄生说：“告诉你一个好消息：花神被你的真情感动，让香玉重新回到下清宫里。”黄生问：“香玉什么时候来？”绛雪说：“不知道，大概不会太久吧。”天亮以后，绛雪下床要走了，黄生嘱咐她说：“我这次专是为你而来的，你不要长时间让我孤独寂寞。绛雪笑着答应了。可是过了两个晚上绛雪也不来。黄生就去抱着耐冬树，又是摇撼又是抚摩，频频呼唤绛雪，可是没有一点声响。黄生便回到屋里，对着灯搓艾草，准备去熏烤耐冬树。
绛雪突然走了进来，一把夺过艾草，把它丢到地上，说：“你胡闹什么，要是把我烧出伤疤，我就和你断绝来往了！”黄生笑着把绛雪抱在怀里。还没有坐稳，香玉就轻盈地走了进来。黄生望见香玉，眼泪夺眶而出，他急忙起来握住香玉的手。香玉用另一只手握住绛雪，三个人你看我，我看你地痛哭起来。等坐下以后，黄生觉得握着香玉的那只手好像没有握什么东西一样，就吃惊地问她这是怎么回事。香玉伤心地流着眼泪说：“以前，我是花神，所以形体是凝聚的；现在，我是花鬼，所以形体是飘散的。今天我们虽然相聚了，可是你不要把这一切当成真的，只能当作是梦境吧。”绛雪说：“妹妹回来可太好了！我被你家男人纠缠死了。”说完就告辞走了。
香玉还像过去一样有说有笑：但是两人相依相偎的时候，黄生感到整个身体仿佛是靠在影子上。黄生郁郁寡欢，香玉一时之间也很恼恨自己。她便对黄生说：“你用白蔹的碎末，掺上一点儿硫磺，每天给我浇上一杯水，明年的今天就可以报答你的恩情了。”于是她就告别走了。第二天，黄生到以前的花坑去看，只见牡丹已经发芽了。他于是每天都精心培植，又做了一圈护栏来保护它。香玉来了以后，分外感激黄生。黄生打算把牡丹移植到家里，香玉不同意，她说：“我体质很弱，不能再折腾了。
而且任何东西的生长都各有一定的地方，我这次来原本就没有打算生在你家里，违反了原意反而会折寿。只要我们相互怜爱，自然有欢聚的一天。”黄生埋怨绛雪不来见面。香玉说：“你如果一定想要她来的话，我能够做得到。”于是和黄生一起拿着灯来到耐冬树下，拿一根草，用手掌比量着作为尺度，用它来量树干，从下往上，量到四尺六寸，用手按住那个地方，叫黄生用两只手一齐去搔这个地方。一会儿，只见绛雪从背后走了出来，她一边笑，一边骂道：“你这丫头助纣为虐吗！”于是三人相互拉着手，一起走进屋里。香玉说：“姐姐请不要见怪！暂时劳烦你替我陪伴郎君，一年以后就不再打搅你了。”从此绛雪经常来看黄生，彼此都习以为常。
黄生看到牡丹花芽，一天比一天长得茁壮茂盛，到春天结束的时候，已经长到二尺多高了。黄生回家的时候，留下一些钱给道士，请他代为培养。到了第二年四月，黄生又回到下清宫，只见已经长出一朵牡丹花蕾，含苞未放；黄生正在牡丹花前留连的时候，那花蕾摇晃着像要绽开；一会儿，牡丹花开放了，花朵如同盘子那么大，好像有个小美人坐在花蕊上，只有三四指高；转眼间小美人就飘然而下，黄生一看，正是香玉。香玉笑着对黄生说：“我强忍着风吹雨打等待你，你怎么姗姗来迟呢！”于是一起走进屋里。这时，绛雪也来了，她笑着说：“我天天代替他人做妻子，今天总算有幸退身成为朋友了。”于是三个人高高兴兴地在一起喝酒谈笑。到了半夜，绛雪便走了。黄生和香玉于是上床睡觉，和以前一样欢爱融洽。后来，黄生的妻子去世了，黄生就索性搬到崂山，不再回家了。这时，牡丹已经长得像手臂那么粗。黄生常常指着牡丹说：“我死了以后就把魂留在这里，一定长在你的旁边。”香玉和绛雪微笑着说：“你不要忘记这句话。”
十多年以后，黄生忽然病了。他的儿子闻讯赶来，对着黄生，十分悲伤。黄生笑着对儿子说：“这是我生的日子，不是死的日子到了，你悲伤什么呢！”又对道士说：“日后在牡丹花下有一株红色的幼芽茁壮地生长，它一次就长出五片叶子的，那就是我。”于是黄生不再说话。他儿子用车子把他运回去，刚到家里，黄生就死了。
第二年，在牡丹花下果然长出了一个粗壮的红芽，叶子正好是黄生所说的五片。道士觉得很奇异，就更加精心地浇灌它。三年后，它就长到好几尺高，树干有两只手合拢那么粗，只是不开花。老道士死了以后，他的徒弟不知道爱惜它，将它砍去。接着，白牡丹也枯萎而死；不久，耐冬树也死了。
异史氏说：“感情最真挚的人，鬼神也可以相通。香玉成了花鬼也跟从黄生；而黄生的精魂也寄于香玉身边，这不是他们的爱情太深了吗？一花被人砍去，两花枯死殉情，即使不是坚守贞操，也是为爱情而死的。一个人不能保持贞洁，也是她的爱情不够深的缘故。孔子读《唐棣》时说：‘还是没有想念他呀。要是真的想念，有什么遥远的呢？’这话确实不错！”
