彭城郎玉柱，祖先曾做过太守，为官清廉，拿了俸禄不置家产，买了满屋子书。到了郎玉柱时，他对书更加痴迷。家里贫困，什么东西都卖光，只有父亲的藏书，一卷也舍不得丢弃。父亲在世时，曾经书写《劝学篇》贴在他书房，郎玉柱每天背诵一遍，确信书中真有黄金粟米。他不管严寒酷暑，日夜苦读，废寝忘食。到了二十多岁，他也不懂得接待礼节，几句话后，又高声读书，客人只得讪讪离开。每次提学来考查，虽然总是第一个表扬他，却因他是个书呆子不能任用。
一天正在读书，忽然大风把书卷吹走，郎玉柱急忙追逐到院子里，不料一脚踩空，陷进坑里。一看，坑里有腐烂的草，挖开坑，里面是古人窖藏的谷子，腐烂成了脏土。这件事使郎更加相信“书中自有千钟粟”的说法不是没有根据的，读得更加卖力。
一天，郎玉柱架梯子登上高高的书架，在杂乱的书卷中翻出一个直径一尺的金辇车。非常高兴，以为是“书中自有黄金屋”的验证。拿出来给人看，原来并不是真正的金子铸的，只是镀了金的摆设罢了。没过多久，有个和他父亲同科考中的人，当了本道观察，笃信佛教。有人劝郎把金辇献给他作为佛龛。观察十分高兴，送给郎三百两银子，两匹马。郎满心欢喜，以为金屋、牛马都已经实现，因此更加刻苦读书。但是年龄已到三十岁了，有人劝他娶妻，他说：“‘书中自有颜如玉’，我还担心没有漂亮的妻子吗？”又读了两三年，没有得到应验，人们都嘲笑他。当时民间传说天上织女私奔，有人对郎开玩笑说：“织女大概是为了你才下凡的。”郎玉柱知道他们在开玩笑，置之不理。
一天晚上，他读《汉书》到第八卷，快读完一半时，只见中间夹藏着一个纱剪美人。郎玉柱吃惊地说：“书中颜如玉，难道就是这个假美人？”心中觉得惆怅失望。仔细一看美人，眉毛、眼睛就像真的一样；背后隐约有两个小字：“织女。”郎生觉得很奇怪，每天把它放在书上，看过来看过去，目不转睛，通宵达旦。
一天，郎玉柱忽然见美人弯身起来，坐在书上对他微笑。郎大惊，跪拜在桌下。起身一看，已是一尺多高了。更加害怕，又向她叩拜。美人从桌上走下来，亭亭玉立，分明是绝代美女。郎拜问：“请问你是什么神仙？”
美人笑着说：“我姓颜名如玉，你本来了解我很久了。你每天都在期待，倘若不来，担心千年后不再有深信古人的人了。”郎玉柱很高兴，就和美人一起睡觉。虽然在床上亲热得很，但郎玉柱却不懂行周公之礼。
每天读书，郎一定要颜坐在他旁边。颜如玉劝他不要苦读，他不听。颜说：“你之所以不能富贵，就是因为死读书的缘故。请看看春秋榜上，像你这样读的有几个？如果不听，我就要走了。”
郎玉柱依从她放下书卷，一会儿忘了她的告诫，又吟诵起来。再看颜如玉，竟不知道她到哪里去了。急得他失魂落魄，边喊边祈祷，没一点踪迹。忽然想起她所藏身的地方，拿取《汉书》仔细翻看，一直到原来的地方，果然找到颜如玉。叫她她不动，跪下来哀求，她才走下来说：“你如果再不听，我一定和你永远断绝关系！”让他准备棋盘、樗蒲等玩具，每天和他游戏。但郎心思不在这里，趁颜不在时，就偷偷读书。担心被发现，就暗中把《汉书》第八卷拿出来，夹杂在其它地方来迷惑她。
一天郎正读得起劲，颜来了竟然没有发觉，一看见她，急忙把书掩起来，但颜却跑了。郎很惊恐，搜遍所有的书，根本找不到。后来，仍然在《汉书》第八卷中找到，连页数都一样。因此他再跪下哀求，发誓不再读书。
颜如玉这才走下来，和他下棋，说：“如果三天下不赢我，我一定又要离去。”到了第三天，忽然有一局棋郎赢了颜如玉两个子，颜很高兴。又给他一把琴，限定他五天练熟一支曲子。郎集中注意力，用心练琴，无暇关心别的什么。长时间后，琴弹得相当娴熟，郎感到精神振奋。颜于是每天和他喝酒下棋，他因此快乐得忘了读书。颜如玉又放纵他外出，多结交朋友，从此风流名声突然远扬。颜如玉对他说：“你可以去参加科试了。”
一天晚上，郎对颜说：“人家男女一同居，就生了孩子。我和你同住了这么久，怎么不这样呢？”颜如玉笑他说：“你每天死读书，我本来就说过没有用的。就是夫妻这一章节，你也没有弄懂弄通，‘枕席’两个字是有学问的。”
郎吃惊地问：“有什么学问？”颜只笑不说话。过一会儿，她暗暗迎就他。郎玉柱乐到极点说：“我想不到夫妻之间的快乐，是不能用言语形容的。”从此逢人就说，别人没有不掩口笑他的。颜如玉知道后就指责他，他说：“钻穴偷情的事，不可告人，天伦之乐人人都有，为什么还要遮遮盖盖？”过了八九个月，颜果真生下个男孩，雇个老妈子抚养他。
一天，颜对郎说：“我跟从你两年了，又生了儿子，可以告辞了。我住久了，担心给你造成灾祸，那时后悔也来不及了。”郎玉柱听后哭了起来，伏在地上不动，说：“难道不为呱呱啼哭的儿子着想吗？”颜如玉也伤心哭泣，很久才说：“你一定要留下我，就应当把书架上的书全部扔掉。”
郎玉柱说：“这是你的故乡，也是我的生命，怎么说出这种话！”颜如玉也不强迫他，说：“我知道凡事有定数，预先告诉你也没有用。”亲戚中有人窥见过颜如玉，没有不大吃一惊的，又没听说郎和谁家结亲，因此都来盘问他。郎玉柱不会说假话，只是默不作声。人们更加怀疑，到处传开了这件事。最后竟传到了县令史公那里。
史公是福建人，年轻时中了进士。听说后动了心，暗想看一下美人，就下令拘捕郎玉柱和颜如玉。颜闻讯后就隐身消失了。县令发怒，拘留郎玉柱，下令革除他的功名，严刑拷打，一定要他交待颜如玉的去向。郎玉柱死也不说一句话。又拷打郎玉柱的丫鬟，才稍稍讲了一点迹象。县令认为颜如玉是妖怪，亲自前往郎家，只见满屋书卷，多得无法搜寻，就在庭院中放火烧书，烟气凝结，久久不散，昏暗得犹如阴云密布。
郎玉柱被释放后，到处奔走，向父亲的门生求来说情书信，才恢复了资格。这一年秋试成功，第二年考中进士。他对县令恨入骨髓，为颜如玉设了一个灵位，早晚祈祷说：“你如果有灵，一定保佑我们到闽地做官。”
后来果然以巡抚的身份到闽巡视。过了三个月，他查访出史的罪行，抄没了史家。当时郎玉柱有个亲戚担任司理，他强迫姓史的交出自己的爱妾，假托是买的丫鬟，放在官府中。案子了结后，郎玉柱当即封印辞官，带着爱妾回家，隐居林泉。
