有次去吃花酒，张伯驹和潘素相遇了。那时，张伯驹出任盐业银行总管理处总稽核，每年要到上海分行查账两次。张伯驹去上海，王韵缃本要跟随，但是公婆不同意，因为王韵缃若去上海，必定要带着幼子，公婆舍不得离开孙子。再说，王韵缃在天津，管理全家的家务和一切收支，她要是去了上海，家中怎么办呢？
男人远走他乡，妻子不在身边，没几个男人会耐得住寂寞。若是个惯吃花酒的，更了不得了，譬如鱼儿逢着水，想不摇头摆尾兴风作浪的确是难。
那次吃花酒，张伯驹撞上了潘素。张伯驹见着潘素，惊为天女下凡，才情大发，提笔就是一联：“潘步掌中轻，十步香尘生罗袜；妃弹塞上曲，千秋胡语入琵琶。”这一联不仅将“潘妃”二字巧妙地嵌入，而且把素有“潘妃”之誉的潘素比作王昭君，又将潘素善琵琶也概括进去了。张伯驹此联一出，席上人人无不击掌欢呼。
最开心的当然是潘素。她对张伯驹亦是一见倾心。
美中不足的是，此时潘素已是名花有主，国民党的一个叫臧卓的中将和潘素已到了谈婚论嫁的程度。在遇见张伯驹之前，或许潘素认为臧卓就是最合适的结婚对象，张伯驹一出，她知道自己错了。知错必改，决不滑入深渊。潘素立意跟定张伯驹。
臧卓岂肯善罢甘休？到嘴的肥肉岂能再让她滑溜？臧卓将潘素软禁起来，使她不能再和张伯驹见面。潘素究竟只是一个弱女子，无可反抗，终日以泪洗面。
张伯驹在上海人生地不熟，情敌又是国民党中将，若是硬拼，恐怕将惹出乱子。和朋友商议一番后，张伯驹买通了臧卓的卫兵，瞅着臧卓不在的空当，闯进潘素被软禁的地方，拉起就走。张伯驹心中已有主张：“赶快回到北方，就没事了。”
虽经一番波折，张伯驹和潘素到底在一起了。
张伯驹一生写了不少词，关于爱情的也有不少，但几乎只写给一个女子，那就是潘素。
从张伯驹的词中，不难体味出他对这份得来不易的良缘的庆幸和满意。
婚后，张伯驹偕潘素登峨眉山，写下：“相携翠袖，万里看山来。云鬓整，风鬟艳，两眉开，净如揩。”每逢佳节良辰，张伯驹亦总是有词赠与潘素，尤其每年元宵，恰逢潘素生日，张伯驹更为动情，他曾写道：“明月一年好，始见此宵圆。人间不照离别，只是照欢颜。侍婢梅花万树，杯酒五湖千顷，天地敞华宴。主客我与汝，歌啸坐花间。当时事，浮云去，尚依然。年少一双璧玉，人望若神仙。经惯桑田沧海，踏遍千山万水，壮采入毫端。白眼看人世，梁孟日随肩。”
在这首词中，张伯驹将他和潘素比作梁鸿与孟光，不但要举案齐眉，更要“日随肩”，这真是只羡鸳鸯不羡仙了。
元宵节送与潘素的词，张伯驹还写过很多，比如：“年年长愿如今夜，明月随人一样圆。”还有：“齐眉对月，交杯换盏，犹似当年。红尘世上，百年余几，莫负婵娟。”再如：“白头犹觉似青春，共进交杯酒一巡。喜是团圆今夜月，年年偏照有情人。”
即使是在二人结婚四十多年后，年近八旬的张伯驹去西安女儿家小住，与老妻暂别，仍然写下深情款款的《鹊桥仙》送潘素：“不求蛛巧，长安鸠拙，何羡神仙同度。百年夫妇百年恩，纵沧海，石填难数。白头共咏，黛眉重画，柳暗花明有路。两情一命永相怜，从未解，秦朝楚暮。”
红豆江南留梦影
身为女子，温柔贤淑必不可少，但能做到独立自强的，却并非每个女子都能。尤其旧社会，要女子独立自强，岂是易事？潘素则能。
潘素在风月场时，对绘画只是粗通，嫁给张伯驹后，张伯驹为她聘请名师，请朱德甫教她画花卉，夏仁虎教她古文，后来又请苏州名家汪孟舒教她绘山水画，从此潘素专攻金碧青绿山水。在名师的指点下，潘素的才艺突飞猛进，又经过张伯驹、夏仁虎悉心栽培，内秀开发，作品更有了深度。她绘的山水，张伯驹、陈宗藩、孟嘉、傅增湘、谢稚柳等人留下了题记，字与画相得益彰。
著名作家董桥曾经这样记述潘素：“潘素……家藏名迹充栋，天天用功临摹，画艺大进，张大千赞叹‘神韵高古，直逼唐人，谓为杨升可也，非五代以后所能望其项背’。北京官方拿她的山水当礼品赠送铁娘子、老布什那些外国元首。”
1949年后，潘素积极投入新生活，曾与廖仲恺先生的革命伴侣何香凝一起创作了几十幅山水画，为抗美援朝做义卖，何香凝夸奖潘素的画壮美而有气势。潘素还曾和齐白石等人合作绘制了《普天同庆》，她的《漓江春暖》更是得到周恩来总理的称赞。
潘素的名字一时在美术界传颂。
这一切都离不开张伯驹的悉心栽培，也离不开潘素自己的努力。她要做个独立自强的人，而不是一棵藤，紧紧缠绕在男人身上，是负累，男人一个不耐烦，说甩去就甩去，只能黯然萎谢。潘素不要做那样的女子。
潘素与张伯驹不仅是志同道合的神仙眷侣，更是患难与共的夫妻。
1941年，上海发生了一起轰动一时的绑架案，被绑架者正是张伯驹。汪伪政权的一个师长绑架张伯驹，向潘素索要300万，否则撕票。
绑匪为何竟敢张口索要天价？因为张伯驹早就名声在外，时人都知道他热衷收藏，并且所藏甚丰，随便拿出一幅字画来卖，都足够普通人花一辈子。
在危难面前，弱女子并不弱，潘素体现了苏州女子特有的坚韧。在丈夫被绑架的八个月内，她只变卖自己的首饰，四处托人，打听消息，全力营救。一边是丈夫深爱的珍藏，一边是自己深爱的丈夫，两边都要保全，只要她随便卖掉一件收藏，就足够救人，但她知道不能，卖掉宝物就等于要了丈夫的命。最后在潘素的周旋下，又有友人们鼎力相助，以40根金条“赎回”了张伯驹。朋友们纷纷称颂潘素侠肝义胆、勇敢智慧的品质。也正是拥有这种品质，无论是张伯驹被打成右派或“文革”遭受磨难之时，潘素都不离不弃。
当然，夫妇间也有磕磕碰碰的时候。据张伯驹的挚友马宝山回忆，有一回，马宝山去张家，正遇见张伯驹举着鸡毛掸子撵得潘素围着桌子转，谁也劝不了，谁劝打谁。到最后，是马宝山从张伯驹手中夺下鸡毛掸子。张伯驹气呼呼地说：“真是气死我了！”
不过，这种吵架在章诒和的笔下却描绘得有些可爱：潘素对张伯驹是百分之一百二的好，什么都依从他，特别是在收藏方面。有一次，张伯驹看上了一幅古画，出手人要价不菲。而此时的张伯驹，已不是彼时的张公子，纵使也担任了这理事那委员等职，但皆为虚职，并无实惠。潘素作为家庭主妇，支撑日常生活的诸多开支，应付昔日名门的琐细关系，将家里家外维持在一条不低的水平线上，就够她操心费劲的。如今，丈夫相中的古画虽好，但想到现实的经济状况和未来漫长的生活之需，潘素有些犹豫。张伯驹见妻子没答应，先说了两句，接着索性躺倒在地。任潘素怎么拉，怎么哄，也不起来。最后，潘素不得不允诺：拿出一件首饰换钱买画。有了这句，张伯驹才翻身爬起，用手拍拍沾在身上的泥土，自己回屋睡觉去了。
看，张伯驹还会撒娇呢！一个老头儿，孩子一样躺在地上，装着气呼呼的样子，任年迈的妻子百般劝慰，却不给实惠不肯起身，想着这情景，都叫人忍俊不禁。
男人不是不会撒娇，但他只对着自己最心爱的女人才肯撒娇，像个孩子，不给糖吃他就不依不饶。
看张伯驹一生，1939年原配李氏去世，1948年和大姨太太邓韵绮离婚，1952年又和二姨太太王韵缃好聚好散；只有潘素，陪伴他走完了风光又坎坷的一生。
1982年2月26日，张伯驹逝世。
关于张伯驹之死，潘素曾一度非常自责。
最初，张伯驹不过是患了感冒，多日不见好转，潘素急了，要送张伯驹去医院。张伯驹不愿意，他认为只是感冒而已，哪用得着去医院呢？潘素又是哄又是劝，到底把张伯驹拉进了当时的北大医院。潘素想着，送他进去就能把病治好，谁知道，这一送，却是送进了鬼门关。
事情是这样的：张伯驹走进病房，见是八个病人住在一起，而且那几个病人的病情都比他严重，他不高兴了，闹着要回家。潘素又是一通哄劝，才把他安顿下来，然后去向医院请求，能不能换个单人或双人病房。谁料，医院的人说：“张伯驹不够级别，不能换。”
两天后，同房的一个病人死了，张伯驹的病情也不见好，反而比进来时重了。张伯驹的心情更糟糕了，再次吵闹着要回家。潘素不肯，病情越来越重，她怎么放心让他回家呢？再次向医院提出申请，院方再次回应，张伯驹不够资格换房。又过了两天，又一个病人死去。这一回，张伯驹想闹也闹不动了，他从感冒转成肺炎。
后来，从病房里被抬出去的是张伯驹。他停止了呼吸。
张伯驹去世后，有人跑到北大医院，站在大门口叫骂：“你们医院知道张伯驹是谁吗？他是国宝！你们说他不够级别住高干病房？呸，我告诉你们，他一个人捐献给国家的东西，足够买下你们这座医院！把那些住高干病房的人，都扒拉一遍，看看哪个的贡献，能赶上张伯驹？”
再怎么争执，沉睡的人已是不醒。潘素为此悲伤不已，每想起张伯驹生前多次请求回家而她不肯，她就忍不住用拳头捶打胸口。她想，若是当初根本不送张伯驹去医院呢，就算去了医院，若张伯驹第一次闹着回家她就同意了呢，或许，张伯驹又能在这人间住上几年，哪怕多停留几日也是好的啊。
又10年，也就是1992年4月16日，潘素也离开了人间。
“姑苏开遍碧桃时，邂逅河阳女画师。红豆江南留梦影，白苹风末唱秋词。除非宿草难为友，那更名花愿作姬。只笑三郎年已老，华清池水恨流脂。”
这是张伯驹晚年为潘素所写的《瑞鹧鸪》。他在追忆他们的人生初见。
附：张伯驹简介
张伯驹（1898.03.14—1982.02.26），河南项城人，生于官宦世家，是集收藏鉴赏家、书画家、诗词学家、京剧艺术研究家于一身的文化奇人。国画大师刘海粟曾说：“他是当代文化高原上的一座峻峰。从他那广袤的心胸涌出四条河流，那便是书画鉴藏、诗词、戏曲和书法。四种姊妹艺术互相沟通，又各具性格，堪称京华老名士，艺苑真学人。”
张伯驹一生醉心于古代文物，致力于收藏字画名迹。他说：“不知情者，谓我搜罗唐宋精品，不惜一掷千金，魄力过人。其实，我是历尽辛苦，也不能尽如人意。因为黄金易得，国宝无二。我买它们不是卖钱，是怕它们流入外国。”自20世纪50年代起，张伯驹陆续将收藏的书画名迹捐献国家，使这些文物成为博物馆的重宝。张伯驹之女张传彩说：“很多人不理解父亲，把好大一座房子卖了，换了一个帖子，再把这个帖子捐出去，到底为的是什么？但我能理解他，我真的能理解他。父亲就是这样一个人，他是一个爱国家的人，他认为这些文物首先是属于一个国家、一个民族的，只要国家能留住它们，他付出多大代价也在所不惜。”
