张学良一生结过三次婚，原配夫人是于凤至，第二个夫人是谷瑞玉，第三个夫人是赵一荻，即赵四小姐。人们皆知于凤至和赵四小姐，对谷瑞玉则知之甚少。
张学良的原配夫人于凤至，自幼聪明伶俐，文采出众，并写得一手清秀俊逸的毛笔小楷。在张家大院的小一辈女人中，张学良的妻子于凤至，最受张作霖重视。这不仅仅是由于儿媳妇的品貌出众，还因为他十分珍视同于凤至的父亲于文斗的旧谊。
张作霖1908年奉徐世昌之命赴郑家屯剿匪期间，到把兄弟于文斗的家中，看中了于凤至的文才人品，就决定由她来做自己的长儿媳妇。当时张学良在奉天（沈阳）求学，追求他的高官之女甚多，他对于凤至这样出身低微的小镇民女根本看不上，所以，当他奉父亲之命，去郑家屯相亲时，写了一首《临江仙》词嘲讽于凤至，暗示于家是在巴结已握有东三省军政大权的张家。于凤至当即回敬了张学良一首《临江仙》，词曰：
古镇亲赴为联姻，难怪满腹惊魂。千枝百朵处处春，卑亢怎成群？目中无丽人。海誓山盟心轻许，谁知此言伪真？门第悬殊难知音，劝君休孟浪，三思结秦晋。
张学良读罢大吃一惊，深悔自己险些与一位才华超群的少女失之交臂。遂回心转意，同意迎娶于凤至。与张学良结婚以后，于凤至深知自己纵有满腹经纶，若没有相当的学历，也难以在张家这豪门大户立足的，所以坚决要求进东北大学读书深造。于凤至的文采学识，张学良常常自叹不如。
于凤至不仅聪慧，而且很漂亮，爱新觉罗·溥杰就曾盛赞于凤至“长得很美”。她生就一张很古典的脸，清清秀秀的，宛若一枝雨后荷塘里盛开的莲。
张学良的第二个夫人是谷瑞玉，人称“随军夫人”。
谷瑞玉，天津人。1904年2月出生于天津附近杨柳青一大户人家。1922年4月第一次奉直战争爆发，当时谷瑞玉刚刚18岁。这年7月间，谷瑞玉在出席二姐夫的家宴时，有幸与张学良结识。豆蔻年华的谷瑞玉不仅天生丽质，而且通晓英语。一年之后，谷瑞玉任张学良的英语翻译，其后二人感情日笃。
1924年9月，第二次奉直战烽火再起。当时，张学良统帅着东北军第三军，日夜坚守在山海关九门口前线。正在战事的紧急关头，谷瑞玉来到前线去陪少帅。谷瑞玉在奉直激战的前线陪伴着张学良度过了最困难的时刻，终于迎来了东北军的最后胜利。张学良与谷瑞玉在战地结合的情况传到张作霖的耳朵后，他只好对儿子与谷瑞玉的婚事表示默许，于是，1924年10月，张学良与谷瑞玉遂在天津结婚。
1928年2月，张学良升任第三方面军团总司令，驻防保定。而素有随军夫人美称的谷瑞玉独自居住津门，学会了跳舞、泡酒巴等，常与人打麻将至深夜不散。还经常到北京一连数日听戏不归。数月后，张作霖在皇姑屯遇难。在秘不发丧期间，在天津居住的谷瑞玉未经许可，独自冒然返回沈阳。正是由于谷瑞玉的擅自行动，引起了日本关东军的注意。日本报纸上因此怀疑“秘不发丧”的真伪虚实，称“张学良的如夫人谷瑞玉由津返回奉，说明张作霖在皇姑屯必死无疑。否则一向与大帅府关系并不密切的如夫人是不会在张学良不在奉天情况下独自返回关东的。”谷瑞玉的冒然行动，埋下了在政治上与少帅分道扬镳的祸根。
谷瑞玉的任性，使她与张学良间的裂痕越来越大。1928年冬天，奉系旧军阀杨宇霆、常阴槐等心生异念，阴谋取张学良而代之。杨宇霆千方百计地收买谷瑞玉作内线，张学良发觉杨宇霆动机可疑，曾提醒谷瑞玉别上杨宇霆的当，然而谷瑞玉却我行我素。是年12月杨宇霆假借乃父祝寿为名，请谷瑞玉与少帅一道去杨宅赴宴。张学良随谷瑞玉前往后，险遭到一群日本浪人的暗算，幸亏于凤至夫人早已识破乐杨宇霆的图谋。此事发生后，张学良对谷瑞玉的误解更深，其婚姻名存实亡。1931年1月，张学良与谷瑞玉解除了婚姻关系。张学良在天津的英租界为谷瑞玉购买小楼房一幢，又给她10万元供其生活之用。
张学良的第三个夫人是赵一荻，她与张学良相濡以沫，共度幽禁岁月，一直到终老。
赵一荻原名赵绮霞，原籍浙东兰溪，1912年，她出身于一个颇有名望的官宦之家。父亲赵庆华是北洋军阀直系政府时期铁路局长。因在家中排行老四，人们都称她为赵四小姐。她十分美貌，而且冰雪聪明，十四五岁就曾成为《北洋画报》的封面女郎。
1927年，刚刚过完15岁生日的赵一荻，在天津的舞会上认识了张学良。两人一见钟情，很快坠入爱河。此后的日子里，张学良一有空闲就和赵一荻散步、聊天、打球、下棋，或者谈论新诗。
父亲赵庆华知道女儿与有妇之夫张学良在一起，一气之下将赵一荻软禁起来。在六哥赵燕生的帮助下，赵一荻与家人不告而别，去东北投奔张学良，成了张学良的编外夫人。
其父赵庆华气急败坏地只好在报上发表声明：“四女绮霞，近日为自由平等所惑，竟自私奔，不知去向。查照家祠规条第十九条及第二十二条，应行削除其名，本堂为祠任之一，自应依遵家法，呈报祠长执行。嗣后，因此发生任何情事，概不负责，此启。”赵庆华随即声言自身惭愧，从此辞离仕途，退隐而居。
赵一荻以张学良秘书的身份，搬进帅府后，非常感激于凤至的宽厚仁德，对她更是恭顺敬重。她和于凤至和睦相处，情同姐妹。1929年，赵一荻为张学良生下了惟一的儿子张闾琳。
“西安事变”之后，蒋介石背信弃义，张学良在南京身陷囹圄，随后，赵一荻陪随着张学良开始了漫长的幽禁生涯。在与世隔绝的寂寞中，他们俩人相依为命，张学良把一切希望和欢乐都寄托在赵四小姐的身上，赵四小姐则尽自己全部的力量给张学良以安慰和照料。见过的人都说，赵四小姐经常身着蓝衣，脚登布鞋，几乎洗尽铅华，终日陪伴在张学良身边。
在台湾幽禁期间，张学良皈依了基督教。要笃诚地信仰耶稣，就必须依循基督教义的规定，在于凤至和赵一荻之间作出选择。此时，张学良的心里确实格外沉重。最终，他作出了痛苦又无奈的决定，和于凤至解除婚姻关系。
张学良执笔给在美国于凤至写了一封信，于凤至给张学良写了回信：“你们之间的爱情是纯洁无瑕的，堪称风尘知己。尤其是绮霞妹妹，无私地牺牲了自己的一切，任劳任怨，陪侍汉卿，真是高风亮节，世人皆碑。其实，你俩早就应该结成丝梦，我谨在异国他乡对你们的婚礼表示祝贺！”
1964年3月，结发妻子的离婚手续，从美国寄到张学良手中。1990年1月30日，于凤至在睡梦中安然逝去。
1964年7月4日，张学良与赵一荻正式结婚，结婚典礼在台北市杭州南路美籍友人吉米·爱尔窦先生的寓所举所，来宾有宋美龄、张群等要人。2000年6月22日，赵一荻病逝于美国夏威夷。一年以后的2001年10月14日，张学良也在美国夏威夷病逝，享年101岁，结束了其传奇的一生。
