赵元任会讲三十三种汉语方言，会说英、法、德、日、西班牙语等多种外语。而且说得和当地人一样，还会使用他们的方言。赵夫人杨步伟在自传中就说：“战后我们到欧洲去参加世界科学会议，在巴黎车站，赵先生和提行李的红帽子即刻说他没有机会说的巴黎市井土语。那提行李的听了，便向他叹道：‘您回来啦！现在可不如从前了，巴黎穷了。’后来我们到了德国法兰克福，赵先生又说该城的土音德语，他们又向他说：‘您回来了？打完仗头一次回来呀。’赵先生最大的快乐就是到了世界任何地方，人家都说他回来了，都认他是老乡。”
赵元任之所以能成为二十世纪国际上负有第一等声誉的语言学家和音乐界早已公认的中国最好的“和声学家”，大概就因为他有一对超乎寻常的耳朵，这是国际公认的全球一共不到五对的耳朵中的一对，它们能听出极细微的方言的分别，能辨出用仪器才能测出的“音的偏差”。赵元任就说过胡适好像有点Tone deaf（音盲），他们在康奈尔大学同学时，偶然有音乐会他总是拉胡先生一道去，但胡先生毫无兴趣。赵元任在康奈尔大学主修数学，选修物理，他说：“倒是学自然科学的比较喜欢音乐，如果像胡适之先生那样有影响力的人早年在北平也喜欢音乐的话，说不定音乐的风气还会开化很早些。”在他们那一辈朋友中，傅斯年、李济也与音乐无缘，赵元任说李济唱歌五音不全；傅斯年一度好像喜欢过京剧，但也没有入迷。
赵元任说当年胡适、刘半农、徐志摩都爱写新诗，他不会作诗，只好作曲了。于是一时兴起，就替他们的诗作谱上一曲，往往一个晚上就写好了。像《上山》《教我如何不想他》《小诗》《茶花女饮酒歌》《海韵》《瓶花》《也是微云》，都是这样写成的。他最怕人家称他作曲家，他说他充其量只是一个“谱曲家”而已。
今圣叹（程靖宇）说，民国初期，中国儒林“惧内”的名家，名列前茅的当推清华教授李四光，赵元任不列第二，也是第三。他说杨步伟管教她四个女儿——如兰（Iris）、新那（Nova）、来思（Lensey）、小中（Bella），都采用自由民主教育，个个书读得极好，后来都在美国或中国当教授，皆卓然有成。但其管教丈夫却不讲自由民主，而是采用东方传统“子曰馆”老学究——“动辄夏楚以威之”——打人的办法，如此一来赵元任不惧也得“惧”了。晚年，有学生某，笑问赵博士夫妇说：老师与师母，能相处得这样好，有何秘诀？杨步伟说：“完全是因为他耐性好。”赵元任则幽默地回答：“哪里的话，是我的忘性好！”弦外之音，颇堪玩味！
一九二八年，清华大学改为国立，罗家伦被任为校长，但在任不久，一九三〇年五月二十日就为学生代表大会所驱逐。一九三一年，吴南轩就任校长，仅过月余，又引发师生“驱吴”风潮。教授会通过决议致电教育部要求“另简贤能”。听说当时有人提议由赵元任来出掌清华大学，蒋介石行将批准照办了，适吴稚晖先生在侧，笑曰：“那不如圈定杨步伟女士做校长好了，因为反正两个礼拜以后，便要归赵太太掌管的。”这一说，赵元任之惧内，连蒋介石都知道了，于是改而圈定了梅贻琦，于是梅贻琦一做就做了十七年的清华大学校长。
尽管如此，程靖宇还是肯定杨步伟之为东方最有中西文化根基之贤妻良母，这是无可否认的。杨步伟早年在日本东京女子医学院学医，一九一九年学成回国，在北京创建“森仁医院”。一九二一年六月一日与赵元任结婚。赵元任在语言学界空前的大成就，应该三分之一归功于夫人，三分之一归功于赵之天才，三分之一归功于赵的绝对有恒的研究精神。杨步伟写有菜谱《做、吃中餐》（How to Cook and Eat in Chinese）及《教你一些在中国餐厅点菜、吃饭的高招》，非常畅销。她是以做菜著名的文化人太太，而且来客必留饭，生怕人家没有吃得舒服。
张继高（吴心柳）在回忆文章中，提到一九五九年赵元任第一次回台湾，当时住在福州街钱思亮家，他约好去看赵先生，出来接待的是赵夫人，谈话间，他发现赵先生正光着上半身，下面用一条大毛巾围着，一半身子躲在走廊里面，看到他来，很不好意思。这时赵夫人也发现了，对张继高说：“你坐一下，我给他拿衣裳。”大约过了五分钟，赵先生才穿着整齐，出来和他见面。张继高说：“这一幕，使我对外传赵太太如何巨细无遗地照顾赵先生的事情，充分得了证实。”
一九三六年为赵元任与杨步伟银婚之期，原证婚人胡适之曾作诗向他们道贺，诗曰：“蜜蜜甜甜二十年（胡适误银婚为二十年），人人都说好姻缘；新娘欠我香香礼，记得还时要利钱。”胡适已够幽默风趣了。一九六一年六月，赵先生七十岁生日，又值他们结婚四十年，前往庆贺的友朋不少。当时李济在庆祝会上说：“将赵元任求学与研究精神，比之为《西游记》上的玄奘和尚。玄奘之所以成功，又是得力于观音菩萨的保护协助，杨步伟乃赵元任的观音菩萨也。”李济一言惊四座，引得杨步伟更笑逐颜开，众人亦为之拍掌狂欢！其实世俗之谈惧内者，多尊太太为观音菩萨，行家话不明言，实寓意其中也。
一九七二年六月，为两人金婚之期，其门生故旧，在旧金山四海酒家，称觞奉贺，场面更为热烈！杨步伟首先兴发，仿胡适银婚诗体，自题了一首贺诗：
吵吵闹闹五十年，人人反说好姻缘，元任欠我今生业，颠倒阴阳再团圆。
惧内的赵元任也不能不助兴，回了一首：
阴阳颠倒又团圆，犹似当年蜜蜜甜，男女平权新世纪，同偕造福为人间。
夫妇唱和，本是他们的燕昵之私，不足为外人道，不管他们来生如何颠倒阴阳，但此生确是“妇唱夫随”了！
