顾维钧从国际法院退休后，从荷兰回到美国，在纽约曼哈顿最繁华的地段公园大道租了一套公寓，真正开始了退休生活。这时，他已经过了78岁。
在这之前，顾维钧已经与结婚30多年的黄蕙兰离婚了。离婚前，他们两人已经貌合神离地生活很多年了。
顾维钧与黄蕙兰，郎才女貌，黄蕙兰还会说多种欧洲语言，两人的婚姻在一般人看来天造地设，十分般配。但实际上两人的生活习性相差甚远。黄蕙兰的父亲是印尼“糖王”、华侨首富，她是含着金汤匙出生的，自幼长住欧洲，过惯了奢华的生活，耽迷于上流社会的社交活动。顾维钧任职北京政府时期，黄蕙兰与外交使团尤其是公使夫人们交往应酬，欢快融洽，这是她喜欢的生活。
顾维钧当时已是有国际声誉的外交家了，但在黄蕙兰眼里，他与西方人在一起还不能像她那样愉快自如。而两人的感情在经过一见钟情的热烈初恋后，在北京生活时已经冷淡下来了。黄蕙兰认为，他们的生活在物质上是满意的，但她与顾维钧并不相爱。
▲1930年代，黄蕙兰与顾维钧
顾维钧任驻法公使期间，他与黄蕙兰的婚姻出现了问题。1934年回国述职时，顾维钧与他后来的太太严幼韵有了密切来往。张学良是这一段来往的直接见证人。1990年，张学良对帮助顾维钧整理过回忆录的唐德刚说，西安事变前，也就是顾维钧回国述职那段时间，他与顾维钧打麻将，同桌的还有严幼韵。黄蕙兰怒气冲冲地来了，拽着顾维钧走，顾坐在那里就是不走。黄蕙兰拿着茶水从顾维钧的头上浇下去，顾端坐着还是不走。黄蕙兰指着严幼韵当面开骂，严也是端坐不动。
有一张顾维钧留下的照片可以为张学良的口述提供一个注脚。1936年初，顾维钧回法国前，在上海与送行的朋友聚会时拍了一张合影。60位多位朋友中有银行家周作民、京剧名角梅兰芳等各界名人。顾维钧与黄蕙兰作为主人坐在前排正中的位置，严幼韵紧站在顾维钧的背后，而严幼韵的丈夫杨光泩远远地站在第五排即最后一排的边上。
顾维钧返任后不久，杨光泩被派往巴黎，负责在欧洲为抗战做宣传，严幼韵也随之来到了巴黎。这一期间，顾维钧参加外交活动的照片上，有几张可看到严幼韵在场。黄蕙兰有一天在日记中不无怨恨地写道：“这位风流大使又像个夜行人一样熘出去会他的女相好了。”
1938年，难以忍受的黄蕙兰直接给孔祥熙写信求助，要求将杨光泩调离巴黎。杨光泩原有可能出任驻捷克公使，但最终孔祥熙将他调离开欧洲，去了亚洲的菲律宾。
1946年顾维钧重返华盛顿，严幼韵在抗战结束、丈夫杨光泩在战争中为国捐躯后来到纽约，两人重续前缘。黄蕙兰在她的回忆录中抱怨说：“维钧每个星期要到纽约去度周末，从星期五一直待到下个星期二，与他那位在联合国工作的女相好相会。”
她与顾维钧的关系也越来越糟糕，“维钧似乎变得日益高大。他为所欲为，不与我商量。他对待我，就是忍让，供吃供住，人前客客气气，私下抛在一旁”，“如果没有客人，维钧和我从不同桌进餐”。
不过除了亲近者，华盛顿外交界看到的仍然是雍容华贵、殷勤待客的大使夫人。顾维钧保存下来的这一时期照片中，许多拍摄于社交场合，照片上黄蕙兰的笑容要比在场的顾维钧更自然更灿烂。在这些场合，她如鱼得水，十分享受大使夫人的荣耀。场面应酬之外，黄蕙兰对顾维钧的外交活动也有实际的帮助。如1950年底的一个周末，顾维钧正在纽约，塔夫脱参议员有急事要约见他。黄蕙兰与顾维钧通话后，就代表他去与塔夫脱见面会谈，将事情办妥。
与顾维钧和黄蕙兰都熟识且自己有过外交官经历的袁道丰对黄蕙兰有这样的评论：“顾大使得此良伴，周旋于外国政要与使团之间，也可以说天助自助。虽说他只管太太的账，但直接或间接的得到的便利大约不会少的。”“老实说，在我国驻外大使夫人如林的当中，最出色的中国大使夫人要以黄蕙兰为首屈一指了。中外人士都对她表示尊敬，就是多年貌合神离的顾公维钧，对她肆应外交的功绩也不能忘怀。”
宋美龄在人们交口称赞顾维钧的外交贡献时，就特别提醒说：“别忘了大使夫人也起了重要作用呀。”
1956年1月底，顾维钧从台北返回华盛顿当晚，告诉黄蕙兰他已辞职。次日一早，黄蕙兰不辞而别，离顾维钧而去。没有了大使夫人的头衔，她不愿再与顾维钧维持有名无实的婚姻了。此后，黄蕙兰一直住在纽约。1993年12月，百岁生日那一天，她无疾而终。
顾维钧晚年与其相伴的夫人就是严幼韵。严幼韵出生在一个典型的近代商人家庭。她的祖父严信厚17岁时离开浙江宁波附近的农村，来到上海在银楼学生意。后入李鸿章幕府，得到署长芦盐务帮办的官职，开始以盐务起家，并投资工商业，成为东南地区有影响的大商人。20世纪初，上海各界商人组织总商会，他出任上海商务总会首任总理。严幼韵出生于1905年，两岁时严信厚去世了，但留下一份丰厚的家产，可以说她也是含着金汤匙来到人世的，从小就过着无忧无虑的富家生活。
1925年，严幼韵进沪江大学读书。沪江是一所教会学校，有严格的校纪校规，学生被要求住校，每月只能回家一次。严幼韵感到校规太过严厉，读了两年后，正好复旦大学开始招收女生，就转校来到校园氛围宽松得多的复旦读商科三年级。
因为是第一届女生，复旦的女生宿舍尚未建好，这正合严幼韵不愿住校的心意，因此就坐自备轿车从地处静安寺的家中来校上课。轿车配有司机，车牌号是84号。一些男生就将英语Eighty Four念成沪语“爱的花”。严幼韵长得漂亮，父亲在南京路上开着“老九章绸布庄”，各种衣料随她挑，因此每天更换的服装总是最时髦的，令人眼花缭乱。“爱的花”这一外号也就不胫而走，更传出复旦校园，出现在上海的报章上。与严幼韵同届的商科男同学章宗钰回忆道：
那时校花Eighty Four译名“爱的花”，不仅在复旦而且在全上海是知名度很高的人物，打扮入时，无法形容她的美在何处，至少她上下午服装不同。徐文台学长说她是一“衣服架子”，因为她家是开绸布庄的；好有一比，萧子雄女同学和她寸步不离，一高一矮，一美一丑。例如邱正伦教授的公司理财课，她俩每次必迟到，门声响处，皮鞋答答，大家一定“向右看”，弄得邱教授讲“Issue Bond，Issue Bond”，接着说不下去，足证其魔力之一般。
“爱的花”做功课大有一套，遇到要交习题或报告，她会电话某位男同学，说要借他的习作一看，闻者无不欣然听命，归还时洒上一些香水示意，甚至一位周同学正本报告被她拿去交卷，认为是“受宠若惊”！
1929年夏天，复旦大学第一批入校的女生中有4人可以毕业了，严幼韵名列其中。但临近毕业，学校注册部公布“缺课逾四分之一不能参与大考”名单，严幼韵也榜上有名，且名列第一，注明是戏剧学缺课逾四分之一，按例不能参与大考，于是毕业就成了问题。因为是校园名人，一时议论纷纷，连《申报》都刊登消息。
复旦大学实行学分制，如果缺几个学分，可以通过暑期课程补足。但据说严幼韵不愿在酷暑中来学校上课，而是另想办法。复旦还有一规定，学生在课外阅读中有心得写成论文，经相关科目的教授审阅后如获肯定，亦可得到相应的学分。严幼韵最终交了一篇论文补齐学分，终于毕业。
毕业前夕，严幼韵遇见了杨光泩。杨光泩第一次看见严幼韵时，她正自己开着那辆“爱的花”轿车。他一见钟情，马上请朋友介绍认识，以后就不断地送花、约会、看电影、跳舞。杨光泩不到而立之年，但已是国民政府外交部情报司帮办和条约委员会成员。
杨光泩出生在湖州丝商家庭，其祖父在19世纪末来上海开丝行。1920年，杨光泩从清华学校毕业后获庚款资助赴美留学，四年后获普林斯顿大学国际法博士学位。留学期间，杨光泩担任过华盛顿会议中国代表团的学生随员，还担任过《中国留美学生月刊》主编，只是比顾维钧晚了十多年。1927年，杨光泩受聘于母校清华，担任政治学和国际法教授，并兼北京政府外交部顾问。1928年初，北京政府大势已去，杨光泩受邀南下，加入国民政府。
面对这样一位前程似锦的外交官的追求，严幼韵当然无法拒绝。1929年9月8日，严幼韵与杨光泩结婚了。婚礼在他们经常去跳舞的大华饭店举行，这也是9个月前蒋介石与宋美龄举行婚礼的地方。出席婚礼的有千余人，证婚人是外交部长王正廷。新郎是年轻有为的外交官，新娘是复旦校花、名门闺秀，这样的婚姻，自然成为媒体追捧的对象。
1930年，新婚不久的杨光泩出使海外，严幼韵随夫出洋，开始了外交官夫人的生活。杨光泩先在伦敦任总领事，随后作为中国代表团成员，出席在日内瓦举行的国联会议。他与严幼韵的第一个孩子就出生在日内瓦。在严幼韵的记忆中，那段日子里，他们就是不断地整理行李、搬家，由于每次调动，杨光泩必须马上熟悉新的工作，搬家的杂事必须由她自己来做。顾维钧是中国驻国联代表，常从巴黎来日内瓦。
那时中国外交界的年轻人，只要有机会都想结识顾维钧并向他请教，杨光泩也不例外。严幼韵与顾维钧也因此相识。1933年夏天，杨光泩夫妇还与顾维钧夫妇一起去蒙特卡洛度假。
1934年，杨光泩奉召回国，出任在上海出版的《大陆报》总经理和总编辑。《大陆报》是一份有国际影响的英文报纸，该报的社评大多由杨光泩执笔。国民政府挑选他担任此职，就是要借重他的专业素养加强对外宣传，争取国际舆论对中国的支持。
顾维钧回国述职期间，与杨光泩多有来往，杨光泩就《大陆报》股权事宜多次请教顾维钧。公务之外，两人私交也很亲近，有一次一同去杭州满觉陇观赏桂花，不过被记者发现同行的不是黄蕙兰和严幼韵，而是两位“妙龄女友”。
1937年，杨光泩再度被派往欧洲，常驻巴黎做对外宣传，严幼韵随即从国内赶来与丈夫团聚。如前所述，第二年，杨光泩被派往菲律宾出任中国驻马尼拉总领事。当时菲律宾尚未独立，中菲间没有设使馆，驻马尼拉总领事就是中国在菲律宾的最高外交代表。1939年初，严幼韵带着他们的三个女儿也来到了马尼拉。
1941年12月7日，珍珠港事变爆发，日军同时向驻菲律宾的美国军队发起攻击。面临战争的炮火，杨光泩沉着镇定，一面与侨界领袖联络，会商应变办法，协助华侨疏散；一面开始烧毁华侨抗战捐款存据和其他重要文件，并奉国民政府命令，销毁在美国印制、运往中国途中搁置在马尼拉的大宗法币。美军司令麦克阿瑟从马尼拉撤走时，要杨光泩一同走，但他表示因未接国民政府撤退命令，所以必须恪尽职守，坚守岗位。
1942年1月2日，日军攻占马尼拉。两天后，杨光泩与留守总领事馆的另七名外交官遭日军拘禁。当日军士兵来到杨光泩在战争爆发后居住的马尼拉饭店时，他十分镇静地拿起早就准备好的一包衣服告别妻女。被日军拘禁期间，杨光泩严词拒绝日军要其向华侨募款的要求。4月17日，杨光泩和七名外交官惨遭日军杀害，为国捐躯。
抗战胜利后，1947年7月7日，卢沟桥事变十周年的日子，国民政府派专机将杨光泩等烈士的忠骸运返祖国，在南京举行庄重的公祭和公葬仪式。中华人民共和国对杨光泩这位抗日外交烈士也充满敬意。1987年11月17日，江苏省和南京市政府举行纪念杨光泩等烈士公葬40周年仪式。
丧失丈夫的巨大打击没有击垮严幼韵。作为母亲，她要照养三个女儿，最小的女儿才刚过三岁。作为总领事夫人，她感到有责任照料好其他七位外交官的妻子儿女。于是，她刚到马尼拉时租下的三个卧室的屋子，就成了这些外交官家属共同的家园。除了每个卧室要住两户人家外，客厅里也还得住人，整个屋子一共住了近20个人。
生活虽然艰辛，但严幼韵始终保持着乐观的心态。屋子里留有一架旧钢琴，空闲的时候她会去弹奏挪威作曲家辛丁（Christian Sinding）的曲子《春之声》。严幼韵的大女儿杨蕾孟此时已过十岁，她清楚地记得母亲在整个战争期间从未显现出任何忧虑的神态。因此这段艰难的日子，在严幼韵女儿的记忆中却留有一些儿时的童趣。
1945年3月，美军攻占马尼拉后，严幼韵和她的三个女儿在美军司令麦克阿瑟的安排下，搭乘第一艘携带美国平民回国的轮船前往美国。随后，她在联合国礼宾司开始了自己第一份正式的工作，担任礼宾官。此时，顾维钧与严幼韵，一在华盛顿，一在纽约，周末就是两人见面的日子。1953年，严幼韵护照到期，顾维钧专门写信给叶公超，请求给她办外交护照，而不是按常规办公务护照。1959年9月，两人在墨西哥城终于正式办了结婚仪式。
此时，顾维钧71岁，严幼韵54岁。
虽然相爱多年，并已步入老年，顾维钧对严幼韵仍是情意绵绵。刚到海牙一人独居时，他给远在纽约的严幼韵写诗寄托相思之情：
夜夜深情思爱人，
朝朝无缄独自闷。
千种缘由莫能解，
万里邮航一日程。
严幼韵对顾维钧的爱，更多地体现在对他无微不至的照顾上。每天凌晨，顾维钧熟睡一段时间醒来后，她已准备好一杯热牛奶和几块饼干，放在床头柜上，让他喝下后继续睡觉，唯恐他从晚餐到早餐空腹时间过长，于身体不利。顾维钧退休后生活安逸，健康长寿，得之于严幼韵者良多。
如果不算父亲定下的与张氏的婚事，顾维钧一生有过三位夫人。有人称之为顾维钧的婚事三部曲：一主贵，与唐宝玥结婚，借以发展政治地位；二主富，与黄蕙兰结婚，得以多财善舞；三主爱，与严幼韵结婚，相亲相爱，白头偕老。能从婚姻中得到的，顾维钧都得到了。
顾维钧自己说，三位夫人中，他最喜欢严幼韵，因为她最了解他、照顾他。
▲严幼韵与顾维钧
因为顾维钧的声望，他的婚事和情史是公众瞩目的。但他本人却不愿多讲，在几百万字的口述回忆录中一语带过。唐德刚帮他做口述回忆时，已熟读了黄蕙兰那本有趣的自传，但因为与顾维钧之间始终是敬而远之的关系，不敢就此向他提问一句。女儿顾菊珍对父亲的浪漫史也有好奇心。有一次看到一本英语畅销书上写顾维钧一共有过28个女人，就在家中餐后闲聊时问父亲这叙述是否真实，顾维钧脱口而出回了一句：“Only twenty-eight？”（只有28个吗？）既不否定，也不肯定。顾菊珍对父亲滴水不漏的外交官回答只有敬佩。
顾维钧的晚年生活过得非常有规律。他上午9时许起床，稍做活动后，开始早餐。早餐十分丰盛，持续时间要一个半小时，一面饮食，一面读报纸。顾维钧每天看的英文报纸是《纽约时报》，中文报纸是台湾出版的《中央日报》和美国出版的《世界日报》。
每天下午，顾维钧都要拄着拐杖，外出散步，这是他的健身之道。虽住在纽约这个大都市的中心，但公园大道离中央公园仅一步之遥。公园里树木繁茂，绿草如茵，湖面如镜，是闹中取静放松身心的绝佳去处。只是那时纽约的治安状况太差，顾维钧在散步时曾被抢劫三次。遇到这种情况，他也不失幽默感，每次散步总要带些现金，说是不能让抢劫者空手而归。散步之外，他还喜欢游泳。90多岁时，还从跳板上跳入游泳池。
顾维钧晚年最经常的消遣是打麻将。
严幼韵操心最多的也是为他安排牌局。顾维钧打麻将，出牌极快。有人问他牌运如何，他答曰：“十九必输。这不是我的技术不如人，实因这是一种‘统战’，花样繁多，有时我的精力不能顾到全局，因此牌运对我不甚客气。”对于输赢，他认为，“这原来是消遣，定率低而出入微，输赢可不在乎”。他还自订了几条玩牌守则，其中有：受人欢迎，首重牌品，旨在消遣，大小勿论。准时赴约，不得迟到，圈数决定，不增不减。
顾维钧的另一消遣是画画。退休后，他专程赴香港拜师学习作国画，并认真研读画谱。他的画题材固定，大多是梅、兰、竹、菊，有传统文人画的神韵，也是他处世立身之道的一种写照。他也画过工笔牡丹，是专为严幼韵画的，题词“春长在”。严幼韵一直挂在自己卧室的床头上，直到2017年她112岁去世。
顾维钧晚年的另一乐事，是看到儿女孙辈欢聚一堂。顾维钧有三子一女。
长子顾德昌和女儿顾菊珍是唐宝玥所生。顾德昌在第二次世界大战时期担任过中国驻美使馆空军武官，从空军退役后在台湾经商，晚年移居美国，1998年去世。
顾菊珍1917年出生在华盛顿。在英国伦敦大学学的是物理，但受父亲的影响对国际事务有兴趣，从1947年开始进联合国工作，一直在托管事务部，凭自己的才干升至“非洲事务司司长”。1971年中华人民共和国恢复在联合国的席位后，她给予担任联合国副秘书长的唐明照及中国代表团很大的帮助。退休后，她与丈夫钱家骐遍访欧美许多城市，搜集顾维钧照片，并为《顾维钧回忆录》的中译本出版做出很大贡献。2015年，顾菊珍98岁时去世。
顾维钧与黄蕙兰生有二子。顾裕昌也在联合国任过职，因不满法律部太官僚化而辞职经商，任职期间写过一份讨论安理会投票程序的文件，离开后许多年仍被使用。顾福昌从哥伦比亚大学毕业后就去经商。裕昌和福昌都先于父亲在1970年代末去世，顾维钧为之伤感不已。
严幼韵与杨光泩有三个女儿，因此顾维钧还有三个继女。由于早年丧父，她们视顾维钧如同亲生父亲，相互间十分亲热。长女杨蕾孟一生从事编辑，在美国多家着名出版社如哈珀与罗出版社、利特尔与布朗出版社担任过编辑或总编辑，许多有影响的书包括基辛格担任国务卿期间的回忆录《动乱年代》三卷本都出自她的手下。她编着的最后一本书就是母亲严幼韵口述的《一百零九个春天：我的故事》。2020年，杨蕾孟去世。幼女杨茜恩担任过房产公司的总裁、中式烹饪教师，后来在家相夫教子，因病于1992年去世。
三个继女中次女杨雪兰与顾维钧最亲近。杨雪兰1935年出生于上海，与姐姐一样毕业于韦尔斯利学院。她是一位成功的企业家，早年在广告公司工作，获得过业界最高荣誉。
后来至通用汽车公司担任副总裁，这是以往女性没有担任过的职位。美国通用在中国投资20亿美元的项目——在上海生产别克轿车，她起了关键作用。她也是热心中美文化交流的社会活动家。2014年，由她出面牵线，召集相关各方，最终由中国社会科学院近代史研究所完成顾维钧文件的电子化，使这套总共有17万页的珍贵资料回归故里。2020年，杨雪兰因病去世。
有爱妻相伴，有儿孙绕膝，有健康的身体，有安逸的生活，顾维钧的晚年是幸福的。
