张学良一生风流倜傥，不管是对于赵四小姐还是于凤至，都被他迷得神魂颠倒。但是张学良一辈子真正宠爱过的女人只有她。
1922年4月，第一次奉直战争爆发，在宴会上，张学良认识了一个非常漂亮的女孩子——谷瑞玉。谷瑞玉的家族世代经商，这次宴会就是她的二姐夫举办的。两个人相见恨晚。那一年张学良21岁，谷瑞玉18岁。正是风华正茂的大好年纪。
1924年9月第二次奉直战争再次爆发，张学良当时率军坚守在前线。当时谷瑞玉就写信给张学良，诉说着自己的思念。后来更是不顾危险前去看望张学良。这让张学良大受感动，战争结束后，在10月和谷瑞玉在天津结婚了。但是谷瑞玉是张学良的二房夫人，于凤至是不会待见她的，于是谷瑞玉只好滞留在了天津。
谷瑞玉在1925年春节前搬进了张学良给她在沈阳置办的小洋房里。当时张学良的手下都知道这位二夫人，并且也见过面。因为谷瑞玉长得很是漂亮，又有俄国人的血统。于是张学良的部下称她为“大洋马”张学良听到后并没有什么反应。
谷瑞玉跟着张学良南征北战，受了很多的苦。谷瑞玉更是放言：“只要有你在的地方就有我，哪怕是天涯海角，我都敢去！”张学良大为感动，锦衣玉食的供养着她。
只可惜到了后期，谷瑞玉迷恋麻将和戏曲，两人之间矛盾增多，再也不复往日温情。1931年，两人协议离婚。至此，谷瑞玉都没有踏进张学良祖宅一步。