1926年，吴晗考入了杭州之江大学，虽说也是高端学府，但是不合吴晗之意，随后前往上海又考进了中国公学，当时胡适先生乃是中国公学的校长，因为吴晗熟络史学，因此和胡适先生结下了一生的师生缘。
后来，胡适离开了中国公学，前往北京担任北京大学文学院的院长，而吴晗跟随老师一同北上，可是胡适是院长，吴晗还是学生啊，即便胡适是北大文学院院长，也无法破例收吴晗进北大当学生。
于是吴晗只能自己努力考入北大，一场考试下来，吴晗很厉害，文史这一科考了满分、英文这一科他也是满分，唯独数学考了0分，可是北大招生制度严明，吴晗这样严重的偏科生坚决不要，吴晗只能将成绩单投给清华。
本来吴晗只是碰碰运气，哪知被清华大学破例录取，因为文史成绩很优秀，清华选择了吴晗，吴晗也选择了清华，但是苦于没钱入学，胡适便帮吴晗想办法，胡适给清华代校长和教务长写了一封信，说清楚了吴晗的家庭条件，希望能给他找一份工作，让他半工半读。
当他撰写的《胡应麟年谱》发行之后，胡适对他这位学生更加器重，虽是北大教授，但他仍举荐吴晗当国立清华大学史学系的工读生，让他专攻明史。
毕业之后，吴晗先后去了云南大学和西南联大当教授，最终又回到了清华当教授，后来，吴晗与胡适成了道不同不相为谋的师生，胡适成了国民党麾下的一员，而吴晗则是中共地下党的一员。
曾经吴晗致信求见胡适，胡适对这位深爱的弟子不加理睬，吴晗因此也说：“联大从昆明搬回北平后，我做胡适工作，可是他顽固不化，我的脚就不再踏上他家的客厅了。”胡适也曾长叹“吴晗可惜，走错路了，是耶？非耶？”其实他们两人都不知道究竟是谁走错了路。