“大学”一词，我们最先普遍熟知于儒家经典“四书”之一的《大学》，是一篇论述儒家修身齐家治国平天下思想的散文，更是一部中国古代讨论教育理论的重要著作。其实在更早的时期，大学即指聚集在特定地点整理、研究和传播高深领域知识的机构。
根据文献记载，大学作为一种具有高等教育职能的机构，可以追溯到五帝时期的成均和上庠；董仲舒曰：“五帝名大学曰成均，则虞痒近是也”。虞舜时成立上庠，“上庠”即“高等学校”的意思。以后夏朝的东序，商朝的瞽宗，周朝的辟雍，都是当时王城的最高学府。
汉朝时中央设立太学为最高学府，而地方也开始设立郡学、州学、府学、县学等供同龄学生学习的的地方官办高等学校，相当于不同阶级的公立大学，低阶大学学业出色的学生可以进入高阶大学学习，隋唐后太学改为国子监。唐朝以后出现书院，书院可以分为大学部、小学部，有些并不严格区分，其中有官办，有私立，不少是私办官助。白鹭书院、白鹿洞书院、应天府书院、嵩阳书院、石鼓书院、茅山书院等都是著名书院的代表。
随后也衍生出专门学科部或者专科性的高等教育机构，如南朝宋时设有儒学馆、玄学馆、文学馆、史学馆，合并后分儒、道、文、史、阴阳五部学；唐朝的国子监设有律学馆、书学馆、算学馆；明朝时设有专门培养外交翻译人才的四夷馆等等。
此外，更有兼具人才培养功能的专门性的科研及应用服务机构，如医学领域的太医馆；天文历法领域的司天监或者钦天监等。甚至出现过综合性的学术研究机构，如南朝宋时设立的华林学省，相当于后来的中央研究院。
不可置否，中国古代的高等学校尤其是官办学校以培养公共政治服务的官员仕人及从事文化教育的文人为主，即偏重儒学人文教育，自然科学尤为缺乏，与西方近现代大学存在明显差距。随着近代与西方交流日益频繁，中国传统教育体系遭受巨大冲击，不得不面临着转型、革新。
19世纪末，辛亥革命元老中国现代教育奠基人何子渊、丘逢甲等人开风气之先，排除顽固守旧势力的干扰，成功引入西学（美式教育），创办新式学校，将平民教育纳入满清朝廷的视野。清政府被迫对教育革新网开一面，于1905年末颁布新学制，废除科举制，并在全国范围内推广新式学堂，西学逐渐成为学校教育的主要形式。新学制将学校分为“小学堂”、“中学堂”、“高等学堂”和“大学堂”等几个等级，“高等学堂”和“大学堂”属高等教育。然而直到宣统元年（1909年），地方科举考试真正停止以后，中国的近现代教育才得以迅速发展。
大学从产生到至今已有数千年的历史，在变革创新中不断前进。中国现代大学起源于西方，而现代西方大学则是从欧洲中世纪大学、英国大学、德国大学再到美国大学逐渐演化过来的。无论哪一个时代的大学都是早前大学的创造性继承而不是否定。