在古代,因为有青金石“以其色青，此以达升天之路，故用之”的说法,所以自称“天子”的那些帝王不仅把青金石用作通天之法器，进行祭祀、祈祷，死后还把它带进坟墓。我国古代的青金石应用历史究竟有多长,美国汉学家赫尔芝教授1885年认为，中国在公元2世纪(东汉)时开始使用青金石。但是，我国近代考古地质学奠基人章鸿钊先生1921年在《石雅》一书中提到，中国早在4000年前的三代之初就已经应用青金石了。
《尚书·禹贡》记载了夏代时位于西方的雍州曾向中央王朝进贡璆琳，而璆琳就是青金石的波斯语音译。这说明青金石在我国夏代就已经得到了开发利用，并成为王朝礼法规定的神圣贡物。然而，遗憾的是考古发掘迄今还未发现夏代的青金石饰品。
目前，中国考古发掘的最古老的青金石制品是春秋时期曾侯乙墓出土的，同墓还出土了大量青铜器、黄金(1737.10,-3.20,-0.18%)制品、铝锡制品、丝麻制品、皮革制品和其他玉石制品。墓中的玉石制品大都为佩饰物或葬玉，数量多达528件，其质地除了青金石，还有玉、宝石、水晶、紫晶、琉璃等，其中不少为稀世精品。此外，我国还出土过一把春秋时期的越王剑，其剑格镶嵌了蓝绿色宝石。宝石学家鉴定发现，这把越王剑的剑格所镶玉石一边为青金石，另一边为绿松石。
东晋王嘉著《拾遗记·卷五》载：“昔始皇为家，……以琉璃、杂宝为龟鱼。”春秋战国以至秦代的“琉璃”根据章鸿钊先生的研究很可能也指青金石，所以《拾遗记》的记载说明色相如天的青金石对始皇帝来说是何等重要啊！
汉代青金石的雕刻工艺已经达到了相当高的水平。1969年，考古工作者在徐州东汉彭城靖王刘恭墓出土了一件鎏金嵌宝兽形砚盒，高10厘米，长25厘米，重3.85千克。砚盒作怪兽伏地状，通体鎏金，盒身镶嵌有红珊瑚、绿松石和青金石。
南北朝时期，中亚地区的青金石不断传入中土。1975年，河北赞皇东魏李希宋墓发掘时，出土了一枚镶青金石的金戒指，重11.75克，所镶的青金石呈蓝灰色，上刻一鹿，周边有联珠纹。同墓中还出土了三枚东罗马金币，说明这枚镶青金石金戒指极可能来自中亚地区。
递及隋唐，中国与中亚地区的交往进一步增加，这在青金石文物上也有所反映，如1957年西安郊区的隋朝李静训墓中出土了一件颇具波斯风格的金项链，金项链上就镶嵌有青金石。
到了清代，皇室延续了使用青金石祭天的传统。《清会典图考》载：“皇帝朝珠杂饰，唯天坛用青金石，地坛用琥珀，日坛用珊瑚，月坛用绿松石。皇帝朝带，其饰，天坛用青金石，地坛用黄玉，日坛用珊瑚，月坛用白玉。”青金石因为色相如天，按典制规定而常被皇帝用来装饰天坛和祭祀上天。至于清代帝后们使用的各色首饰和仪礼用品，青金石的使用也很普遍，如清宫遗存中价值最高和最贵重的文物——乾隆生母金发塔，其塔座和龛边就镶嵌了很多青金石。
自汉代以来，中亚地区输入的青金石还被作为彩绘用的蓝色颜料使用，如敦煌莫高窟、敦煌西千佛洞自北朝到清代的壁画和彩塑上都使用了青金石作蓝色颜料，与4000年前古埃及的法老和王后墓葬壁画使用青金石粉作蓝色颜料如出一辙。