远在中国的历史上很早就有金香玉的传说，它是权贵、价值的象征和体现，在民间流传着人们熟习的“有眼不识金香玉”、“有钱难买金香玉”之说。据报道，曾在一汉墓葬中发现，被认为是“金香玉”的玉石，历经千年而芳香犹存；相传秦国公主出访曾佩戴“金香玉”一块；日本天皇也曾拥有“金香玉”；清朝地方官员也有将“金香玉”进贡的记载，由于历代皇族的秘而不宣，故世人就很难识得 “金香玉”的“庐山真面目”了。
在金庸的文学著作，也将“金香玉”引入了《射雕英雄传》中，.有这样一段描述：.“乾隆的诗还少两句呢,这叫‘有眼不识金香玉,错把尿壶当茶壶’。”蒲松龄生气地吼道“你怨我啊...”。据报导，第三十届国际地质大会在北京召开时，大会组委会接受了一位收藏者的“金香玉”标本，当时传为佳话，据说这块“金香玉”后藏于中国地质博物馆。又据报导，在大观园开幕的“中兴杯”第二届全国奇石瓷艺文化大展上，有一块“金香玉”的玉石展出，据说价值连城轰动一时。
米仓山民间传说，一药农进入米仓山的丛山峻岭中采摘中草药时，忽然一阵清风吹来一片香气，药农向前追索，发现一壁浅灰绿色蜡状石头，香气竟是从石头中散发出来，莫非这些石头就是古人说的“金香玉”，后来不断传开，米仓山产“金香玉”，在山区每当天气晴朗、干燥时，芳香浓郁，下雨空气湿度大时香气清淡。
