古人在很早之前就有了焚香祭祀的行为，只不过烧的不是香，而是柴。《尚书》中记载舜帝登临泰山，烧柴祭天，《礼记》、《周礼》中也有“燃薪”的记载，使烟气通达至天，请神灵降临。这便是后世普遍认为“烧香”的起源。
烧香起源于佛道。有记载，汉代时期烧香就已经成为常事，并融入生活之中。《三国志》的《江表传》中就提及“烧香读道书”，可见汉末道家已经用香；另，《汉武故事》中也有记载“浑邪王杀休屠王，因族众归降，得其部落祭天金人，祭祀不用牲畜，仅烧香施礼祝拜。”由此可推测，烧香始于佛家。
在秦汉之前，两广地区尚未与中原地区相通，沉香、龙脑香等香品还没有出现，宗庙祭祀焚烧的为艾蒿，天子祭礼则崇尚郁金，餐食用的香料以椒为贵，到荀子时才有了“椒兰芬，所以养鼻”的说法。汉代时虽然纳入交趾（越南北部），但嫔妃宫阁仍以“椒”命名，可见椒仍是香中之贵。《西京杂记》、《玉台新咏》中在提及被中香炉、博山炉时，所用的香料也仅为兰、薰、蕙等，而非沉、檀、脑。可见那时虽然与南越互通，却也不见其地之香，而沉香唯有在皇后赵飞燕的礼单中出现过。
随着佛教的兴盛，外域异香开始逐渐进入中原。沉香得益于在佛教中的地位，受到上层社会的青睐。到了唐代，在强盛的国力支持下，上层社会生活奢靡，出现了携名香比试的“斗香”活动，让沉香得到进一步的认可，也由此以沉香为本位的香文化得到了进一步发展，为之后奠定了基础。
中国人烧香的习俗可以说从“燃薪”就已开始，或许从传入的佛教中得到了很好的启发，从“椒兰薰蕙”到“沉檀龙麝”，将香的作用发挥到极致，融入文化中的各个层面，形成了独特的香文化。（《心浮气躁，无法品悟沉香之妙》）