人们都知道沉香稀少是因为供不应求，上好沉香结香需要几十年的时间，这种速度远远满足不了人们的需求，过度采伐导致天然野生的沉香越来越稀少。然而，还有一个令人不可忽视的原因，即是沉香减少的背后亦是沉香树的消失。
湖南、江西南部和广西、广东北部交界处的越城岭、都庞岭、萌渚岭、骑田岭、大庾岭被称为五岭，五岭以南地区则称为岭南，岭南多香木。在明代李时珍所著的《本草纲目》中就有记录岭南白木香树连绵成片，千里不绝，它们“叶如冬青，大者数抱木性虚柔。山民以构茅庐,或为桥梁,为饭甑,有香者百无一二,盖木得水方结,多有折枝枯干中,或为沉、或为栈、或为黄熟......”
人们对沉香的需求导致对白木香树掠夺式的开采，而白木香树树种本就容易丧失萌发力，天生更新能力弱，故现如今天然的白木香树在广东等地已经濒临绝迹，种群罕见，仅有灵性散生的植株。
白木香树只有收到伤害时才会在根本、枝干部的伤口处开始结香，因此“结香者百无一二”，而一旦开始结香，便意味着树木开始走向死亡。所以，沉香树结香又是以生命为代价的。早在唐代人们就发现了白木香树结香的秘密，有意的在树上制造伤口促其结香，无疑加速了树种的消失，沉香也就愈加稀有了。（《感受海南奇楠之精髓》）