沉香的油脂与沉香的味道关系密切。油脂是味道的根源，若是没有油脂的存在，或是油脂遭到破坏，沉香也就不会发香了。那么，在什么情况下沉香就不香了呢？
香结极少
沉香总是木质与油脂的结合，油木相间，不仅外观美丽，香气也是极好的。如果沉香结香时间极短，几乎处于全白的状态，自然也就不会有好闻的香气。这样的沉香在古时被称为速香或光香，常温下几无味道，更不用说在环境改变时体验香气变幻的奇妙了。
油脂遭到破坏
沉香发香的根源是香脂中含有的芳香族成分，这些成分中的种类越多，香气也就越丰富，另一个影响沉香发香的重要成分是倍半萜类化合物，带有较强的香气，如果这些因子受到破坏，那么将给沉香的香气带来影响。因此应让沉香远离常用的化学产品，以免产生化学反应，破坏香脂。
香脂挥发或流失
当沉香中的香脂挥发后，只留下木质纤维，那么可以说这块沉香的“使命”也就结束了。熏香、浸泡（特别是酒精）都会造成香脂的挥发或流失，不过这些都是正常使用带来的消耗。很多人关心的是在佩戴沉香时，高温天气给沉香带来的影响。对此，大可不必担心，沉香油脂中含有的成分其沸点大多在200℃以上，有的甚至超过300℃，因此夏日的高温并不会给沉香造成破坏，可放心佩戴，只不过要预防高温和干燥造成的沉香中木质开裂。
“天生”香韵不佳
沉香中并非所有都能散发出怡人的香气。地理、环境、结香方式等原因造就了千变万化的沉香品质，每个地域都有其独特的韵味，一些具有上乘品质的沉香，更是各个部位的香气都不一样。然而，还有一些沉香“天生”就韵味不佳，常温下即可闻到腥燥的气味，上炉加热后变得更加难闻，不过造成这些异味的原因仍然尚不清楚。
低温环境
低温下沉香的香气难以散发，其实这和沉香本质毫无关系，不是沉香“不香”了，而是人们的嗅觉对香气的敏感程度变低了。在低温环境下，沉香中芳香族分子的无规则运动速度变低，其扩散范围变小，主要集中在香体周围，嗅觉的距离变长，自然闻上去就感觉是沉香的香气“变淡”了。
其实只要沉香中的油脂未遭到破坏或挥发，就并不会给沉香的味道带来改变。在佩戴过程中体味与香气的融合也只是停留在与皮肤接触的沉香表面，并不会深入进去，在经过适当保养或从新打磨后，香气就又会恢复如初了。（《什么样的沉香不宜佩戴？》）