不適宜喝沉香茶的人有：
一、低血壓患者：沉香在藥理上有降血壓的作用，因此血壓本身就比較低的人不適宜長久地飲用沉香茶。
二、孕婦：由於沉香茶有行氣之效，故不適宜孕婦飲用。
三、陰虧火旺者：沉香主要用於虛寒症者，《本草從新》中提到：“陰虧火旺者，切勿沾脣。”對於陰虧火旺的人，切勿使用沉香。內火燥熱的人服用後會更加上火，感冒患者也不宜飲用。
四、氣虛下陷者：沉香有溫腎納氣的作用，《本經逢原》中提到：“氣虛下陷人，不可多服。“對於氣虛下陷者切不能喝。
五、體重過輕者：因沉香茶具有潤腸通便、降脂減肥的功效，如BMI指數小於18.5者則爲體重過輕者，不宜長期飲用沉香茶，否則可能使體重過輕者更瘦。
