首先，這跟柴油這種燃料就有很大關係。柴油這種燃料除了抗爆性好以外，發火性（燃點）、粘度、揮發性、燃燒速度都要低於汽油。通俗的來說就是柴油這種燃料就如同柴火一樣，而汽油就如同稻草，稻草沾火就著，但不耐燒,而柴火就不是那麼容易點燃但會比稻草耐燒很多。言歸正傳，根據柴油的特性，我們就不能像引燃汽油那樣簡單的靠電火花來點燃柴油，所以註定柴油只能靠壓燃來點著。這樣一來柴油機的壓縮比就必須設定得很高，一般都有20左右。這種壓燃的結構雖然很可靠、而且會使燃燒很充分，但過高的壓縮比會使發動機的運轉平順性受到很大影響。突然的完全燃燒會使氣缸內的氣體迅速膨脹，這樣活塞會有一個迅猛往下的作用力，這時因為發動機的運轉慣性，活塞不能很順暢的往下運動，這樣就會導致敲缸，也就是活塞裙部與氣缸壁相碰撞，這就是柴油發動機的一個主要音源。

另外我們知道，在汽油發動機裡，發生爆震是屬於故障現象。所謂爆震就是可燃氣體燃燒產生動力與發動機活塞運動方向相反，不良爆震不僅導致發動機損壞，燃油消耗增加，而且會產生很大的噪音。在電噴汽油發動機裡，裝有爆震感測器，ECU可以透過點火提前角的控制來讓發動機出於爆震與不爆震的臨界點。而在柴油發動機裡，由於燃油本身就是靠壓燃的，這與汽油機發生壓燃爆震時的工況一樣，因此不可避免的會產生很大的噪音。

除了缸內燃燒的不同產生更大噪音以外，柴油發動機的其他機構也會產生更大的噪音，比如柴油發動機的燃油泵。與汽油機不同，在壓縮行程時，汽油機是壓縮油氣混合物，而柴油機是壓縮的純空氣。因為，為了使柴油能夠在缸內更加充分的燃燒，並且不至於產生不必要的的爆震，柴油機是在活塞將近到達壓縮頂點時開始噴油的。您想在這樣的高壓環境下，油嘴必須要有非常大的供油壓力才能保證發動機正常工作。現今絕大多數的柴油發動機都是採用純機械式燃油泵，而且由於供油壓力太大，僅靠一個燃油泵還無法實現各個氣缸的噴油需求，因此在總泵之後還有供油分泵。這種不需要電能的純機械式分泵，在工作時會產生大量的噪音。機械泵一刻不停息的在把燃油從油箱往一級油管加壓，然後在氣缸分泵再次加壓完成供油過程。這樣一來機械油泵也成為噪音的製造者。

簡而言之，柴油機噪音大有兩大源頭，一個是缸內的燃燒特性決定，另一個則是由於供油系統產生。現在許多先進的柴油發動機已經在逐步著手解決這些問題，例如大眾的TDI發動機，透過採用電控共軌柴油直噴技術，取消了供油分泵，因此相當程度減小了柴油機的振動和噪音。另外，由於先進的柴油發動機的供油更精確，缸內爆震或敲缸的振動也能大幅度降低。由於這些改進，在輔以更好的隔音降噪功夫，許多新一代的柴油發動機已經很難在駕駛室裡透過怠速噪音來判斷這到底是柴油發動機還是汽油發動機了。