中土的精靈與矮人的關係，並非像是與獸人那樣敵對的、你死我活的關係，但也並非是親密無間的友好關係。且各個時期、地域的精靈與矮人關係也不盡相同。

早在矮人被創造之初，造物主就指明矮人將會與精靈、人類起爭鬥。因為矮人並非由造物主親自創造，而人類與精靈才是神的兒女。

進入第一紀時期，矮人出現在中土大陸西方，來到聚集了大量精靈的貝爾蘭地區。精靈卡蘭希爾的領地接近矮人城市貝磊勾斯特和諾格羅德，兩方互惠互利，維持了一段時間的友好關係。許多知名的武器，如多爾露明龍盔、安格瑞斯特、納西爾之劍等也是這一時期由矮人制造的。

在精靈反抗魔王魔苟斯（索倫的原主人）的一次戰役之中，貝磊勾斯特之王阿薩格哈爾陣亡。

多瑞亞斯精靈王庭葛也曾求助於矮人，後者為他修建了華麗的洞府，還為他打造了一條精美項鍊。但出於貪慾，諾格羅德矮人將項鍊據為己有，並殺害庭葛，血洗多瑞亞斯。此事件引發精靈與矮人的長期對立。

第二紀時期，居住在伊瑞詹的諾多精靈與凱撒督姆（即摩瑞亞）矮人修好，矮人學習到了精靈的色斯文字，並改造為自己的文字。凱撒督姆的西大門則是融合了雙方的智慧，不僅有矮人工匠的石雕手藝，也有精靈提供的金屬合金。

其後索倫勢力崛起，儘管有一部分矮人投靠黑暗，但凱撒督姆的都靈矮人則與精靈站在同一陣線。

第三紀時期，迫於索倫勢力的迴歸，逐漸與精靈疏遠的矮人，又一次開始同精靈合作，如派遣代表參與愛隆召開的會議等。

幽暗密林的瑟蘭督伊與庭葛同族，他與矮人的不合恐怕正是當年血洗多瑞亞斯遺留的陰影。