運算子號並不是隨著運算的產生而立即出現的。如中國至少在商代（約三千年前），已經有加法、減法運算，但同其他幾個文明古國如埃及、希臘和印度一樣，都沒有加法符號，把兩個數字寫在一起就表示相加。在今天的帶分數寫法中仍可以看到這種遺蹟。到公元三世紀，希臘出現了減號“↑”，但仍沒有加法符號。公元六世紀，印度出現了用單詞的縮寫作運算子號。其中減法是在減數上畫一點表示。

後來歐洲人承襲印度的做法。例如用拉丁字母的P（Plus的第一個字母，意思是相加）表示加，用M（Minus的第一個字母，意思是相減）表示減。

“＋”、“－”出現於中世紀。據說，當時酒商在售出酒後，曾用橫線標出酒桶裡的存酒，而當桶裡的酒又增加時，便用豎線條把原來畫的橫線劃掉。於是就出現用以表示減少的“－”和用來表示增加的“＋”。

1489年，德國數學家魏德曼（Widman，1460—？）在他的著作中首先使用“＋”、“－”表示剩餘和不足，1514年荷蘭數學家赫克（Hoecke）把它用作代數運算子號。後來又經過法國數學家韋達（Vieta，1540—1603）的宣傳和提倡，才開始普及，直到1630年，才得到大家的公認。