誤差反向傳播（Error Back Propagation, BP）演算法1、BP演算法的基本思想是，學習過程由訊號的正向傳播與誤差的反向傳播兩個過程組成。1）正向傳播：輸入樣本－>輸入層－>各隱層（處理）－>輸出層注1：若輸出層實際輸出與期望輸出（教師訊號）不符，則轉入2）（誤差反向傳播過程）2）誤差反向傳播：輸出誤差（某種形式）－>隱層（逐層）－>輸入層其主要目的是透過將輸出誤差反傳，將誤差分攤給各層所有單元，從而獲得各層單元的誤差訊號，進而修正各單元的權值（其過程，是一個權值調整的過程）。BP演算法基本介紹含有隱層的多層前饋網路能大大提高神經網路的分類能力，但長期以來沒有提出解決權值調整問題的遊戲演算法。1986年，Rumelhart和McCelland領導的科學家小組在《Parallel Distributed Processing》一書中，對具有非線性連續轉移函式的多層前饋網路的誤差反向傳播（Error Back Proragation，簡稱BP）演算法進行了詳盡的分析，實現了Minsky關於多層網路的設想。由於多層前饋網路的訓練經常採用誤差反向傳播演算法，人們也常把將多層前饋網路直接稱為BP網路。BP演算法的基本思想是，學習過程由訊號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時，輸入樣本從輸入層傳人，經各隱層逐層處理後，傳向輸出層。若輸出層的實際輸出與期望的輸出(教師訊號)不符，則轉入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式透過隱層向輸入層逐層反傳，並將誤差分攤給各層的所有單元，從而獲得各層單元的誤差訊號，此誤差訊號即作為修正各單元權值的依據。這種訊號正向傳播與誤差反向傳播的各層權值調整過程，是週而復始地進行的。權值不斷調整的過程，也就是網路的學習訓練過程。此過程一直進行到網路輸出的誤差減少到可接受的程度，或進行到預先設定的學習次數為止。