第一個問題：每次訓練結果不同，這要看要求解的問題，如果該問題輸入與輸出之間有明確的唯一的解析關係，如y=sinx，那麼，只要網路模型複雜度夠，訓練過程沒有錯誤，訓練代數或精度夠，那麼結果應該是一致的，不應該差太大；如果輸入輸出之間沒有明確的解析關係，那麼結果可能會有差異，這來源於兩個隨機：一是隨機初始化，這樣避免結果受初始值的影響；二是迭代過程中，為了避免陷入區域性極值，能找到最優解，往往要加上隨機擾動。這樣的話結果可能不一樣。

對第二個問題：準確率由於隨機數的存在會不一樣，但是如果差別太大，那麼一要看網路模型和訓練演算法是否合適，二要檢查資料集中是否壞點，即有某一資料中有突變或者某些資料明顯跟其它資料不能分到一類的情況。

神經網路訓練，說白了，就是隨機蒙。

蒙出來一堆引數，剛好對上了歷史資料。

但是，這堆引數對歷史很準，

對將來不一定準。因為這堆資料不是唯一。

僅僅可能是幾億種資料集合的一個罷了。

區域性最小值吧，小批次每次採的資料不一樣，可能會造成結果不同，或者在最優解附近震盪。資料量小的話，適當增大每批次的尺寸，機器效能可以的話乾脆批次也可。如果卻是區域性最小值或者梯度消失的問題，再針對這個改進下試試呢。

一是演算法模型，二是資料來源。如果是科研資料，曲線會相對平滑。如果是商業資料，金融資料，那有可能就是跳動的心臟

神經網路，其實就是一個高階差值軟體，是對變數與自變數組的關係的差值。對本質的研究還是要分析科學規律，而不是差值。熱力學領域，還是利用熱力學第二定律分析可靠。

weight在初始化的時候會隨機生成，這就造成梯度搜索的時候會產生不同的推演過程，這種情況下如果排除最佳化器的問題，主要原因是由於資料量不夠，如果希望產生可重現的結果，那麼可以用seed產生隨機種子，保證每次使用的隨機數是一樣的，並且使用單執行緒訓練，但是這樣可能會引起泛化效果不好，也就是說其實是過擬合的！

其實這個問題本質就是，如果我們使用機器學習演算法在資料集上訓練一次資料模型，儲存模型，然後使用相同的演算法和相同的資料集和資料排序再次訓練它，第一個模型是否與第二個模型相同？

這可能是因為在神經網路使用增益或權重的隨機值進行初始化，然後在訓練階段每個模擬都有不同的起點。 如果想要始終保持相同的初始權重，可嘗試為初始權重固定種子，即可消除該問題。

如果我們深入研究這個問題，我們可以從它們的“確定性”對ML演算法進行分類，當從同一資料集訓練時：

一類是始終產生相同模型，並且記錄以相同順序呈現；

二類是始終產生不一樣模型，並且記錄順序不同。

在實際情況中，一般情況下是“不確定性”居多，產生模型變化的原因可能是在機器學習演算法本身中可能存在隨機遊走，權重隨機初始化不同，或機率分佈的取樣以分配最佳化函式的分量不同。

雖然模型“不確定性”可能對單次訓練結果造成干擾，但我們也可以利用該“不確定性”來確認模型的穩定性，例如決策樹、支援向量機（SVM）、神經網路等，可透過多次迭代來最終確認模型的穩定性。

設定目標去北京，每次出發位置都是隨機確定的，我們隨時都知道目標方位，我們永遠朝著縮短目標距離的方向前進，就會發現每次都無法到達目標，因為每次的最終結局都是陷入死衚衕無法繼續前進。因此，每次的結局與目標的距離都不一樣，有時距目標一步之遙，有時則謬之千里。