先說下貝葉斯公式

上面P(D|θ)就是似然函式，即 likelihood function。知道了似然函式後，我們再來看logistic regression，我們假設y是一個0，1標籤，我們預測的是輸出為1的機率，

上面這個式子中，h(x|θ)是我們輸出為1的機率，則我們有下面的式子：

if y = 1, P(y=1|x,θ) = h(x|θ)

if y = 0, P(y=0|x,θ) = 1-h(x|θ)

我們可以將上面兩種情況變為一個式子：

現在我們有了單個數據的似然機率後，我們就可以根據貝葉斯公式來求P(θ|D)的後驗機率了：

注意：此處我們認為θ的先驗為總為1，即是確定的，於是我們在對L求log，得到：

上面N是樣本的總數，下面，我們假設此時N趨向於無窮大，並且認為每個樣本都是均勻分佈的，下面精彩的公式變換來了：

上面就是一個求得了真實樣本的機率分佈和我們後驗分佈之間的交叉熵了。