基於詞庫的漢字轉拼音

詞庫中既要包含每個字的拼音，也要包含常用單詞/短語的讀音。有些字是多音字，所以至少要儲存其最常用的讀音，不常用的讀音多出現在單詞短語裡。

你好世界盃

我們的詞庫是這樣子的：

你：nǐ

好：hǎo,hào

世：shì

界：jiè

杯：bēi

世界：shì,jiè

你好：nǐ,hǎo

苦盡甘來：kǔ,jìn,gān,lái

詞庫中最長的詞 苦盡甘來 包含4個字。所以 你好世界盃 從4個字開始匹配：

判斷 你好世界 是否在詞庫中，不在；

判斷 你好世 是否在詞庫中，不在；

判斷 你好 是否在詞庫中，在，得到 nǐ,hǎo ；

判斷 世界盃 是否在詞庫中，不在；

判斷 世界 是否在詞庫中，在，得到 shì,jiè ；

判斷 杯 是否在詞庫中，在，得到 bēi ；

於是 你好世界盃 被轉換為 nǐ,hǎo,shì,jiè,bēi 。

基於詞庫和分詞工具的漢字轉拼音

純粹的基於詞庫的方法在實際的使用中會遇到問題，例如 提出瞭解決方案 這句話中 瞭解 會被當作一個單詞，所以會得到錯誤的結果：

tí,chū,liǎo,jiě,jué,fāng,àn

更好的方法是先進行分詞得到：

提出

了

解決

方案

然後基於詞庫對每個結果分別處理。

基於HMM的拼音轉漢字

這裡的拼音一般不帶聲調。

將漢字作為隱藏狀態，拼音作為觀測值，使用viterbi演算法可以將多個拼音轉換成合理的漢字。例如給出 ti,chu,le,jie,jue,fang,an ，viterbi演算法會認為 提出瞭解決方案 是最合理的狀態序列。

HMM需要三個分佈，分別是：

初始時各個狀態的機率分佈

各個狀態互相轉換的機率分佈

狀態到觀測值的機率分佈

這個3個分佈就是三個矩陣，根據一些文字庫統計出來即可。

viterbi演算法基於動態規劃，

基於詞庫的拼音轉漢字

原則：

詞的權重大於字的權重；

轉換中匹配的詞越多，權重越小。

詞庫的格式是：

拼音:單詞:權重

例如：

ni:你:0.15 ni:泥:0.12 a:啊:0.18 hao:好:0.14 nihao:你好:0.6

假如輸入是 ni,hao,a ，我們計算一下各種組合的權重：

組合 權重

你,好,啊 0.15×0.14×0.18 = 0.00378

泥,好,啊 0.12×0.14×0.18 = 0.003024

你好,啊 0.6×0.18 = 0.108

可以看出， 你好,啊 是最好的結果。

實際實現中需要用到 動態規劃 ， 和求有向無環圖中兩點之間最短距離類似。