從 MySQL 5.7 開始,開發人員改變了 InnoDB 構建二級索引的方式,採用自下而上的方法,而不是早期版本中自上而下的方法了。在這篇文章中,我們將透過一個示例來說明如何構建 InnoDB 索引。最後,我將解釋如何透過為 innodb_fill_factor 設定更合適的值。
索引構建過程
在有資料的表上構建索引,InnoDB 中有以下幾個階段:1.讀取階段(從聚簇索引讀取並構建二級索引條目)2.合併排序階段3.插入階段(將排序記錄插入二級索引)在 5.6 版本之前,MySQL 透過一次插入一條記錄來構建二級索引。這是一種“自上而下”的方法。搜尋插入位置從樹的根部(頂部)開始並達到葉頁(底部)。該記錄插入游標指向的葉頁上。在查詢插入位置和進行業面拆分和合並方面開銷很大。從MySQL 5.7開始,新增索引期間的插入階段使用“排序索引構建”,也稱為“批次索引載入”。在這種方法中,索引是“自下而上”構建的。即葉頁(底部)首先構建,然後非葉級別直到根(頂部)。
示例
在這些情況下使用排序的索引構建:
ALTER TABLE t1 ADD INDEX(or CREATE INDEX)
ALTER TABLE t1 ADD FULLTEXT INDEX
ALTER TABLE t1 ADD COLUMN, ALGORITHM = INPLACE
OPIMIZE t1
對於最後兩個用例,ALTER 會建立一箇中間表。中間表索引(主要和次要)使用“排序索引構建”構建。
演算法
在 0 級別建立頁,還要為此頁建立一個遊標
使用 0 級別處的遊標插入頁面,直到填滿
頁面填滿後,建立一個兄弟頁(不要插入到兄弟頁)
為當前的整頁建立節點指標(子頁中的最小鍵,子頁碼),並將節點指標插入上一級(父頁)
在較高級別,檢查遊標是否已定位。如果沒有,請為該級別建立父頁和遊標
在父頁插入節點指標
如果父頁已填滿,請重複步驟 3, 4, 5, 6
現在插入兄弟頁並使遊標指向兄弟頁
在所有插入的末尾,每個級別的遊標指向最右邊的頁。提交所有遊標(意味著提交修改頁面的迷你事務,釋放所有鎖存器)
為簡單起見,上述演算法跳過了有關壓縮頁和 BLOB(外部儲存的 BLOB)處理的細節。
透過自下而上的方式構建索引為簡單起見,假設子頁和非子頁中允許的 最大記錄數為 3
CREATE TABLE t1 (a INT PRIMARY KEY, b INT, c BLOB);
INSERT INTO t1 VALUES (1, 11, 'hello111');
INSERT INTO t1 VALUES (2, 22, 'hello222');
INSERT INTO t1 VALUES (3, 33, 'hello333');
INSERT INTO t1 VALUES (4, 44, 'hello444');
INSERT INTO t1 VALUES (5, 55, 'hello555');
INSERT INTO t1 VALUES (6, 66, 'hello666');
INSERT INTO t1 VALUES (7, 77, 'hello777');
INSERT INTO t1 VALUES (8, 88, 'hello888');
INSERT INTO t1 VALUES (9, 99, 'hello999');
INSERT INTO t1 VALUES (10, 1010, 'hello101010');
ALTER TABLE t1 ADD INDEX k1(b);
InnoDB 將主鍵欄位追加到二級索引。二級索引 k1 的記錄格式為(b, a)。在排序階段完成後,記錄為:
(11,1), (22,2), (33,3), (44,4), (55,5), (66,6), (77,7), (88,8), (99,9), (1010, 10)
初始插入階段
讓我們從記錄 (11,1) 開始。
在 0 級別(葉級別)建立頁
建立一個到頁的遊標
所有插入都將轉到此頁面,直到它填滿了
箭頭顯示遊標當前指向的位置。它目前位於第 5 頁,下一個插入將轉到此頁面。
還有兩個空閒插槽,因此插入記錄 (22,2) 和 (33,3) 非常簡單對於下一條記錄 (44,4),頁碼 5 已滿(前面提到的假設最大記錄數為 3)。這就是步驟。頁填充時的索引構建
建立一個兄弟頁,頁碼 6
不要插入兄弟頁
在遊標處提交頁面,即迷你事務提交,釋放鎖存器等
作為提交的一部分,建立節點指標並將其插入到 【當前級別 + 1】 的父頁面中(即在 1 級別)
節點指標的格式 (子頁面中的最小鍵,子頁碼) 。第 5 頁的最小鍵是 (11,1) 。在父級別插入記錄 ((11,1),5)。
1 級別的父頁尚不存在,MySQL 建立頁碼 7 和指向頁碼 7 的遊標。
將 ((11,1),5) 插入第 7 頁
現在,返回到 0 級並建立從第 5 頁到第 6 頁的連結,反之亦然
0 級別的遊標現在指向兄弟頁,頁碼為 6
將 (44,4) 插入第 6 頁
下一個插入 - (55,5) 和 (66,6) - 很簡單,它們轉到第 6 頁。
插入記錄 (77,7) 類似於 (44,4),除了父頁面 (頁面編號 7) 已經存在並且它有兩個以上記錄的空間。首先將節點指標 ((44,4),8) 插入第 7 頁,然後將 (77,7) 記錄到同級 8 頁中。
插入記錄 (88,8) 和 (99,9) 很簡單,因為第 8 頁有兩個空閒插槽。
下一個插入 (1010,10) 。將節點指標 ((77,7),8) 插入 1級別的父頁(頁碼 7)。MySQL 在 0 級建立同級頁碼 9。將記錄 (1010,10) 插入第 9 頁並將游標更改為此頁面。以此類推。在上面的示例中,資料庫在 0 級別提交到第 9 頁,在 1 級別提交到第 7 頁。
我們現在有了一個完整的 B+-tree 索引,它是自下至上構建的!
索引填充因子全域性變數 innodb_fill_factor 用於設定插入 B-tree 頁中的空間量。預設值為 100,表示使用整個業面(不包括頁首)。聚簇索引具有 innodb_fill_factor=100 的免除項。 在這種情況下,聚簇索引也空間的 1 /16 保持空閒。即 6.25% 的空間用於未來的 DML。
值 80 意味著 MySQL 使用了 80% 的頁空間填充,預留 20% 於未來的更新。如果 innodb_fill_factor=100 則沒有剩餘空間供未來插入二級索引。如果在新增索引後,期望表上有更多的 DML,則可能導致業面拆分並再次合併。在這種情況下,建議使用 80-90 之間的值。此變數還會影響使用 OPTIMIZE TABLE 和 ALTER TABLE DROP COLUMN, ALGOITHM=INPLACE 重新建立的索引。也不應該設定太低的值,例如低於 50。因為索引會佔用浪費更多的磁碟空間,值較低時,索引中的頁數較多,索引統計資訊的取樣可能不是最佳的。最佳化器可以選擇具有次優統計資訊的錯誤查詢計劃。
排序索引構建的優點
沒有頁面拆分(不包括壓縮表)和合並
沒有重複搜尋插入位置
插入不會被重做記錄(頁分配除外),因此重做日誌子系統的壓力較小
缺點
ALTER 正在進行時,插入效能降低 Bug#82940,但在後續版本中計劃修復。
從 MySQL 5.7 開始,開發人員改變了 InnoDB 構建二級索引的方式,採用自下而上的方法,而不是早期版本中自上而下的方法了。在這篇文章中,我們將透過一個示例來說明如何構建 InnoDB 索引。最後,我將解釋如何透過為 innodb_fill_factor 設定更合適的值。
索引構建過程
在有資料的表上構建索引,InnoDB 中有以下幾個階段:1.讀取階段(從聚簇索引讀取並構建二級索引條目)2.合併排序階段3.插入階段(將排序記錄插入二級索引)在 5.6 版本之前,MySQL 透過一次插入一條記錄來構建二級索引。這是一種“自上而下”的方法。搜尋插入位置從樹的根部(頂部)開始並達到葉頁(底部)。該記錄插入游標指向的葉頁上。在查詢插入位置和進行業面拆分和合並方面開銷很大。從MySQL 5.7開始,新增索引期間的插入階段使用“排序索引構建”,也稱為“批次索引載入”。在這種方法中,索引是“自下而上”構建的。即葉頁(底部)首先構建,然後非葉級別直到根(頂部)。
示例
在這些情況下使用排序的索引構建:
ALTER TABLE t1 ADD INDEX(or CREATE INDEX)
ALTER TABLE t1 ADD FULLTEXT INDEX
ALTER TABLE t1 ADD COLUMN, ALGORITHM = INPLACE
OPIMIZE t1
對於最後兩個用例,ALTER 會建立一箇中間表。中間表索引(主要和次要)使用“排序索引構建”構建。
演算法
在 0 級別建立頁,還要為此頁建立一個遊標
使用 0 級別處的遊標插入頁面,直到填滿
頁面填滿後,建立一個兄弟頁(不要插入到兄弟頁)
為當前的整頁建立節點指標(子頁中的最小鍵,子頁碼),並將節點指標插入上一級(父頁)
在較高級別,檢查遊標是否已定位。如果沒有,請為該級別建立父頁和遊標
在父頁插入節點指標
如果父頁已填滿,請重複步驟 3, 4, 5, 6
現在插入兄弟頁並使遊標指向兄弟頁
在所有插入的末尾,每個級別的遊標指向最右邊的頁。提交所有遊標(意味著提交修改頁面的迷你事務,釋放所有鎖存器)
為簡單起見,上述演算法跳過了有關壓縮頁和 BLOB(外部儲存的 BLOB)處理的細節。
透過自下而上的方式構建索引為簡單起見,假設子頁和非子頁中允許的 最大記錄數為 3
CREATE TABLE t1 (a INT PRIMARY KEY, b INT, c BLOB);
INSERT INTO t1 VALUES (1, 11, 'hello111');
INSERT INTO t1 VALUES (2, 22, 'hello222');
INSERT INTO t1 VALUES (3, 33, 'hello333');
INSERT INTO t1 VALUES (4, 44, 'hello444');
INSERT INTO t1 VALUES (5, 55, 'hello555');
INSERT INTO t1 VALUES (6, 66, 'hello666');
INSERT INTO t1 VALUES (7, 77, 'hello777');
INSERT INTO t1 VALUES (8, 88, 'hello888');
INSERT INTO t1 VALUES (9, 99, 'hello999');
INSERT INTO t1 VALUES (10, 1010, 'hello101010');
ALTER TABLE t1 ADD INDEX k1(b);
InnoDB 將主鍵欄位追加到二級索引。二級索引 k1 的記錄格式為(b, a)。在排序階段完成後,記錄為:
(11,1), (22,2), (33,3), (44,4), (55,5), (66,6), (77,7), (88,8), (99,9), (1010, 10)
初始插入階段
讓我們從記錄 (11,1) 開始。
在 0 級別(葉級別)建立頁
建立一個到頁的遊標
所有插入都將轉到此頁面,直到它填滿了
箭頭顯示遊標當前指向的位置。它目前位於第 5 頁,下一個插入將轉到此頁面。
還有兩個空閒插槽,因此插入記錄 (22,2) 和 (33,3) 非常簡單對於下一條記錄 (44,4),頁碼 5 已滿(前面提到的假設最大記錄數為 3)。這就是步驟。頁填充時的索引構建
建立一個兄弟頁,頁碼 6
不要插入兄弟頁
在遊標處提交頁面,即迷你事務提交,釋放鎖存器等
作為提交的一部分,建立節點指標並將其插入到 【當前級別 + 1】 的父頁面中(即在 1 級別)
節點指標的格式 (子頁面中的最小鍵,子頁碼) 。第 5 頁的最小鍵是 (11,1) 。在父級別插入記錄 ((11,1),5)。
1 級別的父頁尚不存在,MySQL 建立頁碼 7 和指向頁碼 7 的遊標。
將 ((11,1),5) 插入第 7 頁
現在,返回到 0 級並建立從第 5 頁到第 6 頁的連結,反之亦然
0 級別的遊標現在指向兄弟頁,頁碼為 6
將 (44,4) 插入第 6 頁
下一個插入 - (55,5) 和 (66,6) - 很簡單,它們轉到第 6 頁。
插入記錄 (77,7) 類似於 (44,4),除了父頁面 (頁面編號 7) 已經存在並且它有兩個以上記錄的空間。首先將節點指標 ((44,4),8) 插入第 7 頁,然後將 (77,7) 記錄到同級 8 頁中。
插入記錄 (88,8) 和 (99,9) 很簡單,因為第 8 頁有兩個空閒插槽。
下一個插入 (1010,10) 。將節點指標 ((77,7),8) 插入 1級別的父頁(頁碼 7)。MySQL 在 0 級建立同級頁碼 9。將記錄 (1010,10) 插入第 9 頁並將游標更改為此頁面。以此類推。在上面的示例中,資料庫在 0 級別提交到第 9 頁,在 1 級別提交到第 7 頁。
我們現在有了一個完整的 B+-tree 索引,它是自下至上構建的!
索引填充因子全域性變數 innodb_fill_factor 用於設定插入 B-tree 頁中的空間量。預設值為 100,表示使用整個業面(不包括頁首)。聚簇索引具有 innodb_fill_factor=100 的免除項。 在這種情況下,聚簇索引也空間的 1 /16 保持空閒。即 6.25% 的空間用於未來的 DML。
值 80 意味著 MySQL 使用了 80% 的頁空間填充,預留 20% 於未來的更新。如果 innodb_fill_factor=100 則沒有剩餘空間供未來插入二級索引。如果在新增索引後,期望表上有更多的 DML,則可能導致業面拆分並再次合併。在這種情況下,建議使用 80-90 之間的值。此變數還會影響使用 OPTIMIZE TABLE 和 ALTER TABLE DROP COLUMN, ALGOITHM=INPLACE 重新建立的索引。也不應該設定太低的值,例如低於 50。因為索引會佔用浪費更多的磁碟空間,值較低時,索引中的頁數較多,索引統計資訊的取樣可能不是最佳的。最佳化器可以選擇具有次優統計資訊的錯誤查詢計劃。
排序索引構建的優點
沒有頁面拆分(不包括壓縮表)和合並
沒有重複搜尋插入位置
插入不會被重做記錄(頁分配除外),因此重做日誌子系統的壓力較小
缺點
ALTER 正在進行時,插入效能降低 Bug#82940,但在後續版本中計劃修復。