# 反常的SQL語句
仔細一問才知道,原來就在我眯眼的期間,線上資料庫伺服器的 CPU 被打滿,同時觸發了生產資料庫只讀延遲的限定時間並且發出告警,而且告警的過程持續了半個小時。
這讓我倒吸了一口涼氣,因為我們組做的系統很多都用的是同一個資料庫伺服器,日使用者活躍量有好幾十萬,如果伺服器崩潰了將會使所有的系統服務都不可用。
於是我們趕緊透過 SQL 日誌進行問題查詢,最後排查出來是因為一張 SQL 的高量查詢沒有走索引導致。
日誌列表顯示,這條 SQL 語句的掃描行數達到了上百萬,基本就是全表掃描的情況,而且半個小時的時間查詢了達上萬次,每條 SQL 查詢的耗時都在 3000ms 以上。
我的天啊,難怪伺服器會 CPU 打滿,這麼一條耗時的 SQL 語句查詢量這麼大,資料庫的資源當然是直接就崩潰了。
這是當時那條 SQL 的查詢情況:
# 臨時處理
看了這條語句,我又倒吸一口涼氣,這不就是我寫的系統呼叫的 SQL 語句嗎?完了,這回逃不掉了,真是人在睡夢裡,鍋從天上來。
當然,因為是我自己寫的 SQL,所以我一看就知道這條語句是有問題的。
根據我的程式碼處理,這條 SQL 的呼叫還少了個重要的引數 user_fruit_id,這個引數沒有傳的話是不應該走這條 SQL 查詢的。
在我的設計裡,該引數是資料表裡一個聯合索引的最左側欄位,如果該欄位沒有傳值的話,那麼索引就不會生效了。
KEY `idx_userfruitid_type` (`user_fruit_id`,`task_type`,`receive_start_time`,`receive_end_time`) USING BTREE
雖然定位到了 SQL 語句,但是線上的問題刻不容緩,總不可能找出 Bug 改完再上線吧。
所以,我們只能做了一個臨時處理,就是在原來的表上多加了一個聯合索引,其實就是去掉了 user_fruit_id 欄位,讓這些高量的查詢都能走新的索引。
就像下面這樣:
KEY `idx_task_type_receive_start_time` (`task_type`,`receive_start_time`,`receive_end_time`,`created_time`) USING BTREE
加上索引後,SQL 的掃描行數就大幅度的降低了,重啟例項後就又能正常運行了。
# 最左匹配原則
那麼為什麼最左側的欄位沒傳索引就不生效了,這是因為 MySQL 的聯合索引是基於“最左匹配原則”匹配的。
我們都知道,索引的底層是 B+ 樹結構,聯合索引的結構也是 B+ 樹,只不過鍵值數量不是一個,而是多個,構建一顆 B+ 樹只能根據一個值來構建,因此資料庫依據聯合索引最左的欄位來構建 B+ 樹。
例如我們用兩個欄位(name,age)這個聯合索引來分析:
當我們在 where 條件中查詢 name 為“張三”的所有記錄的時候,可以快速定位到 ID4,並且查出所有包含“張三”的記錄。
而如果要查詢“張三,10”這一條特定的資料,就可以用 name = "張三" and age = 10 獲取。
因為聯合索引的鍵值對是兩個,所以只要前面的 name 確定的情況下就可以進一步定位到具體的 age 記錄。
但是如果你的查詢條件只有 age 的話,那麼索引就不會生效,因為沒有匹配最左邊的欄位,後面所有的索引欄位都不會生效。
所以我之前寫的 SQL 語句才會因為少了最左邊的 user_fruit_id 欄位而走了全表掃描的查詢方式。
正常來說,假設一個聯合索引設計成(a,b)這樣的結構的話,那麼用 a and b 作為條件,或者 a 單獨作為查詢條件都會走索引,這種情況下我們就不要再為 a 欄位單獨設計索引了。
但如果查詢條件裡面只有 b 的語句,是無法使用(a,b)這個聯合索引的,這時候你不得不維護另外一個索引,也就是說你需要同時維護(a,b)、(b) 這兩個索引。
# 找出 Bug
雖然臨時做了處理,但問題並不算解決,很明顯是系統出現了 Bug 才會有走這樣的查詢條件。
因為是我自己寫的程式碼,所以知道是哪條 SQL 後我就馬上定位到了程式碼裡的具體方法,後來才發現是因為我對 user_fruit_id 欄位的判空處理不生效所致。
因為該欄位是從呼叫方傳過來的,所以我在方法引數裡對該欄位做了非空限制的註解,也就是 javax 包下的 @NotNull:
public class GardenUserTaskListReq implements Serializable { private static final long serialVersionUID = -9161295541482297498L; @ApiModelProperty(notes = "水果id") @NotNull(message = "水果id不能為空") private Long userFruitId; /**以下省略*/ .....................}
雖然加上該註解來做非空校驗,但我卻沒有在引數加上另一個註解 @Validated。
該註解如果沒加上的話,那麼呼叫 javax 包下的校驗規則就都不生效,正確的寫法是在 controller 層方法的引數前面加上註解:
除此之外,因為 user_fruit_id 這個欄位是另一張表的主鍵,我在程式碼裡也沒有對這張表是否存在這個 id 做查詢判斷。
這樣一來,無論呼叫方傳什麼值過來都會直接觸發 SQL 查詢,並且在不跑索引的情況下直接走全表掃描。
不得不說,這真是個低階錯誤,說真的,我對這個原因真是感到嘀笑皆非,再怎麼說也工作幾年了,怎麼還犯一些新手級別的錯誤呢,這臉打得真是讓我相當慚愧。
# 總結
雖然是低階錯誤,但造成的後果也算挺嚴重了,這次事件也讓我更加的警醒,在以後的開發工作中必須要遵守該有的原則,大概有這麼幾點:
①不能相信呼叫端。重要的引數都要先做驗證,即使是非空值也需要做驗證,不符合條件的就要直接返回或拋異常,不能參與業務 SQL 的查詢,否則頻繁的訪問也會對服務造成負擔。
②SQL 語句要先做效能查詢。對於資料量大的表,建好索引後,所有的 SQL 查詢語句要用 explain 檢測效能,並且根據結果來進一步最佳化索引。
千里之堤毀於蟻穴,有時一個小 Bug 很容易就引發整個系統的崩盤,這一次的問題也讓我更加深刻的認識到了 Review 程式碼的重要性,不管業務開發的工作量有多麻煩,這一步操作絕對不能忽視。