回覆列表
  • 1 # 網路圈

    對於資料庫而言,只要做好資料儲存工作就行了,但對於SQL而言,執行效率是很重要的指標。目前主流的關係型資料庫都自帶了查詢分析器和最佳化器,能自動對我們編寫的SQL進行最優處理,即便如此,SQL執行慢的現象還是不可避免的。雖說SQL語句執行慢是大家經常遇到的,但背後原因並不簡單。

    SQL執行是偶爾慢還是一直慢?

    這一點很重要,SQL語句執行速度偶爾慢和一直慢的背後因素是不同的,自然要分場景來分析問題。

    SQL執行偶爾慢的原因分析

    如果一條SQL語句絕大多數情況下都是正常的,偶爾出現慢的情況,那一般來說此SQL語句問題不大,可能是其它因素影響了它的執行效率,比如:

    1、伺服器記憶體不足

    若查詢量大,而查詢的資料頁又不在記憶體中時,就需要申請記憶體,此時一旦記憶體不足就會淘汰一些記憶體資料,這些操作就會影響SQL執行速度。

    2、日誌檔案過大

    資料庫在同步日誌及資料到磁碟上時,也會影響SQL執行效率。

    3、無法獲取鎖

    當我們在操作資料時,若別人也在用這張表而且加鎖了,我們無法獲取到鎖,只能等待他人釋放鎖,這個很影響SQL效率。

    SQL執行一直慢的原因分析

    如果資料量級不變,而某條SQL執行時一直都很慢,那就需要看看SQL語句寫法是否存在問題了,另外資料庫的一些配置是否存在問題,比如:

    1、相關欄位是否建有合適的索引?

    比如更新操作,如果加了where條件,而條件列欄位沒有索引,那就意味著要全表掃描,這樣一來SQL慢也就是正常現象了。

    2、欄位有索引,但SQL並沒有用到此索引

    並不是說我們對欄位建立了索引,索引就一定會生效。在某些情況下,一些SQL寫法會導致索引失效,比如在索引列上使用了函式。

    3、系統取樣統計失誤導致系統沒有使用索引而是全表掃描,此時需要強制使用索引

    SQL執行時,資料庫系統會進行一個預測:看是走索引掃描的行數少,還是全表掃描的行數少。索引基數是透過取樣來統計的,存在一定誤差,如果誤差過大那可能會使系統錯誤的決定使用全表掃描,此時我們可以在SQL中宣告強制走索引查詢。

    4、硬體限制

    如果伺服器CPU及磁碟讀寫速度低、記憶體小,那同樣會影響整個資料庫效能。

  • 2 # 河南丶梁先生

    說實話,這個問題可以涉及到 MySQL 的很多核心知識,可以扯出一大堆,就像要考你計算機網路的知識時,問你“輸入URL回車之後,究竟發生了什麼”一樣,看看你能說出多少了。

    1、大多數情況是正常的,只是偶爾會出現很慢的情況。

    2、在資料量不變的情況下,這條SQL語句一直以來都執行的很慢。

    針對這兩種情況,我們來分析下可能是哪些原因導致的。

    一條 SQL 大多數情況正常,偶爾才能出現很慢的情況,針對這種情況,我覺得這條SQL語句的書寫本身是沒什麼問題的,而是其他原因導致的,那會是什麼原因呢?

    當我們要往資料庫插入一條資料、或者要更新一條資料的時候,我們知道資料庫會在記憶體中把對應欄位的資料更新了,但是更新之後,這些更新的欄位並不會馬上同步持久化到磁碟中去,而是把這些更新的記錄寫入到 redo log 日記中去,等到空閒的時候,在透過 redo log 裡的日記把最新的資料同步到磁碟中去。

    不過,redo log 裡的容量是有限的,如果資料庫一直很忙,更新又很頻繁,這個時候 redo log 很快就會被寫滿了,這個時候就沒辦法等到空閒的時候再把資料同步到磁碟的,只能暫停其他操作,全身心來把資料同步到磁碟中去的,而這個時候,就會導致我們平時正常的SQL語句突然執行的很慢,所以說,資料庫在在同步資料到磁碟的時候,就有可能導致我們的SQL語句執行的很慢了。

    這個就比較容易想到了,我們要執行的這條語句,剛好這條語句涉及到的,別人在用,並且加鎖了,我們拿不到鎖,只能慢慢等待別人釋放鎖了。或者,表沒有加鎖,但要使用到的某個一行被加鎖了,這個時候,我也沒辦法啊。

    如果要判斷是否真的在等待鎖,我們可以用 show processlist這個命令來檢視當前的狀態哦,這裡我要提醒一下,有些命令最好記錄一下。

    下來我們來訪分析下第二種情況,我覺得第二種情況的分析才是最重要的

    如果在資料量一樣大的情況下,這條 SQL 語句每次都執行的這麼慢,那就就要好好考慮下你的 SQL 書寫了,下面我們來分析下哪些原因會導致我們的 SQL 語句執行的很不理想。

    我們先來假設我們有一個表,表裡有下面兩個欄位,分別是主鍵 id,和兩個普通欄位 c 和 d。

    例如你要查詢這條語句

    欄位沒有索引

    剛好你的 c 欄位上沒有索引,那麼抱歉,只能走全表掃描了,你就體驗不會索引帶來的樂趣了,所以,這回導致這條查詢語句很慢。

    欄位有索引,但卻沒有用索引

    好吧,這個時候你給 c 這個欄位加上了索引,然後又查詢了一條語句

    我想問大家一個問題,這樣子在查詢的時候會用索引查詢嗎?

    答是不會,如果我們在欄位的左邊做了運算,那麼很抱歉,在查詢的時候,就不會用上索引了,所以呢,大家要注意這種欄位上有索引,但由於自己的疏忽,導致系統沒有使用索引的情況了。

    正確的查詢應該如下

    有人可能會說,右邊有運算就能用上索引?難道資料庫就不會自動幫我們最佳化一下,自動把 c - 1=1000 自動轉換為 c = 1000+1。

    不好意思,確實不會幫你,所以,你要注意了。

    函式操作導致沒有用上索引

    如果我們在查詢的時候,對欄位進行了函式操作,也是會導致沒有用上索引的,例如

    這裡我只是做一個例子,假設函式 pow 是求 c 的 n 次方,實際上可能並沒有 pow(c,2)這個函式。其實這個和上面在左邊做運算也是很類似的。

    所以呢,一條語句執行都很慢的時候,可能是該語句沒有用上索引了,不過具體是啥原因導致沒有用上索引的呢,你就要會分析了,我上面列舉的三個原因,應該是出現的比較多的吧。

    呵呵,資料庫自己選錯索引了

    我們在進行查詢操作的時候,例如

    我們知道,主鍵索引和非主鍵索引是有區別的,主鍵索引存放的值是整行欄位的資料,而非主鍵索引上存放的值不是整行欄位的資料,而且存放主鍵欄位的值。不大懂的可以看我這篇文章:面試小知識:MySQL索引相關 裡面有說到主鍵索引和非主鍵索引的區別

    也就是說,我們如果走 c 這個欄位的索引的話,最後會查詢到對應主鍵的值,然後,再根據主鍵的值走主鍵索引,查詢到整行資料返回。

    好吧扯了這麼多,其實我就是想告訴你,就算你在 c 欄位上有索引,系統也並不一定會走 c 這個欄位上的索引,而是有可能會直接掃描掃描全表,找出所有符合 100 < c and c < 100000 的資料。

    為什麼會這樣呢?

    其實是這樣的,系統在執行這條語句的時候,會進行預測:究竟是走 c 索引掃描的行數少,還是直接掃描全表掃描的行數少呢?顯然,掃描行數越少當然越好了,因為掃描行數越少,意味著I/O操作的次數越少。

    如果是掃描全表的話,那麼掃描的次數就是這個表的總行數了,假設為 n;而如果走索引 c 的話,我們透過索引 c 找到主鍵之後,還得再透過主鍵索引來找我們整行的資料,也就是說,需要走兩次索引。而且,我們也不知道符合 100 c < and c < 10000 這個條件的資料有多少行,萬一這個表是全部資料都符合呢?這個時候意味著,走 c 索引不僅掃描的行數是 n,同時還得每行資料走兩次索引。

    所以呢,系統是有可能走全表掃描而不走索引的。那系統是怎麼判斷呢?

    那麼問題來了,系統是怎麼預測判斷的呢?這裡我給你講下系統是怎麼判斷的吧,雖然這個時候我已經寫到脖子有點酸了。

    系統是透過索引的區分度來判斷的,一個索引上不同的值越多,意味著出現相同數值的索引越少,意味著索引的區分度越高。我們也把區分度稱之為基數,即區分度越高,基數越大。所以呢,基數越大,意味著符合 100 < c and c < 10000 這個條件的行數越少。

    所以呢,一個索引的基數越大,意味著走索引查詢越有優勢。

    那麼問題來了,怎麼知道這個索引的基數呢?

      系統當然是不會遍歷全部來獲得一個索引的基數的,代價太大了,索引系統是透過遍歷部分資料,也就是透過取樣的方式,來預測索引的基數的。

    扯了這麼多,重點的來了,居然是取樣,那就有可能出現失誤的情況,也就是說,c 這個索引的基數實際上是很大的,但是取樣的時候,卻很不幸,把這個索引的基數預測成很小。例如你取樣的那一部分資料剛好基數很小,然後就誤以為索引的基數很小。然後就呵呵,系統就不走 c 索引了,直接走全部掃描了

    所以呢,說了這麼多,得出結論:由於統計的失誤,導致系統沒有走索引,而是走了全表掃描,而這,也是導致我們 SQL 語句執行的很慢的原因。

    這裡我宣告一下,系統判斷是否走索引,掃描行數的預測其實只是原因之一,這條查詢語句是否需要使用使用臨時表、是否需要排序等也是會影響系統的選擇的。

    不過呢,我們有時候也可以透過強制走索引的方式來查詢,例如

    select * from t force index(a) where c < 100 and c < 100000;

    我們也可以透過

    來查詢索引的基數和實際是否符合,如果和實際很不符合的話,我們可以重新來統計索引的基數,可以用這條命令

    來重新統計分析。

    既然會預測錯索引的基數,這也意味著,當我們的查詢語句有多個索引的時候,系統有可能也會選錯索引哦,這也可能是 SQL 執行的很慢的一個原因。

    總結

    以上是我的總結與理解,最後一個部分,我怕很多人不大懂資料庫居然會選錯索引,所以我詳細解釋了一下,下面我對以上做一個總結。

    1、大多數情況下很正常,偶爾很慢,則有如下原因

      (1)、資料庫在重新整理髒頁,例如 redo log 寫滿了需要同步到磁碟。

      (2)、執行的時候,遇到鎖,如表鎖、行鎖。

    2、這條 SQL 語句一直執行的很慢,則有如下原因。

      (1)、沒有用上索引:例如該欄位沒有索引;由於對欄位進行運算、函式操作導致無法用索引。

      (2)、資料庫選錯了索引。

  • 中秋節和大豐收的關聯?
  • 化妝教程?