在做效能測試中經常會遇到一些sql的問題，其實做效能測試這幾年遇到問題最多還是資料庫這塊，要麼就是IO高要麼就是cpu高，所以對資料的最佳化在效能測試過程中佔據著很重要的地方，下面我就介紹一些msyql效能調優過程中經常用到的三件利器：

1、慢查詢（分析出現出問題的sql）

2、Explain （顯示了mysql如何使用索引來處理select語句以及連線表。可以幫助選擇更好的索引和寫出更最佳化的查詢語句）

3、Profile（查詢到SQL 會執行多少時間, 並看出CPU/Memory 使用量, 執行過程中 System lock, Table lock 花多少時間等等.）

首先我們先講一講mysql的慢查詢

1，配置開啟

Linux:

在mysql配置檔案my.cnf中增加

log-slow-queries=/var/lib/mysql/slowquery.log (指定日誌檔案存放位置，可以為空，系統會給一個預設的檔案host_name-

slow.log)

long_query_time=2 (記錄超過的時間，預設為10s)

log-queries-not-using-indexes (log下來沒有使用索引的query，可以根據情況決定是否開啟)

log-long-format (如果設定了，所有沒有使用索引的查詢也將被記錄) Windows:

在my.ini的[mysqld]新增如下語句：

log-slow-queries = E:\web\mysql\log\mysqlslowquery.log long_query_time = 2(其他引數如上)

2，檢視方式

Linux:

使用mysql自帶命令mysqldumpslow檢視

常用命令

-s ORDER what to sort by (t, at, l, al, r, ar etc), "at’ is default

-t NUM just show the top n queries

-g PATTERN grep: only consider stmts that include this string eg:

s，是order的順序，說明寫的不夠詳細，俺用下來，包括看了程式碼，主要有c,t,l,r和ac,at,al,ar，分別是按照query次數，時間，lock的時間和返回的記錄數來排序，前面加了a的時倒序-t，是top n的意思，即為返回前面多少條的資料-g，後邊可以寫一個正則匹配模式，大小寫不敏感的

mysqldumpslow -s c -t 20 host-slow.log

mysqldumpslow -s r -t 20 host-slow.log

上述命令可以看出訪問次數最多的20個sql語句和返回記錄集最多的20個sql。

mysqldumpslow -t 10 -s t -g “left join” host-slow.log這個是按照時間返回前10條裡面含有左連線的sql語句。

接下來就是explain

使用方法：

執行EXPLAIN SELECT * FROM res_user ORDER BY modifiedtime LIMIT 0,1000 得到如下結果：

顯示結果分析：

table | type | possible_keys | key | key_len | ref | rows | Extra

EXPLAIN列的解釋：

table

顯示這一行的資料是關於哪張表的

type

這是重要的列，顯示連線使用了何種型別。從最好到最差的連線型別為const、eq_reg、ref、range、indexhe和ALL

possible_keys

顯示可能應用在這張表中的索引。如果為空，沒有可能的索引。可以為相關的域從WHERE語句中選擇一個合適的語句

key

實際使用的索引。如果為NULL，則沒有使用索引。很少的情況下，MYSQL會選擇最佳化不足的索引。這種情況下，可以在SELECT語句中使用USE INDEX（indexname）來強制使用一個索引或者用IGNORE INDEX（indexname）來強制MYSQL忽略索引

key_len

使用的索引的長度。在不損失精確性的情況下，長度越短越好

ref

顯示索引的哪一列被使用了，如果可能的話，是一個常數

rows

MYSQL認為必須檢查的用來返回請求資料的行數

Extra

extra列返回的描述的意義

Distinct

一旦MYSQL找到了與行相聯合匹配的行，就不再搜尋了

Not exists

MYSQL優化了LEFT JOIN，一旦它找到了匹配LEFT JOIN標準的行，就不再搜尋了

Range checked for each

Record（index map:#）

沒有找到理想的索引，因此對於從前面表中來的每一個行組合，MYSQL檢查使用哪個索引，並用它來從表中返回行。這是使用索引的最慢的連線之一

Using filesort

看到這個的時候，查詢就需要優化了。MYSQL需要進行額外的步驟來發現如何對返回的行排序。它根據連線型別以及儲存排序鍵值和匹配條件的全部行的行指標來排序全部行

Using index

列資料是從僅僅使用了索引中的資訊而沒有讀取實際的行動的表返回的，這發生在對錶的全部的請求列都是同一個索引的部分的時候

Using temporary

看到這個的時候，查詢需要優化了。這裡，MYSQL需要建立一個臨時

表來儲存結果，這通常發生在對不同的列集進行ORDER BY上，而不是GROUP BY上

Where used

使用了WHERE從句來限制哪些行將與下一張表匹配或者是返回給使用者。如果不想返回表中的全部行，並且連線型別ALL或index，這就會發生，或者是查詢有問題

不同連線型別的解釋（按照效率高低的順序排序）

system

表只有一行：system表。這是const連線型別的特殊情況

const

表中的一個記錄的最大值能夠匹配這個查詢（索引可以是主鍵或惟一索引）。因為只有一行，這個值實際就是常數，因為MYSQL先讀這個值然後把它當做常數來對待

eq_ref

在連線中，MYSQL在查詢時，從前面的表中，對每一個記錄的聯合都從表中讀取一個記錄，它在查詢使用了索引為主鍵或惟一鍵的全部時使用

ref

這個連線型別只有在查詢使用了不是惟一或主鍵的鍵或者是這些型別的部分（比如，利用最左邊字首）時發生。對於之前的表的每一個行聯合，全部記錄都將從表中讀出。這個型別嚴重依賴於根據索引匹配的記錄多少—越少越好

range

這個連線型別使用索引返回一個範圍中的行，比如使用>或<；查詢東西時發生的情況

index

這個連線型別對前面的表中的每一個記錄聯合進行完全掃描（比ALL更好，因為索引一般小於表資料）

ALL

這個連線型別對於前面的每一個記錄聯合進行完全掃描，這一般比較糟糕，應該儘量避免

再者就是profile

我們可以先使用

mysql> SELECT @@profiling;

+-------------+

| @@profiling |

+-------------+

| 0 |

+-------------+

1 row in set (0.00 sec)來檢視是否已經啟用profile，如果profilng

值為0，可以透過

mysql> SET profiling = 1;

Query OK, 0 rows affected (0.00 sec)

mysql> SELECT @@profiling;

+-------------+

| @@profiling |

+-------------+

| 1 |

+-------------+

1 row in set (0.00 sec)

來啟用。啟用profiling之後，我們執行一條查詢語句，比如：

SELECT * FROM res_user ORDER BY modifiedtime LIMIT

0,1000

mysql> show profiles;

+----------+------------+-----------------------------------------

--------------------+

| Query_ID | Duration | Query |

+----------+------------+-----------------------------------------

--------------------+

| 1 | 0.00012200 | SELECT @@profiling |

| 2 | 1.54582000 | SELECT res_id FROM res_user

ORDER BY modifiedtime LIMIT 0,3 |

+----------+------------+-----------------------------------------

--------------------+

2 rows in set (0.00 sec) 注意：Query_ID表示剛執行的查詢語句

mysql> show profile for query 2;

+--------------------------------+----------+

| Status | Duration |

+--------------------------------+----------+

| starting | 0.000013 |

| checking query cache for query | 0.000035 |

| Opening tables | 0.000009 |

| System lock | 0.000002 |

| Table lock | 0.000015 |

| init | 0.000011 |

| optimizing | 0.000003 |

| statistics | 0.000006 |

| preparing | 0.000006 |

| executing | 0.000001 |

| Sorting result | 1.545565 |

| Sending data | 0.000038 |

| end | 0.000003 |

| query end | 0.000003 |

| freeing items | 0.000069 |

| storing result in query cache | 0.000004 |

| logging slow query | 0.000001 |

| logging slow query | 0.000033 |

| cleaning up | 0.000003 |

+--------------------------------+----------+

19 rows in set (0.00 sec)

結論：可以看出此條查詢語句的執行過程及執行時間，總的時間約為1.545s。這時候我們再執行一次。

mysql> SELECT res_id FROM res_user ORDER BY modifiedtime LIMIT 0,3;

+---------+

| res_id |

+---------+

| 1000305 |

| 1000322 |

| 1000323 |

+---------+

3 rows in set (0.00 sec)

mysql> show profiles;

+----------+------------+-------------------------------------------------------------+

| Query_ID | Duration | Query |

+----------+------------+-------------------------------------------------------------+

| 1 | 0.00012200 | SELECT @@profiling |

| 2 | 1.54582000 | SELECT res_id FROM res_user ORDER BY modifiedtime LIMIT 0,3 |

| 3 | 0.00006500 | SELECT res_id FROM res_user ORDER BY modifiedtime LIMIT 0,3 |

+----------+------------+-------------------------------------------------------------+

3 rows in set (0.00 sec)

mysql> show profile for query 3;

+--------------------------------+----------+

| Status | Duration |

+--------------------------------+----------+

| starting | 0.000013 |

| checking query cache for query | 0.000005 |

| checking privileges on cached | 0.000003 |

| sending cached result to clien | 0.000040 |

| logging slow query | 0.000002 |

| cleaning up | 0.000002 |

+--------------------------------+----------+

6 rows in set (0.00 sec) (注意紅色標記的地方)

結論：可以看出此次第二次查詢因為前一次的查詢生成了cache，所以這次無需從資料庫檔案中再次讀取資料而是直接從快取中讀取，結果查詢時間比第一次快多了（第一次查詢用了1.5秒而本次用了不到5毫秒）。

在做效能測試中經常會遇到一些sql的問題，其實做效能測試這幾年遇到問題最多還是資料庫這塊，要麼就是IO高要麼就是cpu高，所以對資料的最佳化在效能測試過程中佔據著很重要的地方，下面我就介紹一些msyql效能調優過程中經常用到的三件利器：

1、慢查詢（分析出現出問題的sql）

2、Explain （顯示了mysql如何使用索引來處理select語句以及連線表。可以幫助選擇更好的索引和寫出更最佳化的查詢語句）

3、Profile（查詢到SQL 會執行多少時間, 並看出CPU/Memory 使用量, 執行過程中 System lock, Table lock 花多少時間等等.）

首先我們先講一講mysql的慢查詢

1，配置開啟

Linux:

在mysql配置檔案my.cnf中增加

log-slow-queries=/var/lib/mysql/slowquery.log (指定日誌檔案存放位置，可以為空，系統會給一個預設的檔案host_name-

slow.log)

long_query_time=2 (記錄超過的時間，預設為10s)

log-queries-not-using-indexes (log下來沒有使用索引的query，可以根據情況決定是否開啟)

log-long-format (如果設定了，所有沒有使用索引的查詢也將被記錄) Windows:

在my.ini的[mysqld]新增如下語句：

log-slow-queries = E:\web\mysql\log\mysqlslowquery.log long_query_time = 2(其他引數如上)

2，檢視方式

Linux:

使用mysql自帶命令mysqldumpslow檢視

常用命令

-s ORDER what to sort by (t, at, l, al, r, ar etc), "at’ is default

-t NUM just show the top n queries

-g PATTERN grep: only consider stmts that include this string eg:

s，是order的順序，說明寫的不夠詳細，俺用下來，包括看了程式碼，主要有c,t,l,r和ac,at,al,ar，分別是按照query次數，時間，lock的時間和返回的記錄數來排序，前面加了a的時倒序-t，是top n的意思，即為返回前面多少條的資料-g，後邊可以寫一個正則匹配模式，大小寫不敏感的

mysqldumpslow -s c -t 20 host-slow.log

mysqldumpslow -s r -t 20 host-slow.log

上述命令可以看出訪問次數最多的20個sql語句和返回記錄集最多的20個sql。

mysqldumpslow -t 10 -s t -g “left join” host-slow.log這個是按照時間返回前10條裡面含有左連線的sql語句。

接下來就是explain

使用方法：

執行EXPLAIN SELECT * FROM res_user ORDER BY modifiedtime LIMIT 0,1000 得到如下結果：

顯示結果分析：

table | type | possible_keys | key | key_len | ref | rows | Extra

EXPLAIN列的解釋：

table

顯示這一行的資料是關於哪張表的

type

這是重要的列，顯示連線使用了何種型別。從最好到最差的連線型別為const、eq_reg、ref、range、indexhe和ALL

possible_keys

顯示可能應用在這張表中的索引。如果為空，沒有可能的索引。可以為相關的域從WHERE語句中選擇一個合適的語句

key

實際使用的索引。如果為NULL，則沒有使用索引。很少的情況下，MYSQL會選擇最佳化不足的索引。這種情況下，可以在SELECT語句中使用USE INDEX（indexname）來強制使用一個索引或者用IGNORE INDEX（indexname）來強制MYSQL忽略索引

key_len

使用的索引的長度。在不損失精確性的情況下，長度越短越好

ref

顯示索引的哪一列被使用了，如果可能的話，是一個常數

rows

MYSQL認為必須檢查的用來返回請求資料的行數

Extra

extra列返回的描述的意義

Distinct

一旦MYSQL找到了與行相聯合匹配的行，就不再搜尋了

Not exists

MYSQL優化了LEFT JOIN，一旦它找到了匹配LEFT JOIN標準的行，就不再搜尋了

Range checked for each

Record（index map:#）

沒有找到理想的索引，因此對於從前面表中來的每一個行組合，MYSQL檢查使用哪個索引，並用它來從表中返回行。這是使用索引的最慢的連線之一

Using filesort

看到這個的時候，查詢就需要優化了。MYSQL需要進行額外的步驟來發現如何對返回的行排序。它根據連線型別以及儲存排序鍵值和匹配條件的全部行的行指標來排序全部行

Using index

列資料是從僅僅使用了索引中的資訊而沒有讀取實際的行動的表返回的，這發生在對錶的全部的請求列都是同一個索引的部分的時候

Using temporary

看到這個的時候，查詢需要優化了。這裡，MYSQL需要建立一個臨時

表來儲存結果，這通常發生在對不同的列集進行ORDER BY上，而不是GROUP BY上

Where used

使用了WHERE從句來限制哪些行將與下一張表匹配或者是返回給使用者。如果不想返回表中的全部行，並且連線型別ALL或index，這就會發生，或者是查詢有問題

不同連線型別的解釋（按照效率高低的順序排序）

system

表只有一行：system表。這是const連線型別的特殊情況

const

表中的一個記錄的最大值能夠匹配這個查詢（索引可以是主鍵或惟一索引）。因為只有一行，這個值實際就是常數，因為MYSQL先讀這個值然後把它當做常數來對待

eq_ref

在連線中，MYSQL在查詢時，從前面的表中，對每一個記錄的聯合都從表中讀取一個記錄，它在查詢使用了索引為主鍵或惟一鍵的全部時使用

ref

這個連線型別只有在查詢使用了不是惟一或主鍵的鍵或者是這些型別的部分（比如，利用最左邊字首）時發生。對於之前的表的每一個行聯合，全部記錄都將從表中讀出。這個型別嚴重依賴於根據索引匹配的記錄多少—越少越好

range

這個連線型別使用索引返回一個範圍中的行，比如使用>或<；查詢東西時發生的情況

index

這個連線型別對前面的表中的每一個記錄聯合進行完全掃描（比ALL更好，因為索引一般小於表資料）

ALL

這個連線型別對於前面的每一個記錄聯合進行完全掃描，這一般比較糟糕，應該儘量避免

再者就是profile

我們可以先使用

mysql> SELECT @@profiling;

+-------------+

| @@profiling |

+-------------+

| 0 |

+-------------+

1 row in set (0.00 sec)來檢視是否已經啟用profile，如果profilng

值為0，可以透過

mysql> SET profiling = 1;

Query OK, 0 rows affected (0.00 sec)

mysql> SELECT @@profiling;

+-------------+

| @@profiling |

+-------------+

| 1 |

+-------------+

1 row in set (0.00 sec)

來啟用。啟用profiling之後，我們執行一條查詢語句，比如：

SELECT * FROM res_user ORDER BY modifiedtime LIMIT

0,1000

mysql> show profiles;

+----------+------------+-----------------------------------------

--------------------+

| Query_ID | Duration | Query |

+----------+------------+-----------------------------------------

--------------------+

| 1 | 0.00012200 | SELECT @@profiling |

| 2 | 1.54582000 | SELECT res_id FROM res_user

ORDER BY modifiedtime LIMIT 0,3 |

+----------+------------+-----------------------------------------

--------------------+

2 rows in set (0.00 sec) 注意：Query_ID表示剛執行的查詢語句

mysql> show profile for query 2;

+--------------------------------+----------+

| Status | Duration |

+--------------------------------+----------+

| starting | 0.000013 |

| checking query cache for query | 0.000035 |

| Opening tables | 0.000009 |

| System lock | 0.000002 |

| Table lock | 0.000015 |

| init | 0.000011 |

| optimizing | 0.000003 |

| statistics | 0.000006 |

| preparing | 0.000006 |

| executing | 0.000001 |

| Sorting result | 1.545565 |

| Sending data | 0.000038 |

| end | 0.000003 |

| query end | 0.000003 |

| freeing items | 0.000069 |

| storing result in query cache | 0.000004 |

| logging slow query | 0.000001 |

| logging slow query | 0.000033 |

| cleaning up | 0.000003 |

+--------------------------------+----------+

19 rows in set (0.00 sec)

結論：可以看出此條查詢語句的執行過程及執行時間，總的時間約為1.545s。這時候我們再執行一次。

mysql> SELECT res_id FROM res_user ORDER BY modifiedtime LIMIT 0,3;

+---------+

| res_id |

+---------+

| 1000305 |

| 1000322 |

| 1000323 |

+---------+

3 rows in set (0.00 sec)

mysql> show profiles;

+----------+------------+-------------------------------------------------------------+

| Query_ID | Duration | Query |

+----------+------------+-------------------------------------------------------------+

| 1 | 0.00012200 | SELECT @@profiling |

| 2 | 1.54582000 | SELECT res_id FROM res_user ORDER BY modifiedtime LIMIT 0,3 |

| 3 | 0.00006500 | SELECT res_id FROM res_user ORDER BY modifiedtime LIMIT 0,3 |

+----------+------------+-------------------------------------------------------------+

3 rows in set (0.00 sec)

mysql> show profile for query 3;

+--------------------------------+----------+

| Status | Duration |

+--------------------------------+----------+

| starting | 0.000013 |

| checking query cache for query | 0.000005 |

| checking privileges on cached | 0.000003 |

| sending cached result to clien | 0.000040 |

| logging slow query | 0.000002 |

| cleaning up | 0.000002 |

+--------------------------------+----------+

6 rows in set (0.00 sec) (注意紅色標記的地方)

結論：可以看出此次第二次查詢因為前一次的查詢生成了cache，所以這次無需從資料庫檔案中再次讀取資料而是直接從快取中讀取，結果查詢時間比第一次快多了（第一次查詢用了1.5秒而本次用了不到5毫秒）。