查詢速度慢的原因很多,常見如下幾種: 1、沒有索引或者沒有用到索引(這是查詢慢最常見的問題,是程式設計的缺陷) 2、I/O吞吐量小,形成了瓶頸效應。 3、沒有建立計算列導致查詢不最佳化。 4、記憶體不足 5、網路速度慢 6、查詢出的資料量過大(可以採用多次查詢,其他的方法降低資料量) 7、鎖或者死鎖(這也是查詢慢最常見的問題,是程式設計的缺陷) 8、sp_lock,sp_who,活動的使用者檢視,原因是讀寫競爭資源。 9、返回了不必要的行和列 10、查詢語句不好,沒有最佳化 可以透過如下方法來最佳化查詢 : 1、把資料、日誌、索引放到不同的I/O裝置上,增加讀取速度,以前可以將Tempdb應放在RAID0上,SQL2000不在支援。資料量(尺寸)越大,提高I/O越重要. 2、縱向、橫向分割表,減少表的尺寸(sp_spaceuse) 3、升級硬體 4、根據查詢條件,建立索引,最佳化索引、最佳化訪問方式,限制結果集的資料量。注意填充因子要適當(最好是使用預設值0)。索引應該儘量小,使用位元組數小的列建索引好(參照索引的建立),不要對有限的幾個值的欄位建單一索引如性別欄位 5、提高網速; 6、擴大伺服器的記憶體,Windows 2000和SQL server 2000能支援4-8G的記憶體。配置虛擬記憶體:虛擬記憶體大小應基於計算機上併發執行的服務進行配置。執行 Microsoft SQL Server? 2000 時,可考慮將虛擬記憶體大小設定為計算機中安裝的物理記憶體的 1.5 倍。如果另外安裝了全文檢索功能,並打算執行 Microsoft 搜尋服務以便執行全文索引和查詢,可考慮:將虛擬記憶體大小配置為至少是計算機中安裝的物理記憶體的 3 倍。將 SQL Server max server memory 伺服器配置選項配置為物理記憶體的 1.5 倍(虛擬記憶體大小設定的一半)。 7、增加伺服器 CPU個數; 但是必須明白並行處理序列處理更需要資源例如記憶體。使用並行還是序列程是MsSQL自動評估選擇的。單個任務分解成多個任務,就可以在處理器上執行。例如耽擱查詢的排序、連線、掃描和GROUP BY字句同時執行,SQL SERVER根據系統的負載情況決定最優的並行等級,複雜的需要消耗大量的CPU的查詢最適合並行處理。但是更新操作Update,Insert, Delete還不能並行處理。 8、如果是使用like進行查詢的話,簡單的使用index是不行的,但是全文索引,耗空間。 like "a%" 使用索引 like "%a" 不使用索引用 like "%a%" 查詢時,查詢耗時和欄位值總長度成正比,所以不能用CHAR型別,而是VARCHAR。對於欄位的值很長的建全文索引。 9、DB Server 和APPLication Server 分離;OLTP和OLAP分離 10、分散式分割槽檢視可用於實現資料庫伺服器聯合體。聯合體是一組分開管理的伺服器,但它們相互協作分擔系統的處理負荷。這種透過分割槽資料形成資料庫伺服器聯合體的機制能夠擴大一組伺服器,以支援大型的多層 Web 站點的處理需要。有關更多資訊,參見設計聯合資料庫伺服器。(參照SQL幫助檔案"分割槽檢視") a、在實現分割槽檢視之前,必須先水平分割槽表 b、在建立成員表後,在每個成員伺服器上定義一個分散式分割槽檢視,並且每個檢視具有相同的名稱。這樣,引用分散式分割槽檢視名的查詢可以在任何一個成員伺服器上執行。系統操作如同每個成員伺服器上都有一個原始表的複本一樣,但其實每個伺服器上只有一個成員表和一個分散式分割槽檢視。資料的位置對應用程式是透明的。 11、重建索引 DBCC REINDEX ,DBCC INDEXDEFRAG,收縮資料和日誌 DBCC SHRINKDB,DBCC SHRINKFILE. 設定自動收縮日誌.對於大的資料庫不要設定資料庫自動增長,它會降低伺服器的效能。在T-sql的寫法上有很大的講究,下面列出常見的要點:首先,DBMS處理查詢計劃的過程是這樣的: 1、 查詢語句的詞法、語法檢查 2、 將語句提交給DBMS的查詢最佳化器 3、 最佳化器做代數最佳化和存取路徑的最佳化 4、 由預編譯模組生成查詢規劃 5、 然後在合適的時間提交給系統處理執行 6、 最後將執行結果返回給使用者其次,看一下SQL SERVER的資料存放的結構:一個頁面的大小為8K(8060)位元組,8個頁面為一個盤區,按照B樹存放。 12、Commit和rollback的區別 Rollback:回滾所有的事物。 Commit:提交當前的事物. 沒有必要在動態SQL裡寫事物,如果要寫請寫在外面如: begin tran exec(@s) commit trans 或者將動態SQL 寫成函式或者儲存過程。 13、在查詢Select語句中用Where字句限制返回的行數,避免表掃描,如果返回不必要的資料,浪費了伺服器的I/O資源,加重了網路的負擔降低效能。如果表很大,在表掃描的期間將表鎖住,禁止其他的聯接訪問表,後果嚴重。 14、SQL的註釋申明對執行沒有任何影響 15、儘可能不使用游標,它佔用大量的資源。如果需要row-by-row地執行,儘量採用非游標技術,如:在客戶端迴圈,用臨時表,Table變數,用子查詢,用Case語句等等。遊標可以按照它所支援的提取選項進行分類: 只進 必須按照從第一行到最後一行的順序提取行。FETCH NEXT 是唯一允許的提取操作,也是預設方式。可滾動性可以在遊標中任何地方隨機提取任意行。遊標的技術在SQL2000下變得功能很強大,他的目的是支援迴圈。有四個併發選項 READ_ONLY:不允許透過遊標定位更新(Update),且在組成結果集的行中沒有鎖。 OPTIMISTIC WITH valueS:樂觀併發控制是事務控制理論的一個標準部分。樂觀併發控制用於這樣的情形,即在開啟遊標及更新行的間隔中,只有很小的機會讓第二個使用者更新某一行。當某個遊標以此選項開啟時,沒有鎖控制其中的行,這將有助於最大化其處理能力。如果使用者試圖修改某一行,則此行的當前值會與最後一次提取此行時獲取的值進行比較。如果任何值發生改變,則伺服器就會知道其他人已更新了此行,並會返回一個錯誤。如果值是一樣的,伺服器就執行修改。選擇這個併發選項OPTIMISTIC WITH ROW VERSIONING:此樂觀併發控制選項基於行版本控制。使用行版本控制,其中的表必須具有某種版本識別符號,伺服器可用它來確定該行在讀入遊標後是否有所更改。在 SQL Server 中,這個效能由 timestamp 資料型別提供,它是一個二進位制數字,表示資料庫中更改的相對順序。每個資料庫都有一個全域性當前時間戳值:@@DBTS。每次以任何方式更改帶有 timestamp 列的行時,SQL Server 先在時間戳列中儲存當前的 @@DBTS 值,然後增加 @@DBTS 的值。如果某 個表具有 timestamp 列,則時間戳會被記到行級。伺服器就可以比較某行的當前時間戳值和上次提取時所儲存的時間戳值,從而確定該行是否已更新。伺服器不必比較所有列的值,只需比較 timestamp 列即可。如果應用程式對沒有 timestamp 列的表要求基於行版本控制的樂觀併發,則遊標預設為基於數值的樂觀併發控制。 SCROLL LOCKS 這個選項實現悲觀併發控制。在悲觀併發控制中,在把資料庫的行讀入遊標結果集時,應用程式將試圖鎖定資料庫行。在使用伺服器遊標時,將行讀入遊標時會在其上放置一個更新鎖。如果在事務內開啟遊標,則該事務更新鎖將一直保持到事務被提交或回滾;當提取下一行時,將除去遊標鎖。如果在事務外開啟遊標,則提取下一行時,鎖就被丟棄。因此,每當使用者需要完全的悲觀併發控制時,遊標都應在事務內開啟。更新鎖將阻止任何其它任務獲取更新鎖或排它鎖,從而阻止其它任務更新該行。然而,更新鎖並不阻止共享鎖,所以它不會阻止其它任務讀取行,除非第二個任務也在要求帶更新鎖的讀取。滾動鎖根據在遊標定義的 Select 語句中指定的鎖提示,這些遊標併發選項可以生成滾動鎖。滾動鎖在提取時在每行上獲取,並保持到下次提取或者遊標關閉,以先發生者為準。下次提取時,伺服器為新提取中的行獲取滾動鎖,並釋放上次提取中行的滾動鎖。滾動鎖獨立於事務鎖,並可以保持到一個提交或回滾操作之後。如果提交時關閉遊標的選項為關,則 COMMIT 語句並不關閉任何開啟的遊標,而且滾動鎖被保留到提交之後,以維護對所提取資料的隔離。所獲取滾動鎖的型別取決於遊標併發選項和遊標 Select 語句中的鎖提示。鎖提示 只讀 樂觀數值 樂觀行版本控制 鎖定無提示 未鎖定 未鎖定 未鎖定 更新 NOLOCK 未鎖定 未鎖定未鎖定 未鎖定 HOLDLOCK 共享 共享 共享 更新 UPDLOCK 錯誤 更新 更新 更新 TABLOCKX 錯誤 未鎖定 未鎖定更新其它 未鎖定 未鎖定 未鎖定 更新 *指定 NOLOCK 提示將使指定了該提示的表在遊標內是隻讀的。 16、用Profiler來跟蹤查詢,得到查詢所需的時間,找出SQL的問題所在; 用索引最佳化器最佳化索引 17、注意UNion和UNion all 的區別。UNION all好 18、注意使用DISTINCT,在沒有必要時不要用,它同UNION一樣會使查詢變慢。重複的記錄在查詢裡是沒有問題的 19、查詢時不要返回不需要的行、列 20、用sp_configure "query governor cost limit"或者SET QUERY_GOVERNOR_COST_LIMIT來限制查詢消耗的資源。當評估查詢消耗的資源超出限制時,伺服器自動取消查詢,在查詢之前就扼殺掉。 SET LOCKTIME設定鎖的時間 21、用select top 100 / 10 Percent 來限制使用者返回的行數或者SET ROWCOUNT來限制操作的行 22、在SQL2000以前,一般不要用如下的字句: "IS NULL", "<>", "!=", "!>", "!<", "NOT", "NOT EXISTS", "NOT IN", "NOT LIKE", and "LIKE "%500"",因為他們不走索引全是表掃描。也不要在Where字句中的列名加函式,如Convert,substring等,如果必須用函式的時候,建立計算列再建立索引來替代.還可以變通寫法:Where SUBSTRING(firstname,1,1) = "m"改為Where firstname like "m%"(索引掃描),一定要將函式和列名分開。並且索引不能建得太多和太大。NOT IN會多次掃描表,使用EXISTS、NOT EXISTS ,IN , LEFT OUTER JOIN 來替代,特別是左連線,而Exists比IN更快,最慢的是NOT操作.如果列的值含有空,以前它的索引不起作用,現在2000的最佳化器能夠處理了。相同的是IS NULL,"NOT", "NOT EXISTS", "NOT IN"能最佳化她,而"<>"等還是不能最佳化,用不到索引。 23、使用Query Analyzer,檢視SQL語句的查詢計劃和評估分析是否是最佳化的SQL。一般的20%的程式碼佔據了80%的資源,我們最佳化的重點是這些慢的地方。 24、如果使用了IN或者OR等時發現查詢沒有走索引,使用顯示申明指定索引: Select * FROM PersonMember (INDEX = IX_Title) Where processid IN ("男","女") 25、將需要查詢的結果預先計算好放在表中,查詢的時候再Select。這在SQL7.0以前是最重要的手段。例如醫院的住院費計算。 26、MIN() 和 MAX()能使用到合適的索引。 27、資料庫有一個原則是程式碼離資料越近越好,所以優先選擇Default,依次為Rules,Triggers, Constraint(約束如外健主健CheckUNIQUE……,資料型別的最大長度等等都是約束),Procedure.這樣不僅維護工作小,編寫程式質量高,並且執行的速度快。
查詢速度慢的原因很多,常見如下幾種: 1、沒有索引或者沒有用到索引(這是查詢慢最常見的問題,是程式設計的缺陷) 2、I/O吞吐量小,形成了瓶頸效應。 3、沒有建立計算列導致查詢不最佳化。 4、記憶體不足 5、網路速度慢 6、查詢出的資料量過大(可以採用多次查詢,其他的方法降低資料量) 7、鎖或者死鎖(這也是查詢慢最常見的問題,是程式設計的缺陷) 8、sp_lock,sp_who,活動的使用者檢視,原因是讀寫競爭資源。 9、返回了不必要的行和列 10、查詢語句不好,沒有最佳化 可以透過如下方法來最佳化查詢 : 1、把資料、日誌、索引放到不同的I/O裝置上,增加讀取速度,以前可以將Tempdb應放在RAID0上,SQL2000不在支援。資料量(尺寸)越大,提高I/O越重要. 2、縱向、橫向分割表,減少表的尺寸(sp_spaceuse) 3、升級硬體 4、根據查詢條件,建立索引,最佳化索引、最佳化訪問方式,限制結果集的資料量。注意填充因子要適當(最好是使用預設值0)。索引應該儘量小,使用位元組數小的列建索引好(參照索引的建立),不要對有限的幾個值的欄位建單一索引如性別欄位 5、提高網速; 6、擴大伺服器的記憶體,Windows 2000和SQL server 2000能支援4-8G的記憶體。配置虛擬記憶體:虛擬記憶體大小應基於計算機上併發執行的服務進行配置。執行 Microsoft SQL Server? 2000 時,可考慮將虛擬記憶體大小設定為計算機中安裝的物理記憶體的 1.5 倍。如果另外安裝了全文檢索功能,並打算執行 Microsoft 搜尋服務以便執行全文索引和查詢,可考慮:將虛擬記憶體大小配置為至少是計算機中安裝的物理記憶體的 3 倍。將 SQL Server max server memory 伺服器配置選項配置為物理記憶體的 1.5 倍(虛擬記憶體大小設定的一半)。 7、增加伺服器 CPU個數; 但是必須明白並行處理序列處理更需要資源例如記憶體。使用並行還是序列程是MsSQL自動評估選擇的。單個任務分解成多個任務,就可以在處理器上執行。例如耽擱查詢的排序、連線、掃描和GROUP BY字句同時執行,SQL SERVER根據系統的負載情況決定最優的並行等級,複雜的需要消耗大量的CPU的查詢最適合並行處理。但是更新操作Update,Insert, Delete還不能並行處理。 8、如果是使用like進行查詢的話,簡單的使用index是不行的,但是全文索引,耗空間。 like "a%" 使用索引 like "%a" 不使用索引用 like "%a%" 查詢時,查詢耗時和欄位值總長度成正比,所以不能用CHAR型別,而是VARCHAR。對於欄位的值很長的建全文索引。 9、DB Server 和APPLication Server 分離;OLTP和OLAP分離 10、分散式分割槽檢視可用於實現資料庫伺服器聯合體。聯合體是一組分開管理的伺服器,但它們相互協作分擔系統的處理負荷。這種透過分割槽資料形成資料庫伺服器聯合體的機制能夠擴大一組伺服器,以支援大型的多層 Web 站點的處理需要。有關更多資訊,參見設計聯合資料庫伺服器。(參照SQL幫助檔案"分割槽檢視") a、在實現分割槽檢視之前,必須先水平分割槽表 b、在建立成員表後,在每個成員伺服器上定義一個分散式分割槽檢視,並且每個檢視具有相同的名稱。這樣,引用分散式分割槽檢視名的查詢可以在任何一個成員伺服器上執行。系統操作如同每個成員伺服器上都有一個原始表的複本一樣,但其實每個伺服器上只有一個成員表和一個分散式分割槽檢視。資料的位置對應用程式是透明的。 11、重建索引 DBCC REINDEX ,DBCC INDEXDEFRAG,收縮資料和日誌 DBCC SHRINKDB,DBCC SHRINKFILE. 設定自動收縮日誌.對於大的資料庫不要設定資料庫自動增長,它會降低伺服器的效能。在T-sql的寫法上有很大的講究,下面列出常見的要點:首先,DBMS處理查詢計劃的過程是這樣的: 1、 查詢語句的詞法、語法檢查 2、 將語句提交給DBMS的查詢最佳化器 3、 最佳化器做代數最佳化和存取路徑的最佳化 4、 由預編譯模組生成查詢規劃 5、 然後在合適的時間提交給系統處理執行 6、 最後將執行結果返回給使用者其次,看一下SQL SERVER的資料存放的結構:一個頁面的大小為8K(8060)位元組,8個頁面為一個盤區,按照B樹存放。 12、Commit和rollback的區別 Rollback:回滾所有的事物。 Commit:提交當前的事物. 沒有必要在動態SQL裡寫事物,如果要寫請寫在外面如: begin tran exec(@s) commit trans 或者將動態SQL 寫成函式或者儲存過程。 13、在查詢Select語句中用Where字句限制返回的行數,避免表掃描,如果返回不必要的資料,浪費了伺服器的I/O資源,加重了網路的負擔降低效能。如果表很大,在表掃描的期間將表鎖住,禁止其他的聯接訪問表,後果嚴重。 14、SQL的註釋申明對執行沒有任何影響 15、儘可能不使用游標,它佔用大量的資源。如果需要row-by-row地執行,儘量採用非游標技術,如:在客戶端迴圈,用臨時表,Table變數,用子查詢,用Case語句等等。遊標可以按照它所支援的提取選項進行分類: 只進 必須按照從第一行到最後一行的順序提取行。FETCH NEXT 是唯一允許的提取操作,也是預設方式。可滾動性可以在遊標中任何地方隨機提取任意行。遊標的技術在SQL2000下變得功能很強大,他的目的是支援迴圈。有四個併發選項 READ_ONLY:不允許透過遊標定位更新(Update),且在組成結果集的行中沒有鎖。 OPTIMISTIC WITH valueS:樂觀併發控制是事務控制理論的一個標準部分。樂觀併發控制用於這樣的情形,即在開啟遊標及更新行的間隔中,只有很小的機會讓第二個使用者更新某一行。當某個遊標以此選項開啟時,沒有鎖控制其中的行,這將有助於最大化其處理能力。如果使用者試圖修改某一行,則此行的當前值會與最後一次提取此行時獲取的值進行比較。如果任何值發生改變,則伺服器就會知道其他人已更新了此行,並會返回一個錯誤。如果值是一樣的,伺服器就執行修改。選擇這個併發選項OPTIMISTIC WITH ROW VERSIONING:此樂觀併發控制選項基於行版本控制。使用行版本控制,其中的表必須具有某種版本識別符號,伺服器可用它來確定該行在讀入遊標後是否有所更改。在 SQL Server 中,這個效能由 timestamp 資料型別提供,它是一個二進位制數字,表示資料庫中更改的相對順序。每個資料庫都有一個全域性當前時間戳值:@@DBTS。每次以任何方式更改帶有 timestamp 列的行時,SQL Server 先在時間戳列中儲存當前的 @@DBTS 值,然後增加 @@DBTS 的值。如果某 個表具有 timestamp 列,則時間戳會被記到行級。伺服器就可以比較某行的當前時間戳值和上次提取時所儲存的時間戳值,從而確定該行是否已更新。伺服器不必比較所有列的值,只需比較 timestamp 列即可。如果應用程式對沒有 timestamp 列的表要求基於行版本控制的樂觀併發,則遊標預設為基於數值的樂觀併發控制。 SCROLL LOCKS 這個選項實現悲觀併發控制。在悲觀併發控制中,在把資料庫的行讀入遊標結果集時,應用程式將試圖鎖定資料庫行。在使用伺服器遊標時,將行讀入遊標時會在其上放置一個更新鎖。如果在事務內開啟遊標,則該事務更新鎖將一直保持到事務被提交或回滾;當提取下一行時,將除去遊標鎖。如果在事務外開啟遊標,則提取下一行時,鎖就被丟棄。因此,每當使用者需要完全的悲觀併發控制時,遊標都應在事務內開啟。更新鎖將阻止任何其它任務獲取更新鎖或排它鎖,從而阻止其它任務更新該行。然而,更新鎖並不阻止共享鎖,所以它不會阻止其它任務讀取行,除非第二個任務也在要求帶更新鎖的讀取。滾動鎖根據在遊標定義的 Select 語句中指定的鎖提示,這些遊標併發選項可以生成滾動鎖。滾動鎖在提取時在每行上獲取,並保持到下次提取或者遊標關閉,以先發生者為準。下次提取時,伺服器為新提取中的行獲取滾動鎖,並釋放上次提取中行的滾動鎖。滾動鎖獨立於事務鎖,並可以保持到一個提交或回滾操作之後。如果提交時關閉遊標的選項為關,則 COMMIT 語句並不關閉任何開啟的遊標,而且滾動鎖被保留到提交之後,以維護對所提取資料的隔離。所獲取滾動鎖的型別取決於遊標併發選項和遊標 Select 語句中的鎖提示。鎖提示 只讀 樂觀數值 樂觀行版本控制 鎖定無提示 未鎖定 未鎖定 未鎖定 更新 NOLOCK 未鎖定 未鎖定未鎖定 未鎖定 HOLDLOCK 共享 共享 共享 更新 UPDLOCK 錯誤 更新 更新 更新 TABLOCKX 錯誤 未鎖定 未鎖定更新其它 未鎖定 未鎖定 未鎖定 更新 *指定 NOLOCK 提示將使指定了該提示的表在遊標內是隻讀的。 16、用Profiler來跟蹤查詢,得到查詢所需的時間,找出SQL的問題所在; 用索引最佳化器最佳化索引 17、注意UNion和UNion all 的區別。UNION all好 18、注意使用DISTINCT,在沒有必要時不要用,它同UNION一樣會使查詢變慢。重複的記錄在查詢裡是沒有問題的 19、查詢時不要返回不需要的行、列 20、用sp_configure "query governor cost limit"或者SET QUERY_GOVERNOR_COST_LIMIT來限制查詢消耗的資源。當評估查詢消耗的資源超出限制時,伺服器自動取消查詢,在查詢之前就扼殺掉。 SET LOCKTIME設定鎖的時間 21、用select top 100 / 10 Percent 來限制使用者返回的行數或者SET ROWCOUNT來限制操作的行 22、在SQL2000以前,一般不要用如下的字句: "IS NULL", "<>", "!=", "!>", "!<", "NOT", "NOT EXISTS", "NOT IN", "NOT LIKE", and "LIKE "%500"",因為他們不走索引全是表掃描。也不要在Where字句中的列名加函式,如Convert,substring等,如果必須用函式的時候,建立計算列再建立索引來替代.還可以變通寫法:Where SUBSTRING(firstname,1,1) = "m"改為Where firstname like "m%"(索引掃描),一定要將函式和列名分開。並且索引不能建得太多和太大。NOT IN會多次掃描表,使用EXISTS、NOT EXISTS ,IN , LEFT OUTER JOIN 來替代,特別是左連線,而Exists比IN更快,最慢的是NOT操作.如果列的值含有空,以前它的索引不起作用,現在2000的最佳化器能夠處理了。相同的是IS NULL,"NOT", "NOT EXISTS", "NOT IN"能最佳化她,而"<>"等還是不能最佳化,用不到索引。 23、使用Query Analyzer,檢視SQL語句的查詢計劃和評估分析是否是最佳化的SQL。一般的20%的程式碼佔據了80%的資源,我們最佳化的重點是這些慢的地方。 24、如果使用了IN或者OR等時發現查詢沒有走索引,使用顯示申明指定索引: Select * FROM PersonMember (INDEX = IX_Title) Where processid IN ("男","女") 25、將需要查詢的結果預先計算好放在表中,查詢的時候再Select。這在SQL7.0以前是最重要的手段。例如醫院的住院費計算。 26、MIN() 和 MAX()能使用到合適的索引。 27、資料庫有一個原則是程式碼離資料越近越好,所以優先選擇Default,依次為Rules,Triggers, Constraint(約束如外健主健CheckUNIQUE……,資料型別的最大長度等等都是約束),Procedure.這樣不僅維護工作小,編寫程式質量高,並且執行的速度快。