回覆列表
  • 1 # 小小創意手工

    9000萬的話,如果前端訪問量不是過大,單機就可以優化

    資料庫優化結合slow query,用explain進行sql優化,包括優化索引等優化。只有最慢的幾條sql優化好了,瞬間整個mysql都暢快了分表,根據一定的條件進行分表,比如按照時間或者冷熱資料或者hash區分不能分表,就加點記憶體,調一下mysql的快取引數讀寫分離,以這個資料量場景如果資料量增長不大,前端訪問不頻繁,就沒必要讀寫分離,做分表就ok應用層優化原則就是優化slow query排前的,還有就是量大排前的,通過應用層程式碼替代資料訪問減少對資料庫的壓力和訪問量增加快取,比如程式自身開設快取或者redis等專門快取伺服器優化sql,尤其是關聯查詢,都要避免掉,改成n+1查詢,讓n都能命中快取高頻sql儘量優化成可以走快取針對分表要做dao層改進如果資料庫讀寫分離,這邊也需要修改

  • 2 # 條野太郎0769

    讀寫分離,分庫分表,熱資料放記憶體。

    讀寫分離:減少寫庫所帶來的行鎖甚至表鎖對查詢的影響,提升查詢效率,同時還可以保證高可用。

    在設計系統之初就設計好垂直分庫和垂直分表,比如垂直分表:在一張大表中,一些熱資料的欄位放在一起,一些不常用的而且佔用空間比較大的欄位放在另外一張表,這樣子做的好處是提升了查詢速度,因為mysql是以頁儲存資料的,一頁之中存放的資料越多,查詢效率會更高。

    另外再配合redis mongodb這些快取資料庫,熱資料放進去,查詢效率會進一步得到提升。

    如果上面的方案還無法解決查詢緩慢的問題,可能是因為我們的資料量非常大,而且持續快速增長。我們還可以進行水平分庫分表,例如把一張1億資料量的大表,水平拆分成10張相同的大表,再水平拆分到10個不同的資料庫中。。。

  • 3 # 少點虛假廣告才好

    9千萬真不算多,我的mysql5.7,單表8億多,單表資料加索引40g以上,myisam,int unsigned主鍵,timestamp和char上有單索引,用適合長度的char,不用varchar,記憶體分配足夠,一段時間後重建或優化表,效能槓槓的。手機打,只說重點。

  • 4 # Java技術架構

    實踐出真知。根據成本順序依次是:

    第一:加索引優化sql。儘量避免全盤掃描,另單表索引也不是越多越好。

    第二:加快取。使用redis,memcached,但注意快取同步更新、設定失效等問題。

    第三:主從複製,讀寫分離。適合讀多寫少的場景,同步會有延遲。

    第四:垂直拆分。可以選用適當的中介軟體Mycat等

    第五:水平切分。選擇合理的sharding key,改動表結構,將大資料欄位拆分出去,對經常查詢的欄位做一定的冗餘,同時做好資料同步。

    當然還有優化資料庫連線配置,根據業務選用不同的資料庫引擎等等。

  • 5 # 小鳥攻城獅

    是一張表九千萬了嗎?

    建議:

    第一、表讀居多還是寫?讀的話資料庫引擎用myisam ,寫的話InnoDB 而不是MyISAM,因為MyISAM有太多鎖。

    第二、升級到MySQL 5.5 ,確保使用buffering功能。

    第三,索引確保使用正確,且都在記憶體中,移除沒有必要的索引。

    第四、寫場景多嗎? 設定innodb_buffer_pool_size足夠大來確保更快的寫操作。

    第五、按業務id取模,分表。

    最後,花錢加機器記憶體和用ssd磁碟吧。

  • 6 # 晴月浩新雪

    首先應排除儲存過程裡的程式碼和表設計本身存在的效率問題。然後明確使用場景的特點,比如讀寫比例、冷熱資料訪問比例等,然後再針對性能瓶頸來制訂具體優化方案。大多數情況下,可以考慮分庫分表、冷熱分離和讀寫分離,以及增加分散式快取降低資料庫負載等。

  • 7 # 藍鳥啃蘋果

    分表加上memorycache,其實資料表規模大不可怕,把搜尋的關鍵字索引扔到記憶體庫裡,用外來鍵ID做關聯效率會很高。如果資料複雜可以結合nosql做快取(redis可定時釋放)

  • 8 # 愛可生雲資料庫

    MySQL 一直以來都支援正則匹配,不過對於正則替換則一直到MySQL 8.0 才支援。對於這類場景,以前要麼在MySQL端處理,要麼把資料拿出來在應用端處理。

    比如我想把表y1的列str1的出現第3個action的子 串替換成dble,怎麼實現?

    1. 自己寫SQL層的儲存函式。程式碼如下寫死了3個,沒有優化,僅僅作為演示,MySQL 裡非常不建議寫這樣的函式。

    mysqlDELIMITER $$USE `ytt`$$DROP FUNCTION IF EXISTS `func_instr_simple_ytt`$$CREATE DEFINER=`root`@`localhost` FUNCTION `func_instr_simple_ytt`(f_str VARCHAR(1000), -- Parameter 1f_substr VARCHAR(100), -- Parameter 2f_replace_str varchar(100),f_times int -- times counter.only support 3.) RETURNS varchar(1000)BEGINdeclare v_result varchar(1000) default "ytt"; -- result.declare v_substr_len int default 0; -- search string length.set f_times = 3; -- only support 3.set v_substr_len = length(f_substr);select instr(f_str,f_substr) into @p1; -- First real position .select instr(substr(f_str,@p1+v_substr_len),f_substr) into @p2; Secondary virtual position.select instr(substr(f_str,@p2+ @p1 +2*v_substr_len - 1),f_substr) into @p3; -- Third virtual position.if @p1 > 0 && @p2 > 0 && @p3 > 0 then -- Fine.selectconcat(substr(f_str,1,@p1 + @p2 + @p3 + (f_times - 1) * v_substr_len - f_times),f_replace_str,substr(f_str,@p1 + @p2 + @p3 + f_times * v_substr_len-2)) into v_result;elseset v_result = f_str; -- Never changed.end if;-- Purge all session variables.set @p1 = null;set @p2 = null;set @p3 = null;return v_result;end;$$DELIMITER ;-- 呼叫函式來更新:mysql> update y1 set str1 = func_instr_simple_ytt(str1,"action","dble",3);Query OK, 20 rows affected (0.12 sec)Rows matched: 20 Changed: 20 Warnings: 02. 匯出來用sed之類的工具替換掉在匯入,步驟如下:(推薦使用)1)匯出表y1的記錄。mysqlmysql> select * from y1 into outfile "/var/lib/mysql-files/y1.csv";Query OK, 20 rows affected (0.00 sec)2)用sed替換匯出來的資料。shellroot@ytt-Aspire-V5-471G:/var/lib/mysql-files# sed -i "s/action/dble/3" y1.csv3)再次匯入處理好的資料,完成。mysqlmysql> truncate y1;Query OK, 0 rows affected (0.99 sec)mysql> load data infile "/var/lib/mysql-files/y1.csv" into table y1;Query OK, 20 rows affected (0.14 sec)Records: 20 Deleted: 0 Skipped: 0 Warnings: 0以上兩種還是推薦匯出來處理好了再重新匯入,效能來的高些,而且還不用自己費勁寫函式程式碼。那MySQL 8.0 對於以上的場景實現就非常簡單了,一個函式就搞定了。mysqlmysql> update y1 set str1 = regexp_replace(str1,"action","dble",1,3) ;Query OK, 20 rows affected (0.13 sec)Rows matched: 20 Changed: 20 Warnings: 0還有一個regexp_instr 也非常有用,特別是這種特指出現第幾次的場景。比如定義 SESSION 變數@a。mysqlmysql> set @a = "aa bb cc ee fi lucy 1 1 1 b s 2 3 4 5 2 3 5 561 19 10 10 20 30 10 40";Query OK, 0 rows affected (0.04 sec)拿到至少兩次的數字出現的第二次子串的位置。mysqlmysql> select regexp_instr(@a,"[:digit:]{2,}",1,2);+--------------------------------------+| regexp_instr(@a,"[:digit:]{2,}",1,2) |+--------------------------------------+| 50 |+--------------------------------------+1 row in set (0.00 sec)那我們在看看對多位元組字元支援如何。mysqlmysql> set @a = "中國 美國 俄羅斯 日本 中國 北京 上海 深圳 廣州 北京 上海 武漢 東莞 北京 青島 北京";Query OK, 0 rows affected (0.00 sec)mysql> select regexp_instr(@a,"北京",1,1);+-------------------------------+| regexp_instr(@a,"北京",1,1) |+-------------------------------+| 17 |+-------------------------------+1 row in set (0.00 sec)mysql> select regexp_instr(@a,"北京",1,2);+-------------------------------+| regexp_instr(@a,"北京",1,2) |+-------------------------------+| 29 |+-------------------------------+1 row in set (0.00 sec)mysql> select regexp_instr(@a,"北京",1,3);+-------------------------------+| regexp_instr(@a,"北京",1,3) |+-------------------------------+| 41 |+-------------------------------+1 row in set (0.00 sec)那總結下,這裡我提到了 MySQL 8.0 的兩個最有用的正則匹配函式 regexp_replace 和 regexp_instr。針對以前類似的場景算是有一個完美的解決方案。

  • 9 # 開森一二三

    升級硬體(所謂的垂直擴容),這是最直接有效的,比什麼優化都強。

    再者就是資料庫層面,常用手段就是分庫分表,讀寫分離,索引優化,慢sql排查。

    然後應用層邏輯做些優化,能走快取的儘量走快取,能一把查出來的就不要迴圈查,能分頁的儘量分頁,不要去join大表等

  • 中秋節和大豐收的關聯?
  • 如何看待阿里員工找私人助理,月薪1.6萬?