處理大量資料併發操作可以採用如下幾種方法:
1.使用快取:使用程式直接儲存到記憶體中。或者使用快取框架: 用一個特定的型別值來儲存,以區別空資料和未快取的兩種狀態。
2.資料庫最佳化:表結構最佳化;SQL語句最佳化,語法最佳化和處理邏輯最佳化;分割槽;分表;索引最佳化;使用儲存過程代替直接操作。
3.分離活躍資料:可以分為活躍使用者和不活躍使用者。
4.批次讀取和延遲修改: 高併發情況可以將多個查詢請求合併到一個。高併發且頻繁修改的可以暫存快取中。
5.讀寫分離: 資料庫伺服器配置多個,配置主從資料庫。寫用主資料庫,讀用從資料庫。
6.分散式資料庫: 將不同的表存放到不同的資料庫中,然後再放到不同的伺服器中。
7.NoSql和Hadoop: NoSql,not only SQL。沒有關係型資料庫那麼多限制,比較靈活高效。Hadoop,將一個表中的資料分層多塊,儲存到多個節點(分散式)。每一塊資料都有多個節點儲存(叢集)。叢集可以並行處理相同的資料,還可以保證資料的完整性。
拓展資料:
大資料(big data),指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大資料時代》中大資料指不用隨機分析法(抽樣調查)這樣捷徑,而採用所有資料進行分析處理。大資料的5V特點(IBM提出):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)、Veracity(真實性)。
參考資料:
網頁連結
處理大量資料併發操作可以採用如下幾種方法:
1.使用快取:使用程式直接儲存到記憶體中。或者使用快取框架: 用一個特定的型別值來儲存,以區別空資料和未快取的兩種狀態。
2.資料庫最佳化:表結構最佳化;SQL語句最佳化,語法最佳化和處理邏輯最佳化;分割槽;分表;索引最佳化;使用儲存過程代替直接操作。
3.分離活躍資料:可以分為活躍使用者和不活躍使用者。
4.批次讀取和延遲修改: 高併發情況可以將多個查詢請求合併到一個。高併發且頻繁修改的可以暫存快取中。
5.讀寫分離: 資料庫伺服器配置多個,配置主從資料庫。寫用主資料庫,讀用從資料庫。
6.分散式資料庫: 將不同的表存放到不同的資料庫中,然後再放到不同的伺服器中。
7.NoSql和Hadoop: NoSql,not only SQL。沒有關係型資料庫那麼多限制,比較靈活高效。Hadoop,將一個表中的資料分層多塊,儲存到多個節點(分散式)。每一塊資料都有多個節點儲存(叢集)。叢集可以並行處理相同的資料,還可以保證資料的完整性。
拓展資料:
大資料(big data),指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大資料時代》中大資料指不用隨機分析法(抽樣調查)這樣捷徑,而採用所有資料進行分析處理。大資料的5V特點(IBM提出):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)、Veracity(真實性)。
參考資料:
網頁連結