個人印象:ScyllaDB和clickhouse在金融時序資料的處理上不如kdb+和dolphindb。
kdb+是一款效能極佳的時間序列資料庫。它是美國華爾街各大金融機構20多年來處理大規模資料的首選系統。它通常用於高頻交易,非常適用於高速儲存、分析、處理和檢索大型資料集。在存取和實時分析海量股票、外匯等高頻資料這個領域內,唯kdb+獨尊。kdb+還提供了專門的程式語言q語言,它天生具有處理大規模資料的能力。
DolphinDB作為新一代的高效能時間序列資料庫,與kdb+在程式語言和技術架構上有非常大的區別:
2. 在技術架構上,DolphinDB採用了分散式檔案系統和分散式計算,可以透過增加叢集的物理伺服器來擴充套件分散式計算的速度。知乎上有篇《揭秘高效能DolphinDB》(https://zhuanlan.zhihu.com/p/40049521)詳細講解了DolphinDB架構。kdb+是為高效能計算機設計的,對伺服器的要求較高。它沒有叢集的概念,也就是說它無法在多個物理伺服器組成的分散式檔案系統上執行。
kdb+號稱是速度最快的時序資料庫,很多客戶和合作夥伴一直好奇DolphinDB與kdb+的效能對比。根據kdb+的license合規性要求,我們不提供官方的效能評測報告。最近有資料庫領域的知乎網友使用紐約證券交易所的公開資料對DolphinDB和kdb+進行了效能測試對比。感興趣的朋友可以檢視知乎文章《Kdb+有可能不再是最快的時序資料庫?》(https://zhuanlan.zhihu.com/p/41799930)。
根據網友的測試結果顯示,
2. 在網友測試的16種資料查詢和38種計算任務中,“在資料沒有分割槽的情況下,DolphinDB查詢的速度是kdb+的2.5倍;在資料分割槽的情況下,DolphinDB查詢的速度是kdb+的2倍”,“在其中的35種測試中,DolphinDB比kdb+表現得更出色。DolphinDB計算效能指標的中位數是kdb+的2.7倍。在包含NULL值的整數排序,移動最大值和移動平均值這些測試專案上,DolphinDB的的速度是kdb+的10倍以上 ”。
3.“左連線的時候,DolphindB稍微慢於kdb+,但在進行等值連線、asof join和視窗連線的情況下,DolphinDB比kdb+的速度明顯要快得多。對於左連線,kdb+的速度大約比DolphinDB快10%~30%,對於等值連線,DolphinDB的速度大約是kdb+的2~4倍,對於asof join,DolphinDB的速度大約是kdb+的4~8倍,對於在視窗連線中使用常用的聚合函式(min、max、first、last、avg、wavg),DolphinDB比kdb+快1個數量級”。
最後測評的結論是,“DolphinDB表現著實耀眼,大部分場景下都比kdb+要快,小部分場景與kdb+相差不大。”
個人印象:ScyllaDB和clickhouse在金融時序資料的處理上不如kdb+和dolphindb。
kdb+是一款效能極佳的時間序列資料庫。它是美國華爾街各大金融機構20多年來處理大規模資料的首選系統。它通常用於高頻交易,非常適用於高速儲存、分析、處理和檢索大型資料集。在存取和實時分析海量股票、外匯等高頻資料這個領域內,唯kdb+獨尊。kdb+還提供了專門的程式語言q語言,它天生具有處理大規模資料的能力。
DolphinDB作為新一代的高效能時間序列資料庫,與kdb+在程式語言和技術架構上有非常大的區別:
DolphinDB的程式語言與Python和SQL非常相似,非常簡單易學,而很多使用過kdb+的人都表示它的q語言極其晦澀難懂,學習曲線陡峭,難以掌握。2. 在技術架構上,DolphinDB採用了分散式檔案系統和分散式計算,可以透過增加叢集的物理伺服器來擴充套件分散式計算的速度。知乎上有篇《揭秘高效能DolphinDB》(https://zhuanlan.zhihu.com/p/40049521)詳細講解了DolphinDB架構。kdb+是為高效能計算機設計的,對伺服器的要求較高。它沒有叢集的概念,也就是說它無法在多個物理伺服器組成的分散式檔案系統上執行。
kdb+號稱是速度最快的時序資料庫,很多客戶和合作夥伴一直好奇DolphinDB與kdb+的效能對比。根據kdb+的license合規性要求,我們不提供官方的效能評測報告。最近有資料庫領域的知乎網友使用紐約證券交易所的公開資料對DolphinDB和kdb+進行了效能測試對比。感興趣的朋友可以檢視知乎文章《Kdb+有可能不再是最快的時序資料庫?》(https://zhuanlan.zhihu.com/p/41799930)。
根據網友的測試結果顯示,
在載入資料和儲存資料,“DolphinDB比kdb+要略勝一籌”。2. 在網友測試的16種資料查詢和38種計算任務中,“在資料沒有分割槽的情況下,DolphinDB查詢的速度是kdb+的2.5倍;在資料分割槽的情況下,DolphinDB查詢的速度是kdb+的2倍”,“在其中的35種測試中,DolphinDB比kdb+表現得更出色。DolphinDB計算效能指標的中位數是kdb+的2.7倍。在包含NULL值的整數排序,移動最大值和移動平均值這些測試專案上,DolphinDB的的速度是kdb+的10倍以上 ”。
3.“左連線的時候,DolphindB稍微慢於kdb+,但在進行等值連線、asof join和視窗連線的情況下,DolphinDB比kdb+的速度明顯要快得多。對於左連線,kdb+的速度大約比DolphinDB快10%~30%,對於等值連線,DolphinDB的速度大約是kdb+的2~4倍,對於asof join,DolphinDB的速度大約是kdb+的4~8倍,對於在視窗連線中使用常用的聚合函式(min、max、first、last、avg、wavg),DolphinDB比kdb+快1個數量級”。
最後測評的結論是,“DolphinDB表現著實耀眼,大部分場景下都比kdb+要快,小部分場景與kdb+相差不大。”