首頁>技術>

生活中,你我一定都看到過這種「xx元爆改出租屋」,「爆改小汽車」之類的文章,做為IT人,折騰的勁頭一點也不差。

軟體開發過程中,你是否有時候,會拿著業務提供的一個個CSV或者JSON的資料檔案,寫個解析程式,把它們存到資料庫裡,再在自己的程式裡透過資料庫讀出來?

其實不用這麼麻煩,還繞了一個大圈。

今天,我們一起來「爆改」JSON/CSV這類檔案,把它們打造成 MySQL一樣的關係型資料庫,一套SQL查詢走天下。:-)

第一步:程式碼里加入Maven依賴
   <dependency>      <groupId>org.apache.calcite</groupId>      <artifactId>calcite-file</artifactId>      <version>1.21.0</version>    </dependency>

透過這一步,你大概就看出來,咱們今天的爆改,主要依賴 Calcite,這個Apache的頂級專案。

來張官網截圖感受下:

簡單介紹的話,它是個資料庫查詢和最佳化的引擎,不負責具體的儲存。

所以介紹里人家自己也說了,是你高效能資料庫的地基。許多的開源專案是基於它做的,比如大名鼎鼎的這些:

第二步:新增配置檔案

配置的JSON 檔案,一般是下面這樣子:

改造的配置檔案,就像行軍打仗的地圖一樣,來告訴我們往哪走,這裡的配置檔案,對應到關係型資料庫裡,就像是哪個庫,哪些表一樣。

{  "version": "1.0",  "defaultSchema": "SALES",  "schemas": [    {      "name": "SALES",      "type": "custom",      "factory": "org.apache.calcite.adapter.file.FileSchemaFactory",      "operand": {        "directory": "sales"      }    }  ]}

其中schemas 表示都有哪些資料庫, defaultSchema 當然是預設資料庫了。factory 表示當前的資料檔案,我們使用哪種Schema的形式進行解析。因為 Calcite 可以支援多種資料格式,透過這個圖你也能感受到幾分吧。

第三步:JDBC Style

透過 JDBC 的形式就能連線到我們自己的資料庫查詢了。程式碼和一般的JDBC類似,區別只在於連線URL的寫法上,需要將配置檔案的位置宣告一下。

public class Demo {    public static void main(String[] args) throws SQLException, ClassNotFoundException {        Class.forName("org.apache.calcite.jdbc.Driver");        Properties config = new Properties();        config.put("model", "./src/main/resources/model.json");        String sql = "select * from hello";        try (Connection con = DriverManager.getConnection("jdbc:calcite:", config)) {            try (Statement stmt = con.createStatement()) {                ResultSet rs = stmt.executeQuery(sql);                while (rs.next()) {                    System.out.println(rs.getString(2));                }            }        }    }}

其中SQL 語句,可以支援條件過濾,join 等所有的標準SQL。

整體專案結構如下:

PS: 忘了提一句,對於CSV檔案,第一行需要將各列列名和型別加上,表示資料庫表裡定義的列。

你說我很忙,不想囉哩囉嗦再寫個Java程式,辦法也還有。有個程式叫 sqlline,可以方便你在命令列裡執行,一個指令碼連線到對應的檔案資料庫之後,就開始你飛一般的SQL表演吧。

sqlline> !connect jdbc:calcite:model=src/main/resources/model.json admin admin

Have fun!

原文:https://my.oschina.net/u/4585957/blog/4875292

16
  • BSA-TRITC(10mg/ml) TRITC-BSA 牛血清白蛋白改性標記羅丹明
  • IT運維民工學習筆記1:JAVA Spring Boot