新IT浪潮中，實時的資料收集與基於資料的分析處理已經是大勢所趨。但在資料種類越來越多，產生速度越來越快，資料量越來越大的當下，許多企業正面臨技術與裝置的限制，實時資料處理的技術壁壘已浮出水面。總結來說，主要的困難在於：
1、資料量非常大；系統要求非常高，處理資料時，容不得絲毫故障甚至宕機，實時處理的系統要求也遠遠高於離線系統。
2、實時處理系統規模跟不上業務增長的需求；很多實時資料(比如金融的K線分析)需要專門的時序資料庫技術，而這些技術並不普及。
3、自行搭建開源元件，比如Kafka, Storm和Hbase，不是一件容易的事情，Hadoop開源元件的部署和運維都需要耗費大量的金錢和人力。
回覆列表
-
1 # 娛圖騰
一個簡單系統，用資料預測往往比較靠譜的。但是面對一個關聯性眾多的複雜系統。用資料來進行預測，精度大概是不足的。
當我面對建築工程這樣一個複雜多樣、涉及面眾多的社會活動時，我經常這樣感慨。
基於以上理由，目前我的功力僅僅能針對工作中很小的痛點下手，做一些基礎的量化統計工作。
目前我感興趣的方便如下：
1.資料展示
應用場景：專案投資彙報、結算稽核前後對比
解決問題：形象直觀的回答 投資的構成是什麼樣的？ 那塊因素對投資影響最大？ 審減了多少錢？ 哪塊審減最多？ 是什麼原因造成的審減？ 哪塊原因影響造價最大等問題
應用工具：POWERBI
2.質量控制
應用場景：對工程概算、攔標價、估算等檔案的指標控制檢驗
解決問題：避免同類工程，造價指標不合理的大幅波動，保證造價成果的質量
應用工具：EXCEL 箱型圖
3.快速報價
應用場景：裝置安裝工程風口、空調裝置等規格眾多、不易詢價的裝置
解決問題：利用已有價格資訊，利用線性函式構建函式關係，從而推測其他無報價規格裝置的合理價格，實現快速確定大量裝置預算價格
應用工具：EXCEL
4.以往工程資料資訊資料收集
應用場景：服務工程技術專案方案必選、日常資料資料積累
解決問題：為各類工程提供資料分析的基礎資料
應用工具：EXCEL