六年五輪融資，新發布雲平臺和一體機
調研 | 李喆 撰寫 | 施堯
五六年前如日中天的Hadoop生態，催生了大批的創業公司，資本市場也一擁而上，頗有顛覆傳統計算儲存廠商的態勢；時至今日，美國市場巨頭合併，股價下挫，中國市場資本熱潮消退，頭部企業開始推出自研雲平臺和硬體設施，自建生態。構建閉環商業模式成為新趨勢。
2018年10月Cloudera和Hortonworks以52億美元合併，意味著Hadoop向著統一的標準邁進了一大步。
但合併之後的Cloudera活的並不好，先是執行長離職，財報業績不及預期，然後今年6月股價暴跌超40%，時至今日雖然股價有所回升，市值達到25億美元，但距離去年10月合併時的52億美元依然是腰斬。
除此之外，宣佈新推出的核心產品CDP的形態還不確定，導致客戶不知道該在原版本上升級還是等待整合後的統一版本，嚴重影響了客戶體驗。
現任CEO Reilly在第一季度的財報電話會議上也提到，Cloudera現有客戶似乎都因為這個問題推遲了續費。
而對於新客戶，那就更不知道該選擇現有產品還是等待CDP釋出。
回到國內，Hadoop生態的基礎軟體提供商競爭也異常激烈，除了嶄露頭角的創業公司紅象雲騰、天雲大資料和星環科技，還有盤桓多年的傳統資料庫廠商人大金倉和南大通用。另外，一眾整合商巨頭如華為、浪潮和亞信等也開始跑馬圈地。
拓寬業務邊界，整合產品能力
成立於2013年的星環科技，以一站式大資料平臺TDH為切入點，之後每年均有新產品、元件釋出，包括2014年大規模試點部署的實時流計算引擎Slipstream，2015年釋出的資料探勘產品Discover，2016年釋出的超融合一體機和StreamSQL技術，2017年釋出的人工智慧產品Sophon和2018年釋出的雲產品TDC以及分散式快閃記憶體資料庫ArgoDB和分散式圖資料庫StellarDB。
產品不斷豐富的星環科技，在業務擴張的背後有清晰的邏輯支撐，一直沿襲著商業和技術兩條線的核心目標邁進。
商業上的核心目標，是將業務邊界拓寬，通過構建一個包含計算、儲存、資料和應用一站式服務的商業私有云平臺，把IT所需要的基礎設施、中介軟體和PaaS平臺全都一站式解決，必要時候也承接應用的開發。這樣能更好地服務客戶的擴容需求，同時最大化業務收益。
技術上的核心目標，是融合容器雲、大資料和深度學習的能力，通過在儲存引擎上面增加深度學習演算法，將深度學習引擎和儲存引擎融合，可以更好地處理實時資料和非結構化資料，讓原本應用範圍較窄的深度學習通用化發展。
整個產品架構分為三層。
底層TCOS是容器雲平臺，所有產品實現容器化部署，提高了部署和交付的效率；
中間層是星環科技的七大產品，劃分為五個產品集，包括實時流計算引擎，分析型資料庫，操作型資料庫，知識庫和資料科學平臺；每個產品集內包含1～2個產品；
上層是各類工具，幫助客戶更好地使用七大產品。
伴隨著產品更新，星環科技的客戶群體也不斷擴張，目前已覆蓋金融、政府、能源、交通、教育、製造業、運營商、傳媒等十多個行業，知名客戶包括財政部、國家郵政局、國家商標局、中證監測、中央國債登記結算有限公司、中國期貨市場監控中心、中國人民銀行、中國進出口銀行、國泰君安、招商證券、易方達基金、上海大資料中心、廣東省高階人民法院、中國郵政、中國石油、廣州供電局等。
發揮各條線優勢，實現ABC全面融合
常見的產品擴張策略可以簡單分為聚焦業務線的縱向深入和開拓業務範圍的橫向擴張。經過多年大資料業務積累，釋出了單獨的人工智慧產品線，和容器化的底層部署平臺後，星環科技開始橫向擴張產品線，推出了新一代智慧大資料雲平臺TDC。
TDC主要提供三個核心模組，分別是DB-PaaS、ApplicationPaaS和Analytic PaaS，以此有效的融合資料、應用和智慧。
資料融合方面，TDC已提供幾乎所有的資料庫品類，包括分析型資料庫Inceptor、快閃記憶體資料庫ArgoDB、實時計算引擎Slipstream、交易資料庫KunDB和NoSQL類資料庫，NoSQL資料庫覆蓋圖儲存、Bigtable和文字搜尋等應用，所有的資料庫都採用分散式技術來實現，並大規模在生產落地，能提供目前市面上最完備的DB-PaaS能力。
應用構建方面，TDC提供提供齊全的PaaS能力，包括Spring Cloud、go、NodeJS、python、java、PHP在內的標準化的應用開發框架，幫助研發團隊更快的開發和運維微服務，企業則可以將通過TDC來建設DevOps流程。
智慧分析方面，TDC的分析平臺提供了Transwarp Studio工具集，其中包含資料開發IDE、資料任務排程、資料同步與ETL、OLAP Cube建模在內的圖形化開發工具，可以大幅提高大資料開發效率。也提供了資料資產管理和視覺化分析工具，配合跨租戶的資料交換和共享，能夠加速資料工作者之間的協同創新；智慧建模方面，TDC平臺提供了Sophon，可用於端到端的資料建模，其中Sophon NLP、知識圖譜、視訊分析等模組可以更加直接的給應用提供智慧的推動力。
去Hadoop化，自研新框架適應新一代技術環境
星環科技的創始團隊來自研發國內首個Hadoop發行版的技術團隊。
2013年，孫元浩帶領原Hadoop發行版的核心團隊，創立了星環科技。
創業初期，他們選擇Hadoop作為產品研發的基礎框架，除了團隊的經驗積累外，一方面是技術落地快，另一方面是能借助開源專案已有的品牌和生態解決自身冷啟動問題。
但隨著星環科技的產品和業務不斷髮展，Hadoop在技術和商業方面的侷限性慢慢凸顯出來。
技術方面，Hadoop作為基礎框架，其設計需要結合硬體情況，而Hadoop誕生的年代是低速硬碟，低速網路時代，現在的硬體是高速網路、高速的快閃記憶體盤，因此在未來幾年之中伺服器的硬碟就會被全部撤掉，也就是說Hadoop不適應新的硬體了。
當然，選擇打補丁的方式，對框架修修補補也可以用，但是在技術快速變化的今天，這樣的方式很被動。
商業方面，Hadoop是開源軟體，一方面基於Hadoop生態的競爭者眾多，除了專注於大資料平臺的競爭對手外，不乏華為、阿里等基礎雲平臺廠商，長遠來看不利於發展；另一方面國內客戶對開源產品的商業模式認可度低，並且無法判斷基於開源技術開發的產品有何差異。
而星環科技的創始團隊技術基因濃厚，本身就擅長研發，還具有豐富的框架設計和開發經驗，慎重考慮後，選擇了完全脫離Hadoop框架，重新設計研發自己的大資料處理框架。
自研框架發展，生態建設是關鍵
作為平臺型軟體提供商，星環科技脫離Hadoop的決定不僅意味著要面對研發難題，同樣重要的問題是生態建設如何進行。
關於此，星環科技創始團隊的邏輯很清晰，主要考慮了市場份額，研發能力，實時策略和未來客戶遷移幾個方面。
首先星環科技在金融、政府等領域的市場份額均超過60%，團隊優秀的技術和產品能真正解決客戶問題，自身具有良好的口碑。
其次，由於團隊的勤勉以及對生態的專注，星環科技的軟體更新速度比Hadoop快2年左右，總能贏得客戶的青睞。
而關於新生態落地的具體實施，星環科技認為，必須要有標準的接口才能形成生態，因此一方面大力度投資API開發，另一方面在籌備使用標準語言的全新產品，未來客戶將基於星環科技自研的計算機語言使用該產品。另外還為合作伙伴提供基礎工具，加快生態應用的產出效率。
除此外，轉型後的客戶遷移問題星環科技也早有準備。對於原先在星環科技平臺上使用Hadoop的客戶，星環科技自研的新平臺有統一的SQL介面，如果客戶使用的是Hive，可以直接遷移；而如果使用的是Spark的API則會有一些繁瑣，但目前來看，使用Spark的客戶很少。
產品線三大變化，打造閉源商業生態
孫元浩：TDH今年5月份釋出了6.0版本，其中一個比較大的變化是我們底層全部容器化了。用容器編排系統來做資源排程，可以彈性的建立和銷燬大資料平臺資源，我們稱作微服務架構。
到了6.0版本，我們在產品線上做了很多調整，獨立出新的產品線。主要產生了三個大的變化。
第一個變化是我們新推出了資料庫產品，分散式快閃記憶體資料庫ArgoDB。它的底層儲存引擎是用C++重新開發的，可以充分發揮快閃記憶體的效率，而且跑在硬碟上效率也不錯。還推出了全新開發的分散式圖資料庫StellarDB和交易性資料庫KunDB。
以前我們使用開源版本的資料庫，但是發現擴充套件性都不太好。而且要麼就只能做統計分析，要麼就只能做查詢，不能兩者兼顧，所以我們重新開發了一套自己的圖資料庫產品StellarDB。
過去三年多的時間中，我們先將計算引擎改造成自己的，然後不停的改造我們的儲存引擎，最後在去年的新產品中釋出。加上我們之前開發的五個產品，八個工具，意味著我們分析資料庫的系列產品全部由自己打造。
這樣一來就兼顧資料倉庫、資料集市、資料湖、應用場景，使之成為一站式的，不再需要由多個混合架構來組成了。這是資料庫上面一個大的變化，做了一個改造和重構的過程。
第二個大的變化是我們把機器學習相關產品給分離出來，做了一個獨立的產品線，形成一個機器學習的建模平臺，而這上面又演變出了四個子產品，
現在星環科技人工智慧也是一個大平臺，對應有四種不同的引擎，包括統計、機器學習、深度學習還有圖的分析引擎，在上面就提供了一個互動式的建模工具。
第三個大的變化是17年實現的容器化產品，變成了私有云產品，將應用、資料、模型統一化，可以提供IT所需要的基礎設施、中介軟體、PaaS平臺包括應用hosting。
技術上大資料、容器雲和深度學習在互相融合，在技術融合的過程中，星環科技就已經抓住了這樣的趨勢，我們的技術判斷還是很準確的，也可以看到包括國外的廠商也在跟隨星環科技的技術發展做產品和策略的變化。
業務上的變化就是拓展了一些新行業，金融、政府、能源、交通、製造、教育這些行業都有覆蓋到，覆蓋將近20個行業。
孫元浩：我們其實並不是為了去Hadoop而去做，是因為我們發現Hadoop的技術發展已經觸頂了。Hadoop這個技術有很大的侷限性，它是為上一代硬體設計的，那時候是低速硬碟，低速網路，但現在的硬體是高速網路、高速的快閃記憶體盤，伺服器在未來兩年內會把硬碟淘汰，就是說Hadoop不適應新的硬體了。
而且Hadoop的設計理念是用來做網際網路公司的資料倉庫營銷系統，一次寫入多次讀取的設計理念，但是很多行業，會進行資料修改，需要保持資料一致性。在Hadoop上進行修補會增加很多人力和時間成本。
星環科技做技術重構的驅動力，還是順應技術的演進，提供最好的產品服務客戶，才是我們做重構的核心原因。恰逢行業和大環境的趨勢，其實是星環科技緊抓技術演進的連鎖效應。
孫元浩：首先我們目前在部分細分市場佔有的市場份額已經接近百分之七八十了，客戶數量多的能達到幾百個，這慢慢形成了一種氛圍，就是客戶已經不關心品牌是星環還是Hadoop；
然後客戶真正關心的，其實是產品能否解決客戶的問題；我們有自己獨樹一幟的技術路線，在技術不斷演變的過程中，持續推出新的功能，創新速度和cloudera相比領先兩年以上，有明顯的優勢。
因此客戶對我們是比較認可的。這反過來又影響著我們星環的品牌，促成了良好的客戶氛圍；兩者相輔相成，互相促進。
當然了，不排除有少量客戶，總覺得美國的商品肯定比中國好，美國技術肯定比中國領先，看到我們領先的技術和產品，剛開始會質疑星環科技的技術路線，但隨著cloudera多次宣佈他要實現星環科技已經實現的功能的時候，客戶就慢慢相信了，我們的技術確實是領先的。
孫元浩：我們的介面都是標準SQL介面，是互相相容的。客戶如果使用Hive的話，基本上可以無縫遷移，但使用API，比如Spark的API的話，相對來說會比較複雜，但技術上已經完全不是問題。
孫元浩：生態的衡量標準不在乎是開源還是閉源，而是產品介面是否足夠靈活強大，能解決客戶的問題。最初我們就倡導，大家不應該關注底層API,應該在平臺上提供統一的程式語言，掩蓋底層的實現細節。
目前我們的大資料平臺提供SQL、R和Python三種語言，使用者和生態夥伴就不必關心底層使用哪種引擎實現，就可以極大程度的降低開發成本。
這個理念目前已經被大部分大資料廠商接受了，現在大部分產品都提供SQL介面，包括圖、搜尋引擎和分析型資料庫、流處理都提供SQL介面，這是大勢所趨。
所以我們認為提供標準介面才是容易形成生態的。
反觀今天Hadoop上面的應用廠商，換了一批又一批；應用還是很簡單，豐富度也不高，這說明它的生態發展其實沒那麼好。
星環科技的理念是全系列產品支援各種語言，對使用者而言不需要學習新東西，立刻就能開發，極大降低了使用者的使用門檻；這樣就容易形成穩固的生態，。
另一方面隨著我們平臺上的應用越來越豐富，效果越來越好，就能吸引其他的供應商往我們這邊轉。
比如我們做數倉、集市，做風控，做複雜的深度學習應用，包括圖分析的應用，很快就能形成示範效應，大家會發現開源下無法實現的，星環科技的產品可以實現。這種示範作用其實更利於形成生態彙集。
專注容器雲和資料服務，積極拓展業務邊界
孫元浩：容器編排系統以及再往上一層，包括排程框架、儲存引擎、網路機制都是我們做的。
14年我們就開始做容器化，當年CCF的會議上我們就公開提出，我們希望藉助容器化進行排程，當時還有很多技術路線，大家都還在猶豫，所以星環科技做容器化部署，是比絕大多數公司都早的。
孫元浩：國內很多公司可能用Mesos、Docker，慢慢再過渡到Kubernetes，我們是國內比較早期在Kubernetes做改造的公司，把CPU排程、網路和儲存都做了改造。
星環科技是唯一的一家能夠在Kubernetes上面提供大資料的廠商，因為要對Kubernetes和Hadoop進行大量改造，需要有技術眼光和研發能力，國外也有些巨頭公司專門成立小組進行，但至今都沒有實現。
孫元浩： 星環科技現在依然專注在企業級容器雲端計算、大資料、人工智慧核心平臺的產品研發，希望成為全球領先的基礎軟體供應商，向Oracle和SAP學習。
孫元浩：星環科技已經推出了我們的TP產品KunDB。
我認為目前可行的切入點有兩個，第一個是資訊保安、自主可控的方向；第二個是雲上提供彈性TP服務，隨著私有云的部署和公有云的普及，會是一個剛需。
資料量不斷增大，客戶需求不斷變化
孫元浩：有一些場景是需要實時性支援的，比如實時交易監測，是市場行情的交易情況，往往需要在秒級立刻作出分析並且同步到後臺，後臺立刻計算風險模型，選擇是否作出預警。
這個需求不光是流處理，還要做複雜分析，模型很複雜。我們在流的產品上提供微積分功能，就是可以應對這樣的需求。
孫元浩：它的核心就是要對計算引擎做改造的，這裡分成兩部分。
一部分中間要插個流處理引擎，這個流處理引擎上面肯定要做到幾毫秒延時的話，它需要事件驅動的。但是它這個程式設計模型又非常複雜，比如說求解微分方程，做機器學習，甚至重組過程，控制流，要有SQL統計，這塊要做的非常快。
過去認為這點做不到，因為做實時處理的話，要麼是事件驅動的，規則很簡單，要麼就是把事件流按時間切片，如果每個時間切片上做的比較快的話，等效於是實時流處理。
當時大家認為這兩者是不可調和的矛盾，星環科技在2016年實現這點的時候，引起了行業的震動，實際上它是要對引擎做徹底的重構，後續也有國外廠家在2018年推出了同類產品。
孫元浩：目前來說，首先增量需求主要來自於資料量和計算資源的需求，資料量增大之後，基礎平臺需要不斷擴充套件，客戶在其上的應用較多的有五六十種甚至上百種應用了。
比如我們有一個大客戶，他在平臺上跑批處理流程有超過一萬個，結果計算量大增，這是主要需求。新的需求主要是資料分析，圖分析等。
實時處理也是一個主要的驅動力，主要來自於兩方面，一個是金融機構需要做實時決策，另一個是由於5G的推動，物聯網的需求多了起來，感測器的資料一直是要求實時性。
總的來說，資料量和計算需求的增長，實時性需求增加，複雜分析的需求增加，都是造成底層需求增大的因素。
國內市場競爭激烈，國外廠商發展遇瓶頸
孫元浩：今年還是相對比較激烈，我認為還會持續1-2年的時間。
從美國市場的情況看，由於通用型產品的高產品品質和高研發門檻的要求，底層廠商的市場在發生收縮。
一方面，是Cloudera和Hortonworks的合併，將給價格戰帶來一個終結；另一方面，是大玩家的退出，IBM轉去使用Cloudera或者Hortonworks產品。
因此，美國市場今年基本完成了市場的整合，而據經驗判斷，國內環境通常會延遲一兩年於美國市場，目前，技術路線上的廠家已經為數不多了，正在向整合的方向演化。
孫元浩：這個問題要從兩個角度來看。一方面，從客戶的角度來看，合併未必是一件好事，因為壟斷程度的上升的必然帶來提價，因此，客戶會付出更高的採購成本。
另一方面，從供應商的角度來看，也許是一件好事，它代表著市場逐漸迴歸進入良性的競爭。因為兩家合併以後必然會一定程度上結束前面的惡性競爭，進入一個市場收割的階段。
就像早年的資料庫市場一樣，由最初幾十家經過一段時間的市場競爭最後只剩下幾家，所以，從這個角度上講，我認為這種合併可能是市場走向良性迴圈的一個起點。
孫元浩：首先，Cloudera和Hortonworks的這個模式是非常好的模式，訂閱的、高度產品化的模式帶來的是可複製化和客觀的維保收入。
這一點我們從Elasticsearch和MongoDB在資本市場的高估值就能看出，他們同樣是大資料中的一環，並且擁有很高的產品化程度和續購率。
我個人認為，Cloudera和Hortonworks的發展瓶頸大致可以歸結為兩點。
一方面，它們的產品化程度不高，重諮詢的商業模式，導致實施成本過高，然而如果產品化程度提升的話，服務費收入又會下降，這是這類商業模式的一個兩難境地。另外，由於創新能力的缺乏，它們的上層應用不夠豐富，也是產品層面的一個制約因素。
總之，雖然營收狀況良好，但較低的產品化程度制約了它們的成本下降空間，造成了他們的虧損。
另一方面，是市場的惡性競爭，Cloudera和Hortonworks將技術開源以後，很多大型公有云廠商或類似IBM、HP之類大廠都在基於免費版本開發產品在銷售，一定程度上侵蝕了他們的利潤。
因此，Cloudera和Hortonworks合併以後，新的訂約協議和軟體發行模式已經於9月開始執行，它們的收入和利潤隨之自然會上升。
孫元浩：主要原因是技術的成熟和使用者接受度的提升，簡而言之，客戶通過一段時間的使用已經逐漸認識到它的價值，因此加大了投入。
任何技術產品的落地都會經歷一個小規模試用到大規模推廣的過程，那我們為例，我們早期的客戶可以只買6個節點，規模很小，但當他們經過嘗試性使用，認識到應用場景廣度及使用價值之後，逐漸就把它作為全企業的一個統一平臺，通常都在千萬級以上。