用Hadoop構建的現代金融服務架構
任何金融服務業務都關注風險最小化和機會最大化。銀行衡量開戶的風險與持有存款的機會。保險公司平衡支付索賠的風險和獲得保費的機會。投資公司追求長期投資組合升值,知道有些證券會失去價值。
所有這些業務都存在監管風險,並且始終存在內部風險。少數流氓個人如果不注意他們的惡意活動,可能會造成非常大的損失。
在Apache Hadoop中儲存和處理大量資料的銀行,保險公司和證券公司可以更好地瞭解其風險和機遇。更深入的分析和洞察力可以提高運營利潤率並防範可能造成災難性損失的一次性事件。
以下參考架構圖代表了我們看到我們的金融客戶在其銀行,保險和投資業務中採用的方法的組合。
以下是一些用例,描述了金融服務公司使用Apache Hadoop為客戶和股東創造更多收益的具體方式。
大型零售銀行每天都會為數千個新的支票和儲蓄賬戶提交申請。接受這些申請的銀行在開立賬戶前請諮詢第三方風險評分服務。他們可以(並且確實)覆蓋對銀行業歷史不佳的申請人的拒絕開放建議。
由於管理不善或欺詐行為導致許多高風險賬戶透支和沖銷,導致銀行損失數百萬美元(其中一些成本轉嫁給負責管理賬戶的客戶)。
Apache Hadoop可以儲存和分析多個數據流,並幫助區域銀行經理控制分支機構的新賬戶風險。他們可以將銀行家決策與決策時提供的風險資訊相匹配。這使他們能夠透過制裁個人,更新政策和識別欺詐模式來控制風險。
隨著時間的推移,累積的資料會提示演算法,這些演算法可能會檢測到銀行風險分析師未曾看到的微妙,高風險的行為模式。
銀行擁有大量的運營,交易和平衡資料,掌握有關宏觀經濟趨勢的資訊。這些資訊對銀行以外的投資者和決策者很有價值,但法規和內部政策要求這些用途嚴格保護銀行客戶的匿名性。
零售銀行已經將Apache Hadoop作為一個常見的跨公司資料湖,用於獲取來自不同LOB的資料:抵押貸款,消費者銀行業務,個人信貸,批發和國庫銀行業務。二級市場的內部管理人員和消費者都從資料中獲得價值。資料管理的單點允許銀行實施安全和隱私措施,例如解除身份識別,掩蔽,加密和使用者身份驗證。
傳統的汽車保險試圖為他們的歷史駕駛記錄區分和獎勵“安全”駕駛員 - 事故和交通違規已經(或尚未)發生。
更新的基於使用量的保險(也稱為“隨您推動支付”,或PAYD)試圖根據保單持有人的實際駕駛情況,將保費與經驗性風險保持一致。
更安全的司機支付更少,因為保險公司實際上知道他們如何駕駛。由於保單持有人知道這一點,PAYD保險促進了良性迴圈,提高了整體安全性,並降低了因道路上承擔更多風險的司機的道德風險,因為他們知道他們已被覆蓋。
GPS和遙測技術的進步降低了捕獲用於對PAYD政策進行定價的駕駛資料的成本,但車輛資料流的增長速度非常快,並且需要儲存以進行分析。
一家大型保險公司將其PAYD資料儲存在RDBMS平臺上,但儲存成本太高,因此該公司僅保留了25%的可用資料。處理該資料子集需要一個工作周。
在採用HDP後,該公司保留了100%保單持有人的PAYD地理位置資料和流程,使資料流在三天或更短的時間內翻了兩番。更多資料。更快的處理。Hadoop的。
一家Hortonworks的客戶是一家全球財產和意外保險公司,已經有系統可以大規模分析結構化資料。結構不完善的索賠說明或社交媒體分析被用於索賠索賠的基礎上,但不容易擴充套件。將所有文字或社會資料與所有結構化資料相結合在經濟上不可行。
Apache Hadoop改變了這一點。這是一個“讀取模式”系統,允許攝取更廣泛的資料型別。以前分散的資料混淆現在在資料湖中統一起來,對實際風險進行更清晰和全面的描述。
由於HDP和Hortonworks合作伙伴SAS,Tableau和QlikView之間的緊密整合,這個深厚的資料庫仍然可以使用現有的商業智慧工具和員工技能進行分析。
Ticker工廠收集並處理大量資料流,為交易員顯示價格併為計算機化交易系統提供足夠的速度以在幾秒鐘內捕獲機會。這對於做出實時決策非常有用,並且還可以儲存多年曆史市場資料,以便對市場趨勢進行長期分析。
一家Hortonworks客戶重新設計了以HDP為基石的自動收費工廠。在Hadoop之前,股票工廠無法持有超過十年的交易資料。現在每天都有數千兆位元組的資料從數千個伺服器日誌源中流入。這些資料每秒查詢超過三萬次,Apache HBase支援符合客戶SLA目標的超快速查詢。所有這些,以及超過十年的保留期限。
另一家提供投資服務的Hortonworks客戶每天處理1500萬筆交易和30萬筆交易。由於儲存限制,該公司用於存檔歷史交易資料,這限制了資料的可用性。在短期內,每天的交易資料直到業務結束後才能用於風險分析。這創造了一個時間視窗,帶有不可接受的洗錢或流氓交易風險。
現在,Hortonworks資料平臺加速了公司的分析速度,並延長了資料儲存時間。跨多個LOB的共享資料儲存庫為所有交易活動提供更多可見性。交易風險組訪問這個共享資料湖以處理更多的頭寸,執行和平衡資料。他們可以對當前工作日的資料進行分析,並且至少可以使用五年 - 比以前長得多。
用Hadoop構建的現代金融服務架構
這是我們關於跨垂直行業的現代資料架構系列中的第七個。系列中的其他人是:採用Hadoop構建的現代醫療保健體系結構採用Hadoop構建的現代製造架構採用Hadoop構建的現代電信架構採用Hadoop構建的現代零售架構用Hadoop構建的現代廣告架構採用Hadoop構建的現代石油和天然氣體系結構任何金融服務業務都關注風險最小化和機會最大化。銀行衡量開戶的風險與持有存款的機會。保險公司平衡支付索賠的風險和獲得保費的機會。投資公司追求長期投資組合升值,知道有些證券會失去價值。
所有這些業務都存在監管風險,並且始終存在內部風險。少數流氓個人如果不注意他們的惡意活動,可能會造成非常大的損失。
在Apache Hadoop中儲存和處理大量資料的銀行,保險公司和證券公司可以更好地瞭解其風險和機遇。更深入的分析和洞察力可以提高運營利潤率並防範可能造成災難性損失的一次性事件。
金融公司在做Hadoop。以下參考架構圖代表了我們看到我們的金融客戶在其銀行,保險和投資業務中採用的方法的組合。
以下是一些用例,描述了金融服務公司使用Apache Hadoop為客戶和股東創造更多收益的具體方式。
篩選新帳戶應用程式以防止違約風險大型零售銀行每天都會為數千個新的支票和儲蓄賬戶提交申請。接受這些申請的銀行在開立賬戶前請諮詢第三方風險評分服務。他們可以(並且確實)覆蓋對銀行業歷史不佳的申請人的拒絕開放建議。
由於管理不善或欺詐行為導致許多高風險賬戶透支和沖銷,導致銀行損失數百萬美元(其中一些成本轉嫁給負責管理賬戶的客戶)。
Apache Hadoop可以儲存和分析多個數據流,並幫助區域銀行經理控制分支機構的新賬戶風險。他們可以將銀行家決策與決策時提供的風險資訊相匹配。這使他們能夠透過制裁個人,更新政策和識別欺詐模式來控制風險。
隨著時間的推移,累積的資料會提示演算法,這些演算法可能會檢測到銀行風險分析師未曾看到的微妙,高風險的行為模式。
二級市場匿名銀行資料貨幣化銀行擁有大量的運營,交易和平衡資料,掌握有關宏觀經濟趨勢的資訊。這些資訊對銀行以外的投資者和決策者很有價值,但法規和內部政策要求這些用途嚴格保護銀行客戶的匿名性。
零售銀行已經將Apache Hadoop作為一個常見的跨公司資料湖,用於獲取來自不同LOB的資料:抵押貸款,消費者銀行業務,個人信貸,批發和國庫銀行業務。二級市場的內部管理人員和消費者都從資料中獲得價值。資料管理的單點允許銀行實施安全和隱私措施,例如解除身份識別,掩蔽,加密和使用者身份驗證。
提高基於使用的汽車保險的承保效率傳統的汽車保險試圖為他們的歷史駕駛記錄區分和獎勵“安全”駕駛員 - 事故和交通違規已經(或尚未)發生。
更新的基於使用量的保險(也稱為“隨您推動支付”,或PAYD)試圖根據保單持有人的實際駕駛情況,將保費與經驗性風險保持一致。
更安全的司機支付更少,因為保險公司實際上知道他們如何駕駛。由於保單持有人知道這一點,PAYD保險促進了良性迴圈,提高了整體安全性,並降低了因道路上承擔更多風險的司機的道德風險,因為他們知道他們已被覆蓋。
GPS和遙測技術的進步降低了捕獲用於對PAYD政策進行定價的駕駛資料的成本,但車輛資料流的增長速度非常快,並且需要儲存以進行分析。
一家大型保險公司將其PAYD資料儲存在RDBMS平臺上,但儲存成本太高,因此該公司僅保留了25%的可用資料。處理該資料子集需要一個工作周。
在採用HDP後,該公司保留了100%保單持有人的PAYD地理位置資料和流程,使資料流在三天或更短的時間內翻了兩番。更多資料。更快的處理。Hadoop的。
用共享資料湖分析保險索賠一家Hortonworks的客戶是一家全球財產和意外保險公司,已經有系統可以大規模分析結構化資料。結構不完善的索賠說明或社交媒體分析被用於索賠索賠的基礎上,但不容易擴充套件。將所有文字或社會資料與所有結構化資料相結合在經濟上不可行。
Apache Hadoop改變了這一點。這是一個“讀取模式”系統,允許攝取更廣泛的資料型別。以前分散的資料混淆現在在資料湖中統一起來,對實際風險進行更清晰和全面的描述。
由於HDP和Hortonworks合作伙伴SAS,Tableau和QlikView之間的緊密整合,這個深厚的資料庫仍然可以使用現有的商業智慧工具和員工技能進行分析。
使用HADOOP“TICKER工廠”維護SUB-SECOND SLATicker工廠收集並處理大量資料流,為交易員顯示價格併為計算機化交易系統提供足夠的速度以在幾秒鐘內捕獲機會。這對於做出實時決策非常有用,並且還可以儲存多年曆史市場資料,以便對市場趨勢進行長期分析。
一家Hortonworks客戶重新設計了以HDP為基石的自動收費工廠。在Hadoop之前,股票工廠無法持有超過十年的交易資料。現在每天都有數千兆位元組的資料從數千個伺服器日誌源中流入。這些資料每秒查詢超過三萬次,Apache HBase支援符合客戶SLA目標的超快速查詢。所有這些,以及超過十年的保留期限。
監視反洗錢分析的交易日誌另一家提供投資服務的Hortonworks客戶每天處理1500萬筆交易和30萬筆交易。由於儲存限制,該公司用於存檔歷史交易資料,這限制了資料的可用性。在短期內,每天的交易資料直到業務結束後才能用於風險分析。這創造了一個時間視窗,帶有不可接受的洗錢或流氓交易風險。
現在,Hortonworks資料平臺加速了公司的分析速度,並延長了資料儲存時間。跨多個LOB的共享資料儲存庫為所有交易活動提供更多可見性。交易風險組訪問這個共享資料湖以處理更多的頭寸,執行和平衡資料。他們可以對當前工作日的資料進行分析,並且至少可以使用五年 - 比以前長得多。