我們知道，有了合適的技術，我們可以做得比僅僅跟上更新要好得多，並且如果我們還可以確保靈活的開發並能更輕鬆地保護我們的資料，在需要時訪問，處理和分析資料的過程，那麼我們會做得更好。藉助正確的工具和最佳實踐，組織可以使用其所有資料，使更多的使用者可以訪問它，並推動做出更好的業務決策。

新技術的創新可以改善可用性，簡單性，成本和效能方面的現代基於雲的資料湖，資料倉庫和分析能力，這些能力應能夠獨立擴充套件計算和儲存，從而滿足當前和未來的需求。它不應干擾任何正在進行的工作負載，降低效能或由於後臺執行備份程序而導致服務不可用。而且它應該便宜，可以透過巧妙的方式來儲存我們的資料，而不必將其複製和移動到其他地方。

現代資料湖是現代企業的基礎。如果設定正確，則資料湖將吸引人們自然而然地將想法吸引到那裡，並在確保系統的耐用性，靈活性和可用性方面獲得有用的見解。

技術是任何現代資料湖的最基本需求-如今，如今，諸如Databricks，Microsoft Azure，AWS雲之類的許多技術正在提供許多服務來支援大資料，這既是實現強大洞察力的特定方法，也是一種思想。更快，更好的決策，甚至跨多個行業的業務轉型。

資料湖的支柱包括可擴充套件和持久的資料儲存，收集和組織資料的機制以及處理和分析資料以及共享發現的工具。因此，我們專注於任何現代資料湖中應包含的關鍵技術，以支援大資料意味著任何型別的資料。

雲具有無限的資源-基於雲的服務特別適合資料湖，因為它為我們提供了無限的資源，這意味著雲基礎架構可在幾分鐘或幾秒鐘內按需提供幾乎無限的資源，而無需擔心任何事情。組織只需為使用的資源付費，從而可以在不影響效能的情況下動態支援任何規模的使用者和工作負載。節省資金，專注於資料的雲技術—基於雲的服務可為任何組織提供雲構建的解決方案，從而避免了硬體，軟體和其他基礎架構的昂貴，前期投資以及維護，更新和保護的成本本地系統。雲技術附帶了自然整合點：據估計，您要分析的資料中有多達80％來自業務應用程式資料，運營資料儲存，點選流資料，社交媒體平臺，物聯網事物和實時流資料。與構建內部資料中心相比，將這些資料整合到雲中要容易得多，而且成本更低。使用noSQL內建-它描述了一種技術，該技術可以儲存和分析更新形式的資料，例如從計算機和社交媒體生成的資料，以豐富和擴充套件組織的資料分析。眾所周知，傳統的資料倉庫無法很好地容納這些資料型別。因此，近年來出現了更新的系統來處理這些半結構化和非結構化資料形式，例如JSON，Avro和XML。支援現有技能和專業知識-Data Lake支援有效儲存和處理任何型別的資料，資料管理，資料轉換，整合，視覺化，商業智慧和分析工具所需的功能，可以輕鬆地與SQL資料倉庫進行通訊。標準SQL根深蒂固的角色也意味著大量人具有SQL技能。它使其他程式語言能夠提取和分析資料。

應該清楚地認識到雲在成本，規模，效能，易用性和安全性方面的內在優勢，因為它們對整體資料湖計劃和成果的影響。彈性雲資料湖具有兩個主要優勢：1.容量規劃和管理的複雜性和成本–系統的規模，平衡和調整系統應內置於系統中，並由其自動化，並由我們的訂購成本承擔。 2.快速動態配置儲存和計算資源以滿足高峰和穩定使用期間不斷變化的工作負載的需求也是如此。容量是我們在需要時所需的一切。

選擇最佳的基於雲的資料湖生態系統-理想的雲資料湖解決方案兼具兩全其美的能力-靈活地整合關係和非關係資料以及識別服務，從而為企業和企業使用者提供所需的架構方法並切實可行，資料科學家也是如此。最好的基於雲的資料湖生態系統產品完美地說明了這些要點。這些包括：

儲存— Data Lake儲存必須能夠容納大量結構化，半結構化和非結構化資料。儘管Hadoop的HDFS可以支援，但基於雲的物件儲存可能是更好的選擇，不僅可以在節點之間分佈資料冗餘。AWS提供了用於可靠，安全且可擴充套件的物件儲存的Amazon Simple Storage Service（S3）和Amazon Glacier，後者具有相似的特性，可以以最低的管理開銷實現極低成本的長期歸檔和備份。計算—在資料湖中，您可以透過使用不同的計算資源輕鬆地應用不同的分析演算法。例如，流分析將需要高吞吐量，而批處理可能會佔用大量處理器。Apache Spark可能需要大量記憶體，而AI在GPU上可能效果最好。與其他雲提供商以及本地Hadoop相比，基於雲的理想資料湖服務具有顯著的靈活性，後者將儲存直接繫結到每個節點中的計算。分析—資料湖的美德在於它如何針對許多不同的用例，以多種不同的方式分析同一資料。理想的基於雲的資料湖生態系統無需將資料遷移到不同的操作環境，也不需要隨之而來的開銷，成本，工作量或延遲。資料庫-並非所有的資料湖資料都是非結構化的。通常，在事務和分析處理方面擁有更緊密的組織是很有意義的。同樣，這提供了滿足許多資料湖應用程式需求的多功能性。實時流處理-並非所有資料都簡單地儲存在資料湖中並在以後進行分析。通常，需要收集，儲存，處理甚至分析運動中的實時資料。一個理想的基於雲的資料湖生態系統，可提供強大的服務來收集，儲存和分析流資料，並能夠構建滿足特殊需求的自定義流資料應用程式。人工智慧-這是任何理想的基於雲的資料湖生態系統中最有用的功能。人工智慧和機器學習越來越成為構建智慧應用程式的流行工具，例如預測分析和深度學習。安全服務-如圖所示，安全，隱私和治理是將敏感資料信任到雲資料湖的基本要素。資料管理服務-由於資料在不同的平臺中使用，因此ETL是一項重要功能，可確保正確地移動和理解資料。理想的基於雲的資料湖生態系統必須具有ETL引擎，以輕鬆理解資料來源，準備資料並將其可靠地載入到資料儲存中。應用程式服務—儘管資料湖本身可以是無價的資源，但當與更高級別的應用程式整合時，它確實會變得活躍起來。理想的基於雲的資料湖生態系統具有功能全面的實用程式，可用於IoT用例，移動應用程式以及對其他任何物件的API呼叫。

資料湖的基本前提是對各種分析和麵向分析的應用程式和使用者具有適應性，並且所有其他企業需求都有安全性，訪問控制以及合規性框架和實用程式等服務滿足。

參考— Databricks，AWS，Microsoft Azure和Snowflake