<form id="9xbzp"></form>

      <form id="9xbzp"></form>

      EN 加入我們

      免費下載

      請填寫以下信息獲取免費下載資源

      • 公司名稱

        *
      • 姓名

        *
      • 職務

        *
      • 電子郵箱

        *
      • 手機

        *
      • 驗證碼

        獲取驗證碼
      • 公司名稱

        *
      • 姓名

        *
      • 職務

        *
      • 電子郵箱

        *
      • 手機

        *
      • 驗證碼

        獲取驗證碼

      留言反饋

      請填寫以下信息反饋問題或建議

      • 公司名稱

        *
      • 姓名

        *
      • 職務

      • 電子郵箱

        *
      • 手機

        *
      • 反饋內容

      • 驗證碼

        獲取驗證碼

      零售行業數據湖建設項目

      深入挖掘數據湖價值,提供數據應用上一致的技術棧

      方案背景

      某品牌積累了海量的客戶數據。為了提供創新的個性化服務,需要以構建數據湖的形式為這些服務提供統一的數據平臺,并在此基礎上實現用戶畫像、行為分析等目的。

      為了深入的發揮出數據湖的豐富價值,同時確保該品牌在布局全球的數據應用上具有一致的技術棧,品牌方與華訊網絡合作,在亞馬遜云科技寧夏區構建數據湖,以替換其原先的數據湖方案。

      品牌原有的數據湖方案存在以下缺陷:

      * 計算實例類型單一,不利于成本優化。

      * 出于安全考慮,數據湖從global數據源獲取用戶數據受限。新數據湖需要提升數據存儲和處理的安全性,以獲得對接global數據的安全等級要求。

      * 缺乏易用的賬單分析和成本優化工具。

      * 運維復雜度高,亟需借助更全面的運維工具提升運維效率和質量。

      * 架構先進性有待提高,從而實現數據分析軟件開發/部署的容器化和微服務化需求,提升各類上層應用的交付敏捷性。

      * 無法與品牌在全球的數據湖技術棧對齊。無法為global數據開發團隊提供標準、熟悉的環境。

      * 大量使用通過開源軟件實現的自建服務組件,造成了較高的架構復雜度和運維難度。希望在新數據湖中逐步使用云原生的托管服務來替代自建服務組件,以降低運維成本。

      上述缺陷目前已經對該品牌的業務發展產生了限制,亟待在新的數據湖環境下得以解決。此外,品牌的技術團隊正在向DevOps和容器化方向做技術轉型,因此,希望在新數據湖的構建過程中充分考慮DevOps和容器化建設。


      方案描述

      華訊網絡按照亞馬遜公有云的架構設計原則,并考慮到和品牌方原本的技術棧的順利銜接,以EMR和S3為核心打造此次亞馬遜云上數據湖方案,并按照客戶所需的功能、性能、安全、監控、運維需求進行設計和實施。

      架構中,接入的數據主要來自于各大電商平臺,經由Internet到達一系列運行于EC2 Auto Scaling Group中的Apache開源數據處理組件進行前期處理后,存放到S3存儲桶中。此外,新接入了一部分來自于global數據湖的用戶數據,經由品牌方的內部網絡到達Glue進行處理后,也存放于S3存儲桶中。該S3中的數據可由Glue進行一系列ETL處理。

      保存后的各項原始數據由EMR負責處理,處理過程由EMR上運行的Spark和Flink針對批量數據和流數據分別進行,處理結果將分類存儲到S3、RDS和Redshift中。此外,存儲桶中的數據可以使用Athena進行查詢。品牌方要求的用于調度Spark數據處理任務的Airflow系統也被部署到EC2中。同時,各部門的數據分析師以及個性化應用的開發人員可按需(在其權限內)使用EMR獲得所需結果。

      通過上述過程,用于個性化服務的基礎數據已準備就緒,接下來的數據分析和可視化等工作將由部署于EKS集群中的tableau和其他定制開發的BI應用完成,并通過API向數據湖外的其他系統開放。該部分將結合EKS以容器化管理的方式實現。且構建成DevOps體系。

      為保障和提高數據湖的運維效力,方案中采用CloudWatch、CloudTrail、SNS協助監控,并部署由華訊網絡基于Splunk開發的MSP服務,實現高質量的運維。采用KMS等方式管理密鑰以提供系統的安全保障。采用IAM、Kerberos等提供安全認證。此外,為迎合品牌方已經成熟的的IaC技術積累,本方案可支持Terraform。

      客戶收益

      完整保留原數據湖中的數據;數據湖分析組件及功能與原數據湖環境保持兼容;能夠完整接收并實時處理來自各電商渠道的PB級用戶數據;實現與Airflow系統的對接;接入品牌方的global用戶數據。

      能夠支持雙十一等業務高峰產生的大量用戶數據;數據存儲處理能夠滿足商業時效要求;各數據湖組件能夠彈性適應業務波動的要求,降低數據存儲和處理的成本;簡化運維復雜度并提升運維效率和質量。

      符合中國網絡信息安全法律法規對于用戶數據的安全要求;符合品牌方的企業安全合規要求;既符合亞馬遜云科技的安全設計準則,同時融合品牌方過往的技術經驗。

      同等處理效率的情況下,采用Amazon數據湖方案相比原數據湖,節省成本超過20%;數據湖提供了豐富的數據處理和數據存儲組件,并提供容器環境,由此可滿足品牌方的各類個性化服務應用開發需求;利用DevOps設計和EKS,可快速部署和調整整個數據湖環境,以及基于數據湖的業務系統。

      立即獲得幫助

      讓我們針對您的需求,為您打造專屬解決方案

      我們隨時準備為您提供幫助

      • 咨詢熱線

        400-820-5-820

      免费完整一级特黄大片 - 在线 - 视频观看 - 影视资讯 - 听风网