某品牌积累了海量的客户数据。为了提供创新的个性化服务,需要以构建数据湖的形式为这些服务提供统一的数据平台,并在此基础上实现用户画像、行为分析等目的。
为了深入的发挥出数据湖的丰富价值,同时确保该品牌在布局全球的数据应用上具有一致的技术栈,品牌方与华讯网络合作,在亚马逊云科技宁夏区构建数据湖,以替换其原先的数据湖方案。
品牌原有的数据湖方案存在以下缺陷:
* 计算实例类型单一,不利于成本优化。
* 出于安全考虑,数据湖从global数据源获取用户数据受限。新数据湖需要提升数据存储和处理的安全性,以获得对接global数据的安全等级要求。
* 缺乏易用的账单分析和成本优化工具。
* 运维复杂度高,亟需借助更全面的运维工具提升运维效率和质量。
* 架构先进性有待提高,从而实现数据分析软件开发/部署的容器化和微服务化需求,提升各类上层应用的交付敏捷性。
* 无法与品牌在全球的数据湖技术栈对齐。无法为global数据开发团队提供标准、熟悉的环境。
* 大量使用通过开源软件实现的自建服务组件,造成了较高的架构复杂度和运维难度。希望在新数据湖中逐步使用云原生的托管服务来替代自建服务组件,以降低运维成本。
上述缺陷目前已经对该品牌的业务发展产生了限制,亟待在新的数据湖环境下得以解决。此外,品牌的技术团队正在向DevOps和容器化方向做技术转型,因此,希望在新数据湖的构建过程中充分考虑DevOps和容器化建设。