1.为什么需要数据湖架构为什么需要数据湖，与其它技术一样，数据湖本身也是由需求而生的，早期都是离线数仓，为了应对现在数据分析中越来越多的实时性场景，以及对ACID、事物性隔离越来越高的要求，数据湖技术应运而生，传统的数据湖三剑客为Iceberg、Hudi和Deltalake，从去年开始，开源的Apa...

  一、背景介绍电商是移动互联网时代最重要的业务形式之一，目前主流的业务形态是B2C，在这个群雄逐鹿的年代，除了淘宝、京东、拼多多等头部电商以外，还活跃着众多的中小规模电商平台，笔者所在公司的电商APP就是其中一个，目前注册用户超过2亿，月活跃用户接近2000万，电商平台以APP作为载体，最重要的数据就...