1、StarRocks3.0OverviewStarRock3.0之前定位于实时数仓，主要有以下几方面的能力，StarRocks3.0推出了新的数据湖分析功能，支持Hive、Iceberg、Hudi，和MySQL等传统DB外表，加上StarRocks本身的外表，使得StarRocks能够作为一个统一...

  一、腾讯大数据处理套件TBDS的全称是腾讯大数据处理套件，它是一个基于Hadoop生态以及MPP生态的大数据平台，我们主要有以下的四种应用场景，大数据的批流的处理，云原生的数据湖，湖仓一体，以及国产化的数据中台，下面是我们的一些客户，大家可以看到种类非常多，有金融类的、产业类的，还有传媒以及政府，不...

  1.为什么需要数据湖架构为什么需要数据湖，与其它技术一样，数据湖本身也是由需求而生的，早期都是离线数仓，为了应对现在数据分析中越来越多的实时性场景，以及对ACID、事物性隔离越来越高的要求，数据湖技术应运而生，传统的数据湖三剑客为Iceberg、Hudi和Deltalake，从去年开始，开源的Apa...

  首先简单介绍一下爱奇艺OLAP的基本情况，存储方面，OLAP目前支持三类存储，①离线HDFS，用于离线分析、批处理等场景；②实时Kafka，用于实时分析、在线处理等场景；③近实时Iceberg，分钟级延迟，是今天要重点介绍的数据湖产品，存储之上是查询引擎，我们采用SparkSQL做ETL处理，采用T...

  网易内部如严选、云音乐、传媒等数据团队对数据内容体系的治理思路都是将治理规范融入到开发过程中，将治理的动作提前，这其实就是，开发治理一体化，；事后依赖数据资产健康评估和治理工具进行数据的治理，建立事前加事后的数据治理体系，随着网易数帆商业化的发展，遇到很多金融及大型国企客户，我们发现互联网的这套数据...

  数据湖是近两年中比较新的技术在大数据领域中，对于一个真正的数据湖应该是什么样子，现在对数据湖认知还是处在探索的阶段，像现在代表的开源产品有iceberg、hudi、DeltaLake，那对于数据湖应该是什么样子，先来看数据湖的作者AWS来说明数据湖是什么东西，比如下图，不懂数据的人也许会觉得数据湖很...

  前言ApacheHive经过多年的发展，目前基本已经成为业界构建超大规模数据仓库的事实标准和数据处理工具，Hive已经不单单是一个技术组件，而是一种设计理念，Hive有JDBC客户端、支持标准JDBC接口访问的HiveServer2服务器、管理元数据服务的HiveMetastore，以及任务以Map...

  Hudi，HadoopUpsertsDeletesandIncrementals，​，简称​Hudi​，是一个流式数据湖平台，支持对海量数据快速更新，内置表格式，支持事务的存储层、一系列表服务、数据服务，开箱即用的摄取工具，以及完善的运维监控工具，它可以以极低的延迟将数据快速存储到HDFS或云存储，...

  我们一起聊聊如何做一个优秀的数据分析项目，纵观整个过程，我们能看到，做好项目的过程，就是把数据方法应用于企业实践的过程，数据本身有统计学、数学、编程、数据库等专业知识，但其中相当部分，比如数仓、ETL，是为保障数据本身的正常运行；相当部分，比如语义判断、图像识别，是用于工业应用，不用考虑业务理解和配...

  数据可视化有哪些方式，我们通常所说的数据可视化是指狭义的数据可视化，即将数据以图表的方式进行呈现，常见于PPT、报表、新闻等场景，图表是数据可视化最基础的应用，它代表图形化的数据，通常以所用的图形符号命名，例如使用圆形符号的饼图、使用线条符号的折线图等，下面介绍一些常见的图表，并结合一些应用场景给出...

  数据仓库与数据分析架构，驱动数据驱动决策在当今信息爆炸的时代，数据已经成为了企业决策的核心资产，数据仓库与数据分析架构的崛起，为企业提供了有效地管理和分析海量数据的解决方案，实现了数据驱动决策的愿景，这个强大的架构不仅能够帮助企业更好地理解市场、客户和业务，还能够发掘潜在的机会，提高决策的准确性和效...

  现代化BI全面崛起，观远数据让业务快速、广泛、活跃用起来！2022年，也是观远数据成立的第六年，基于，让业务用起来让决策更智能，的使命，观远数据与各行业最领先的500，家客户，不断定义和发布现代化BI的先进实践，在刚刚结束的，让业务用起来·观远数据2022智能决策峰会暨产品发布会，云上直播中，观远数...

  除了Hadoop，其他6个你必须知道的热门大数据技术！大数据技术的体系庞大且复杂，因为数据的来源广泛且多样化，传统技术难以解决一些问题，因此，随着科技的进步，大数据技术的应用也实现全球化，在大数据技术中，你可能了解Hadoop，它作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心...

  Spark查询太慢，试试这款Mpp数据库吧！Greenplum数据库是基于MPP架构的开源大数据平台，具有良好的弹性和线性扩展能力，内置并行存储、并行通信、并行计算和并行优化功能，兼容SQL标准，具有强大、高效的PB级数据存储、处理和实时分析能力，同时支持涵盖OLTP型业务的混合负载，可部署于企业裸...

  品高云数据湖管理平台入围，企业数字化转型优秀案例，9月5日，，企业数字化转型高峰论坛，在河北举行，论坛由中国国际数字经济博览会组委会主办、中国电子信息行业联合会承办，旨在分享典型企业数字化转型最佳案例，持续完善企业信息系统建设和服务能力贯标评估体系，进一步引领企业数字化转型发展，2021，09，09...