Hadoop是一个开源软件框架，它在近十年前开始流行，ApacheHadoop在当时是一项突破性的创新，企业在处理大量数据时遇到了存储问题，它通过提供Hadoop分布式文件系统，HDFS，进行存储和MapReduce进行数据分析和处理，重新定义了企业处理、分析和存储数据的方式，据公关通讯社报道，到2...

  在数据仓库中，HiveHA，HighAvailability，是指为ApacheHive这个数据仓库查询和分析工具提供高可用性的架构和解决方案，Hive是建立在Hadoop生态系统之上的一种数据仓库解决方案，用于处理大规模数据的查询和分析，为了确保Hive服务的连续性和可用性，特别是在出现硬件故障、...

  Hadoop文件格式初学者指南几周前，我写了一篇有关Hadoop的文章，并谈到了它的不同部分，以及它如何在数据工程中扮演重要角色，在本文中，我将总结Hadoop中不同的文件格式，本主题将是一个简短而快速的主题，如果您想了解Hadoop的工作原理以及它在数据工程师中的重要作用，请在此处访问我关于Had...

  1Hadoop简介1.1Hadoop由来数据容量大数据时代数据量超级大，数据具有如下特性，以前的存储手段跟分析方法现在行不通了，Hadoop就是用来解决海量数据的存储跟海量数据的分析计算问题的，创始人DougCutting在创建Hadoop时主要思想源头是Google三辆马车现在说的Hadoop通常...

  问题，如果出现以下类似的错误，是因为多次启动，之前的数据还在，但是datanode的IP是已经变了的，宿主机部署就不会有这样的问题，因为宿主机的IP是固定的，，所以需要刷新节点，当然也可清理之前的旧数据，不推荐清理旧数据，推荐使用刷新节点的方式，如果有对外挂载的情况下，像我这里没有对外挂载，是因为之...

  一、阅读HDFS源码的缘由HDFS是大数据的最基础的设施了，几乎所有的离线存储都在HDFS上，但是在大规模HDFS集群中，下面的问题通常会让我们无比头疼，以上种种问题，都需要我们阅读源码，甚至要修改它的源码才能解决，所以虽然阅读源码非常痛苦，但是这个坎还是得过的，二、如何阅读Hadoop这样的百万行...

  任何一种技术都会经历从阳春白雪到下里巴人的过程，就像我们对计算机的理解从，戴着鞋套才能进的机房，变成了随处可见的智能手机，在前面20年中，大数据技术也经历了这样的过程，从曾经高高在上的，火箭科技，rocketscience，，成为了人人普惠的技术，回首来看，大数据发展初期涌现了非常多开源和自研系统，...

  RS，10，4，1024k，使用RS编码，每10个数据单元，cell，，生成4个校验单元，共14个单元，也就是说，这14个单元中，只要有任意的10个单元存在，不管是数据单元还是校验单元，只要总数=10，，就可以得到原始数据，每个单元的大小是1024k=10241024=1048576，RS，3，2，...

  随着互联网的快速发展，越来越多的人涌入互联网，互联网自此进入大数据时代，在大数据时代之后，云计算、人工智能、物联网、5G技术的发展又将大数据的发展推向高潮，数据已经从最初的信息一步步的演变成了数据产品、数据资产，关于数据的处理技术，包含数据库、数据集市、数据仓库、数据湖、数据中台，每次数据处理的演进...

  我们一起聊聊如何做一个优秀的数据分析项目，纵观整个过程，我们能看到，做好项目的过程，就是把数据方法应用于企业实践的过程，数据本身有统计学、数学、编程、数据库等专业知识，但其中相当部分，比如数仓、ETL，是为保障数据本身的正常运行；相当部分，比如语义判断、图像识别，是用于工业应用，不用考虑业务理解和配...

  数据可视化有哪些方式，我们通常所说的数据可视化是指狭义的数据可视化，即将数据以图表的方式进行呈现，常见于PPT、报表、新闻等场景，图表是数据可视化最基础的应用，它代表图形化的数据，通常以所用的图形符号命名，例如使用圆形符号的饼图、使用线条符号的折线图等，下面介绍一些常见的图表，并结合一些应用场景给出...

  数据仓库与数据分析架构，驱动数据驱动决策在当今信息爆炸的时代，数据已经成为了企业决策的核心资产，数据仓库与数据分析架构的崛起，为企业提供了有效地管理和分析海量数据的解决方案，实现了数据驱动决策的愿景，这个强大的架构不仅能够帮助企业更好地理解市场、客户和业务，还能够发掘潜在的机会，提高决策的准确性和效...

  现代化BI全面崛起，观远数据让业务快速、广泛、活跃用起来！2022年，也是观远数据成立的第六年，基于，让业务用起来让决策更智能，的使命，观远数据与各行业最领先的500，家客户，不断定义和发布现代化BI的先进实践，在刚刚结束的，让业务用起来·观远数据2022智能决策峰会暨产品发布会，云上直播中，观远数...

  除了Hadoop，其他6个你必须知道的热门大数据技术！大数据技术的体系庞大且复杂，因为数据的来源广泛且多样化，传统技术难以解决一些问题，因此，随着科技的进步，大数据技术的应用也实现全球化，在大数据技术中，你可能了解Hadoop，它作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心...

  Spark查询太慢，试试这款Mpp数据库吧！Greenplum数据库是基于MPP架构的开源大数据平台，具有良好的弹性和线性扩展能力，内置并行存储、并行通信、并行计算和并行优化功能，兼容SQL标准，具有强大、高效的PB级数据存储、处理和实时分析能力，同时支持涵盖OLTP型业务的混合负载，可部署于企业裸...