包含"数据处理"标签的文章

  • 纵腾湖仓全链路落地实践

      面对日益增长的数据量,Lambda架构使用离线,实时两条链路和两种存储完成数据的保存和处理,这种繁杂的架构体系带来了不一致的问题,需要通过修数、补数等一系列监控运维手段去弥补,为了统一简化架构,提高开发效率,减少运维负担,我们实施了基于数据湖Hudi,Flink的流批一体架构,达到了降本增效的目的,...

    2024-11-15 616
  • kappa 三图讲清大数据基础设施Hadoop Lambda

      随着互联网的快速发展,越来越多的人涌入互联网,互联网自此进入大数据时代,在大数据时代之后,云计算、人工智能、物联网、5G技术的发展又将大数据的发展推向高潮,数据已经从最初的信息一步步的演变成了数据产品、数据资产,关于数据的处理技术,包含数据库、数据集市、数据仓库、数据湖、数据中台,每次数据处理的演进...

    2024-11-15 247
  • 检测和防御策略 详解数据滥用 现实示例 类型

      数据滥用不仅会危及数据安全,还会引发代价高昂的数据泄露事件,对数据的访问伴随着重大责任,滥用访问权限可能会对组织产生负面影响,当员工为了个人利益或其他未经授权的目的而滥用数据时,可能会危及数据安全,并导致代价高昂的数据泄露,事实上,根据Verizon的,2024年数据泄露调查报告,显示,68%的数据...

    2024-11-15 976
  • 星云零售信贷基于 演进之路 OLAP Doris 的

      一、数据需求的产生腾梭科技的产品发展历程经历了多个阶段,最初,我们专注于与互联网金融科技公司合作,提供网贷助贷核心对接等服务,随后,我们通过与其他友商联合打造业务获得了突破,在此基础上,我们开始将重心转向行业内的联合业务开展,并逐步实现了对全量客户群体的挖掘和线上营销,同时,我们也探索了纯线上获客新...

    2024-11-15 417
  • 进行地理空间数据处理的九个工具 Python 利用

      本文介绍了九个常用的地理空间数据处理工具,GeoPandas、Fiona、Rasterio、Shapely、Pyproj、Descartes、Rtree、Geopy和Folium,这些工具分别适用于地理空间数据的读写、几何操作、坐标转换、地图绘制等方面,通过具体示例代码展示了如何使用这些工具来处理实...

    2024-11-15 882

联系我们

QQ号:***

微信号:***

工作日:9:30-18:30,节假日休息