其他百货
-
天穹SuperSQL如何应对数据湖场景中的复杂多维分析
首先介绍一下腾讯自研的下一代大数据计算平台SuperSQL的技术架构,SuperSQL是腾讯自研的下一代大数据自适应计算平台,通过开放融合的架构实现了一套代码,高效解决公有云、私有云、内网的任何大数据计算场景的问题,将异构计算引擎、异构存储服务、计算引擎的智能化和自动化、SQL的流批一体、算力感知等...
-
什么是数据湖
从我们使用的应用到我们与之互动的企业,数据在塑造我们的体验方面发挥着关键作用,有效地管理这些海量的信息是至关重要的,它为顺利运营铺平了道路,并有助于获得洞察力和做出明智的决策,这就是数据湖的概念,可以把它看作是巨大的原始数据存储库和我们用于特定分析的结构化存储库之间的桥梁,数据湖汇集了这两个世界的精...
-
剖析Buddy算法中内存的申请和释放
作者,赵青窕审校,孙淑娟内存的合理利用一直是系统的头等大事,目前系统中,除了采用Buddy和slab管理内存外,还会采用内存水线检测处理,PCP机制,CMA机制等进行内存的优化,在本文中,我们将从Buddy算法中内存的申请和释放,来探索内存的奥秘,基本概念zone,有的地方把zone称为管理区,每个...
-
江湖乱战!分布式存储 丨T群话 谁是王者
线索丨小官整理丨千山数据大爆炸时代,传统的集中式存储已经很难满足大型应用的数据存储需求,分布式存储应运而生,其中,可供存储的网络服务甚多,阿里云OSS、七牛云、腾讯云等等,不过很多公司为了节约成本,更倾向于开源的分布式存储系统,诸如Ceph、GlusterFS、FastDFS之类,放眼整个分布式存储...
-
详谈云数据库
云数据库是数据存储和管理的未来,随着技术的进步,企业和组织已经意识到需要将数据存储在云端,云数据库是一种存储在云计算平台上的数据库,它使企业能够远程存储、管理和访问数据,无需物理服务器,在本文中,我们将详细讨论云数据库,包括其优势、类型和挑战,什么是云数据库,云数据库是托管在云计算平台,如Amazo...
-
Pulsar的合格的存储系统 BookKeeper 一种面向Apache Apache
译者,布加迪审校,孙淑娟如果您熟悉Kafka和RocketMQ等消息系统,可能知道服务通常与其架构中的存储密切相关,与它们不同的是,ApachePulsar在设计时采用了将存储与计算分开的两层架构,这实际上在其无状态代理上进行,Pulsar依赖ApacheBookKeeper服务器,又叫booki...
-
联想凌拓软件定义存储解决方案荣获2023年度 IT行业数字基础设施优秀解决方案奖 2023年第十八届中国企业年终评选榜单揭晓
月,由主办的,中国企业,IT印象◆创新驰而不息,数字时代进行时,年终评选,活动全面启动,5将依托互联网,以在线方式进行奖项评选,评选活动主要从品牌、产品与技术、解决方案、应用服务、合作伙伴等维度进行,通过媒体曝光、微信微博曝光、编辑推荐等方式,对202年的中国企业级IT技术、产品、应用等创新成就进行...
-
运维 OB
1.问题描述下面这个SQL执行超过1000秒……本文用这个例子,谈谈标量子查询慢的原因和优化方法,selectrq.processinstidprocessinstid,rq.question,idquestionId,rq.question,noquestionNo,to,char,rq.rev,...
-
一条Linux命令打败99%的运维
概述在Linux系统中,我们经常需要使用命令行来进行文件和目录的操作,其中,ls命令是最常用的一个,它可以列出目录中的文件和子目录,然而,ls命令的输出有时候可能不够直观,这就是lsd命令发挥作用的地方,lsd是一个可以替代ls的命令,它是lsDeluxe的缩写,这个命令的主要特点是它的彩色输出和图...
-
Kafka和k8s构建下一代数据管道 用Spark
Lambda架构主要两个层次,Batch和Stream,Batch能够按照预定的批次转换数据,而Stream负责近乎实时地处理数据,Batch层通常被使用的场景是,在源系统中批量发送的数据,需要访问整个数据集,以进行所需的数据处理,不过因为数据集太大,无法执行流式处理,相反,那些带有小块数据包的高速...
-
更好的替代 Julia等对比 PySpark 比Pandas
比Pandas更好的替代,PySpark,Julia等对比2021,01,2812,08,17表格是存储数据的最典型方式,在Python环境中没有比Pandas更好的工具来操作数据表了,尽管Pandas具有广泛的能力,但它还是有局限性的,比如,如果数据集超过了内存的大小,就必须选择一种替代方法,表格...
-
我们真的能相信零信任吗
随着网络攻击的不断演变,变得更加普遍和复杂,企业正在寻找一种基于身份的网络安全新方法,这些策略和解决方案旨在保护企业内的所有人和机器,并用于检测和防止身份驱动的违规行为,企业很容易被感染,但问题在于如何找到解决方案,大多数企业都受到了类似的攻击,通过勒索软件尝试,最初通过网络钓鱼进行访问,如果钓鱼电...
-
打造高可用监控平台 夜莺Nightingale
在本文中,我们详细介绍了如何部署和配置夜莺Nightingale监控平台,以实现高可用性监控架构,通过精心设计的Redis集群、MySQL主从复制、Prometheus数据源集成,以及Keepalived的高可用配置,我们确保了监控服务的稳定性和可靠性,此外,通过集成Grafana仪表盘,我们进一步...
-
镜像瘦身技术详解 Slim 云原生部署加速
的工作原理涉及静态分析和动态分析两个方面,它首先会对容器进行静态分析,包括检查容器的元数据和数据;然后在容器运行时进行动态分析,检查运行中的应用,通过这两方面的分析,构建出应用制品图,并根据收集到的数据构建一个瘦身后的镜像,此外,它还会自动生成各种安全框架,以增强镜像的安全性,...。...
-
Docker 我们一起聊聊 容器技术
例如,用户可以在终端中输入dockerrunubuntu,latest命令来启动一个基于ubuntu,latest镜像的容器,它负责从DockerHub拉取镜像,创建和运行容器,并监控容器的状态,比如,一个ubuntu镜像包含了Ubuntu操作系统的基本文件和配置,可以将多个容器基于同一个镜像创建,...