1. 首页 > 科技 > 数码资讯

WOT2018 在OpenStack云上运行大数据系统的难题与方法 李明宇

【.com原创稿件】七年一剑,华丽蜕变。自2012年起连续6年15场峰会,凝聚大量技术专家,博观而约取,厚积而薄发。2018WOT全球软件与运维技术峰会扬帆起航,围绕12大核心热点,汇聚海内外60位一线专家,打造高端技术盛宴!

在5月19日上午举行的“OpenStack创新实战”分论坛中,OStorage(奥思数据)创始人兼CTO李明宇将为大家带来题为《在OpenStack云上提供大数据服务:问题、方法与实践》的精彩演讲。会前,记者有幸采访了他,提前剧透下将要分享的重点内容。

OStorage (奥思数据)创始人兼CTO/OpenStack社区布道师与贡献者

李明宇是何许人也?在WOT峰会上,他将分享什么?

李明宇是OStorage创始人兼CTO,也是OpenStack社区布道师与贡献者。在创立OStorage前,曾在中科院担任课题组负责人,将云计算、分布式存储等技术成功应用在船舶、航天、国防等领域国家大型工程项目中。近年来,他积极研究和传播OpenStack相关的云计算和云存储技术,多次在OpenStackSummit等国内外大型会议上发表技术演讲。

在本届WOT峰会上,李明宇将结合Hadoop和Spark,包括Hive等SQL方案,讲解在大数据系统云化实践中可能会遇到的问题及解决方法。他还透露:“在分享中,我们将给参与互动的观众赠送我们翻译并由电子工业出版社出版的《对象存储:OpenStackSwift应用、管理与开发》一书。”

他表示,之所以最终选定这个主题,是因为:虽然基于OpenStack的云环境部署量越来越多,但是很多OpenStack云环境并不提供大数据服务,比如类似AWS的ElasticMapReduce,再比如面向大数据的SQL,支持OLAP等等。另外,随着用户业务逐步实现了云迁移,在云上部署大数据系统的需求已经日益常见和迫切。

然而,由于大数据系统的特殊性,如果在云平台上开一批虚机,然后像在物理机上做安装部署那样直接在这些虚机上部署运行Hadoop等大数据系统,往往在性能、可靠性等各方面达不到预期。

但是,这并不能归咎于虚拟化或者云平台,而是需要采用正确的方法,这些问题都能够迎刃而解,而且方法得当还能更好地利用虚拟化和云的敏捷性、弹性、容灾等优势,赋予大数据系统更多的能力。

“剧透”:在OpenStack云上运行大数据系统的方法

那么,在OpenStack云上运行大数据系统究竟有哪些方法?对此,李明宇表示,OpenStack基金会官方推荐了两种方法:

***种方法是基于OpenStack服务组件Sahara实现。Sahara又称之为OpenStack的EDP(Elastic>

本网站的文章部分内容可能来源于网络和网友发布,仅供大家学习与参考,如有侵权,请联系站长进行删除处理,不代表本网站立场,转载者并注明出处:https://www.jmbhsh.com/shumazixun/34587.html

联系我们

QQ号:***

微信号:***

工作日:9:30-18:30,节假日休息