华为云大数据GaussDB登场亮相
在8月31日下午举办的华为云TechWave大数据专题日上,华为云大数据又有新动作,GaussDB(DWS)实时数仓登场亮相。
我们正在迈入新的智能数据时代!
由大数据产业生态联盟联合《软件和集成电路》杂志社、赛迪顾问股份有限公司、工信部赛迪智库共同编制的《2020中国大数据产业生态地图暨中国大数据产业发展白皮书》(以下简称《白皮书》)显示,数据关键要素作用初步显现,数据共享开放初见成效,数据治理成为关注重点;2020年,我国大数据产业规模将达到6670.2亿元,增长率为23.6%。
随着技术的演进,数据发生了巨大变化,不仅数据规模越来越大、数据种类呈现多样性,而且人们对于数据处理的时效性,以及数据融合分析的要求也越来越高。华为云人工智能领域总裁贾永利表示,为了帮助企业从容应对数据智能时代的各种挑战,华为云推出了智能数据湖FusionInsight,围绕客户在使用数据、管理数据全生命周期方面提供整体解决方案,让企业用户更方便、快捷地用好数据的同时,加速数字化转型进程,释放数据红利。
一切为了数据
在8月31日下午举办的华为云TechWave大数据专题日上,华为云大数据又有新动作,GaussDB(DWS)实时数仓登场亮相。
华为云人工智能总裁贾永利发布GaussDB(DWS)实时数仓
随着5G、人工智能、边缘计算的兴起,数据量越来越大,处理好数据、用好数据成为企业数字化转型的一个首要目标。贾永利指出,从广大政企客户的需求来看,不断增加的多样性数据的统一处理,让数据在处理过程中可管可控,并且可以更高效地协同不同组织变得越来越重要,而实时性处理、数据融合分析则是重中之重。
通过一站式的分析平台,全局使用一份数据,更全面、更精准地分析数据,从海量数据中找到客户真正想要的价值,是大数据厂商肩负的使命。华为云提出的智能数据湖解决方案正是以数据的使用和价值为核心,旨在实现数据全生命周期的高效管理。“基于开放架构的华为云智能数据湖解决方案,真正做到了基于云原生的存算分离,让数据规模可管理、数据更好用。”贾永利如是说。
举例来说,为了提升海量数据的实时处理能力,GaussDB(DWS)实时数仓增强了线性扩展能力,单节点每秒可以处理60万条以上的数据;采用具有最广泛开发者生态的数据分析语言,不管是流处理,还是实时分析,处理性能都会有数倍提升;GaussDB(DWS)的使用更简单,减轻了程序员在开发、使用和运维等方面的工作量;GaussDB(DWS)还可以极大地节省客户数据全生命周期管理的综合成本。
GaussDB(DWS)实时数仓只是“冰山一角”,华为云大数据还有很多“黑科技”等待揭秘。
华为云智能数据湖的秘密
在8月26日揭晓的“2020中国大数据企业50强”榜单中,华为云大数据连续四年上榜。这是业界对华为云FusionInsight的技术创新能力和实践应用成果的充分肯定。作为“最懂行”的大数据解决方案,华为云FusionInsight也再次引发广泛关注。
趁热打铁,在华为云TechWave大数据专题日上,华为的“博士天团”重点揭秘了华为云FusionInsight的几大核心能力——提供大集群、湖仓一体、实时数据湖等关键技术的MRS大数据,全局一份数据、秒级用数、T+0入湖的CarbonData数据存储引擎,GaussDB(DWS)新一代全场景云数据仓库和一站式云化数据运营平台DAYU。
随着5G、IoT新技术发展,数据规模、数据来源、业务场景将快速变化,这些变化给数据存储、计算、分析和安全等带来全新的挑战和需求,大规模、多样化的数据,需要实时、融合分析。华为云FusionInsight MRS大数据就是在不断理解客户场景需求,感受客户使用痛点,积累丰富经验,打造领先的大数据解决方案。
企业级大数据平台FusionInsight MRS,为企业数据湖底座,坚持开放生态,长达十年以上的大数据经验积累,是全球60多个国家与地区3000多个政企客户的共同选择。
FusionInsight MRS支持超2万节点超大规模单集群管理能力,业界最佳,提供企业级多租户能力,让一个企业一个湖成为现实;支持企业级能力让大数据运维无忧,拥有成熟的在线升级能力,升级过程业务零中断,业务永远在线,并已在金融、政府等客户在线升级实践,得到行业高度认可;支持数据湖事务ACID,实现企业数据实时增量入湖,让大数据分析从T+1到T+0,让业务创新更敏捷;支持高性能交互式查询引擎秒级供数,实现湖仓一体,数据不出湖,直接对接BI类业务,自助分析,数据供应链路短,效率提升2倍以上;支持跨源跨域的数据分析,打破地域数据墙,使得企业跨域分析效率从周提升到分钟级。
CarbonData是一个高性能EB级别分析型数据仓库,提供面向对象存储上EB级数据的高性能明细查询能力、交互式查询能力,提供流数据接入、数据实时同步和更新能力,提供对主要ETL业务的支持和加速,以及机器学习、深度学习等AI引擎,生态发展越来越完善。
CarbonData自2015年进入Apache孵化器;2016年CarbonData正式从Apache孵化器毕业,正式成为首个中国公司贡献的Apache顶级项目;2020年重磅发布2.0里程碑版本,重新定义智能数据湖索引和事务能力。
CarbonData数据存储引擎,面对复杂业务场景实现全局一份数据导出使用,免去数据搬迁的困扰;面对海量数据的查询使用,针对性优化了查询加速,可实现PB级数据30秒内响应;在时间就是金钱的信息时代,时效性的突出优势被企业所看好,CarbonData支持数据更新,可实现数据T+0实时入湖,大大优化了传统T+1、T+2的可见时延。
数据仓库是企业的“中枢系统”,也是业务创新的基础,但长久以来一直受到“扩展性、实时性、可用性、易用性”等问题的困扰。华为云GaussDB(DWS)十年磨一剑,在核心技术上实现了突破,为新一代企业级数据仓库系统树立了标杆。
截至目前,全球超过500家大客户已使用GaussDB(DWS)构建自己的核心数据仓库系统。而GaussDB(DWS)之所以能如此快速赢得大企业客户的信任,主要得益于其“大、快、稳”的特点。
GaussDB(DWS)的“大”集中体现在,设计规模为2048节点,可支持PB级数据容量,随着节点数增加,集群的性能和容量呈线性增长,线性比>0.9;GaussDB(DWS)导入和分析“快”如闪电,因为它采用了全并行计算架构,并支持新一代智能优化器技术、高效的算子算法、动态编译等核心技术;因为采用多层备份、多级保护技术,GaussDB(DWS)“稳”如泰山,即使出现软硬件故障,也能快速检测和响应,并自动切换,确保业务持续可用。