当前位置:首页 > 百科中心 > 新闻视界 > IT

阿里云ODPS升级为一体化大数据平台满足用户多元化数据计算需求

​11月3日,2022云栖大会上,阿里巴巴集团副总裁、阿里云计算平台事业部负责人贾扬清表示,为满足用户多元化数据计算需求,阿里云odps升级为一体化大数据平台。

升级后的odps支持大规模批量计算、实时分析等服务,提供实时流式计算、机器学习等多种计算能力,可同时调度超10万台以上服务器规模进行并行计算。odps也是目前中国唯一自研、应用最为广泛的一体化大数据平台。

odps升级:存储、调度、元数据一体化融合

随着数据技术和数据应用的发展,催生了多元计算需求。贾扬清介绍,例如交通领域,需要实时数据计算,来做城市大脑里面人流车流的优化;科研方面,需要ai算法辅助传统物理化学生物研究创新;保险领域,需要大量数据聚合来进行更准确的风险精算。 odps实现了存储、调度、元数据管理上的一体化架构融合,支撑上述各类数据的高效处理。

自2009年诞生以来,odps从突破单集群规模到通过多租户隔离打造金融级云上安全,为突破业界难攻的技术难点而不断升级架构。2017年,odps将大规模批处理引擎maxcompute以独立产品形式对外提供服务。2019年,应对数据实时交互分析的需求,交互式计算引擎hologres正式上线。

在刚刚公布的tpc-h 30000gb基准测试中,odps-hologres刷新世界纪录,分数超过2786万分,领先第二名23%。odps-maxcompute则在tpcx-bb 100tb标准测试中,连续6年保持性能和性价比第一。

大数据和ai走向融合   小鹏汽车ai训练提速170倍

“大数据平台和ai平台正在走向融合”,贾扬清表示,不论是大模型生产应用、ai for science、还是传统的搜推广服务,典型的ai应用场景背后,都离不开数据的高效流转和分析。

例如小鹏汽车与阿里云合作,建设了大数据ai一体化平台,实现从海量路采数据的传输存储分析、到ai模型训练推理的全流程提效。此外,基于软硬件协同优化技术,小鹏汽车自动驾驶核心模型训练提速近170倍,训练性能较开源方案提升30%。         自发布大数据+ai一体化产品体系“阿里灵杰”以来,阿里云不断推动数据智能在产业中广泛应用。机器学习平台pai持续夯实ai工程能力,实现深度学习框架和计算硬件的多样化兼容,以弹性且稳定的云原生ai平台服务,支撑自动驾驶、生命科学、金融等领域创新。此外,达摩院基于阿里灵杰,推出模型开放生态 modelscope 和 ai 开放服务平台 openmind,进一步推动ai普惠。


【云广告】
本文章由网友发布,文章内容不代表本站观点,如文中有侵权行为,请与本站客服联系(QQ:254677821)!

评论