议题简介:AI
已经成为计算机基础架构中不可或缺的一环,而针对 AI 场景优化的数据库也应运而生。AI
数据库不仅功能上要满足特征工程以及机器学习模型的上线需求,在离线和在线性能上也有更高的要求。本次分享将以 OpenMLDB 项目为例,深入介绍 AI
数据库的应用场景和性能优化,实现特定 AI 场景快速落地以及数倍甚至数十倍的性能提升。
议题:向量数据库:面向 AIGC 的海量记忆体
演讲时间:11:00-11:20
演讲嘉宾:郭人通 | Zilliz
合伙人、产品总监
议题简介:在 AIGC
大火的时代,向量数据库在海量非结构化数据处理中发挥着越来越重要的作用,本次分享将重点介绍在 AIGC 浪潮里,向量数据库如何为 AI 赋能。
议题:PyTorch
2.0:将编译器技术引入 PyTorch 内核
演讲时间:11:20-11:55
演讲嘉宾:Peng Wu |
Engineering Manager supporting the PyTorch compiler team
议题简介:UBS Global
研究报告发现:现如今 AI 工程师 70%-90% 的时间都花费在训练数据上。很多算法在实践中已非常优秀,数据已然成为 AI
模型开发新的瓶颈。基于以上现状,倍赛科技团队研发出 Xtreme1 训练数据平台,致力构建最容易触达的开源 Data-Centric MLOps
基础设施,以连接人、模型和数据。Xtreme1 首次引入本体 Ontology 来穿透不同 AI
客户的问题抽象,是全球首个支持多模态数据标注的开源工具,全面遵循云原生架构原则,以保证服务性能的可扩展性,部署规模的可弹性,以及在故障情况下的服务韧性。
议题简介:PyTorch
是深度学习和机器学习最流行的框架之一,英特尔一直是 PyTorch 社区的长期贡献者和宣传者。在本次演讲中,我们将分享在核心框架及其生态系统库中为
PyTorch 做出贡献的经验。我们将详细介绍我们在 torch.compile 中的优化,这是 PyTorch 2.0 的旗舰新功能,并展示其在 CPU
上的性能优势。我们将展示如何通过硬件算力的提升和开源软件的优化,让 AI 应用更加平民化,如基于扩散的生成式 AI 和大语言模型。 我们还将介绍过去参与的一些
PyTorch 生态系统项目,例如 HuggingFace,DeepSpeed,PyG 等等。最后,我们将讨论未来的计划和愿景,继续与 PyTorch
基金会合作,以推动深度学习和机器学习朝着更好的方向发展。
议题:DeepRec:面向推荐场景的高性能深度学习框架
演讲时间:16:00-16:20
演讲嘉宾:演讲嘉宾:丁辰 |
阿里云 PAI 技术专家
议题简介:DeepRec
是阿里云机器学习平台 PAI 开源的面向推荐场景的高性能深度学习框架,针对稀疏模型在分布式、图优化、算子、Runtime
等方面进行了深度的性能优化,同时提供了动态弹性特征,动态弹性维度,自适应 EmbeddingVariable、增量模型导出及加载等一系列功能。DeepRec
在阿里巴巴集团内部应用于淘宝、天猫、阿里妈妈、高德、淘特、AliExpress、Lazada
等,在核心业务上支撑着千亿特征、万亿样本的超大规模稀疏训练。DeepRec 开源一年多以来,已经在数十家公司的搜推广业务场景中大规模应用,带来了巨大的业务价值。
议题:旷视算法量产与 MegEngine 生态建设
演讲时间:16:20-16:40
演讲嘉宾:陈其友 | 旷视科技
MegEngine 团队负责人
议题简介:目前 AI
技术应用已经在各种领域得到验证,它具有比传统算法更高的生产力。但是随着大量的 AI
算法的需求,传统的针对某个具体场景进行数据采集,标注,模型训练,验证,交付的算法生成方式成为了 AI 落地的瓶颈。MegEngine 团队围绕
MegEngine 训练框架,提出一种基于各个阶段标准化的算法量产的方法来减低 AI 落地的门槛,为了实现算法量产,MegEngine
开发了一系列组件,他们共同形成了 MegEngine 的算法量产的生态,正在逐步开源。
议题:Primus—— 通用的分布式训练调度框架
演讲时间:16:40-17:00
演讲嘉宾:徐合邦 |
字节跳动基础架构计算框架研发工程师
议题简介:近些年来,机器学习科技已经深植各应用领域,并且成功带来显着的提升。面对与日具增的训练资料和模型规模,为了满足更高效率的模型训练,分布式训练的概念顺应而生。作为一个通用的分布式训练调度框架,Primus
提供一个通用的介面桥接了分布式训练任务和物理计算资源,让资料科学家可以专注与学习算法的设计,并且让分散式训练任务可以运行在不同种类的计算集群,例如
Kubernetes 和 YARN。于此基础上,Primus 更提供了分布式训练任务所需的容错能力以及资料调度能力,进而更提升了分布式训练的易用性。本议题将分享
Primus 在字节跳动的站内现况及实践,Primus 和分布式训练领域的相关挑战、及未来展望。
议题:透明后端图编译器无缝提升 ML 上游框架
演讲时间:17:00-17:20
演讲嘉宾:Tiejun Chen
| Sr. Technical lead
议题简介:当前有一个新兴趋势:观测性从云向边缘转移,这时
AI 工作负载往往通过高层级 ML 框架(如 Ray)进行管理和编排。但与此同时,各种厂商的 AI 加速器(如 Nvidia GPU 系列、Intel
Movidius VPU、Google TPU 等)已经实现了 AI 加速。实际上可以看到许多基于 ASIC 的 AI 加速器。另一方面,存在着各种图编译器(如
TVM、Intel OpenVINO、TensorRT 等)用来提高 ML 性能,但碎片化严重。因此,在现实世界中用户在赋予这些异构 AI
加速器不同软件加速时面临挑战,原因是缺少一个自然支持它们的通用统一框架。本次演讲将分享引入透明后端加速技术来自动提升流行 ML 上游框架(如
Tensorflow、Pytorch、TorchServe、Tensorflow Serving 等)上异构 AI 加速器上的 ML 性能,并与那些主流 ML
图编译器无缝结合。通过我们对主流 ML 框架零代码更改方法,用户可以在他们原始的 AI 应用上看到提升的 ML/AI 性能。
议题:OpenGPT:LMM 多模态大模型推理框架
演讲时间:17:20-17:40
演讲嘉宾:王峰 | Jina AI
高级算法工程师
议题简介:大语言模型和多模态技术已经成为趋势,以
GPT-4 为代表的 AI
能力的提升,从实现单调的文本交互,转变为可以接受图像、文本作为输入。越来越多基于大模型的多模态技术涌现出来,但是在实际工业产品落地过程中仍然存在诸多挑战。特别是针对模型推理问题又有更多新的问题需要解决。本次分享将以
OpenGPT 项目为例来介绍 Jina AI 在解决大模型产品落地问题的实践。
全球开源技术峰会(Global Open-source Technology
Conference,简称 GOTC)是由开放原子开源基金会、 Linux
基金会亚太区、上海浦东软件园和开源中国联合发起的,面向全球开发者的一场盛大开源技术盛宴。