在新科技革命和产业变革的大环境中,人工智能技术迭代和商业化进程不断提速,正在加快与千行百业深度融合。
如果说,简单的AI能力调用是新手入门,AI开发是登堂入室,深入行业应用就是真正的大师了。然而,AI开发过程中如果没有使用开发平台,开发过程就会比较繁琐,对于开发者和企业来说更是耗时耗力,所以找到一个合适的AI开发平台十分关键。
作为华为云机器学习和深度学习技术专家、ModelArts产品架构师,白小龙在10余年AI领域的工作中,也见证了近几年业界AI发展的历程。本期的《云享人物·大咖面对面》,华为云开发者社区将和这位AI行业的深耕者聊一聊AI技术开发的世界。
随着技术发展和应用,AI开发的组件数量和模型算法的复杂度都在增加,AI开发流程太多,前期准备工作复杂。最典型的就是在做机器学习项目的过程中,通常需要花费大量的时间去做数据收集和数据预处理,这些前期准备的工作非常耗费人力和时间。AI开发涉及的因素众多,作为AI算法人员,为了将项目落地需要则需要做非常多的工程化工作,以云平台为依托进行AI开发,则可以大幅提升开发效率。
“对于开发者来说,好的AI开发平台能够很好的承载完整的AI开发过程,如具备数据采集、数据预处理、算法开发、模型训练、模型打包和部署等功能,帮助开发者把所有苦活累活都干完,让开发者聚焦在最核心的问题建模。” 白小龙谈到。
为此,华为云推出了AI开发生产线ModelArts。自2018年ModelArts发布以来,从1.0版本迭代到5.0版本,一直围绕着开发者的需求与痛点,在AI全生命周期各环节不断丰富产品功能,打造 AI开发运维的DevOps全流程。作为国内率先支持MLOps的AI开发平台,ModelArts在数据处理、算法开发、训练、推理和全流程MLOps上不断创新,在AI开发方面提供平台能力、开发流程、开发工具等,帮助开发者提升AI生产效率。
华为云AI开发生产线ModelArts流程示意图
数据处理作为AI开发的第一步,通常需要大量人力对各种原始数据进行标注,业内甚至有说法是“有多少人工,就有多少智能”。为了缓解这种情况,ModelArts采用基于主动学习的智能标注技术,让人工标注数据量降到最小。ModelArts的智能标注功能,可节省70%以上的标注时间。
在此基础上,华为云将传统软件工程的CI/CD技术引入到AI开发过程中,将ModelArts的一些能力串联在一起,以开发流水线的方式进行AI开发。“升级之后的ModelArts可从从跨项目和跨时间两个维度来提升开发效率。” 白小龙讲到。
Workflow流程示意图
白小龙进一步解释到,对于相似的项目需求而言,可以仅做简单的数据准备,就可以复用已有的WorkFlow。从华为内部做项目的经验来看,复用模型和开发过程能将整个项目的效率提升一倍以上。此外,在时间维度方面,一个已经上线的AI模型在推理服务期间会不断地接受新的推理数据,基于这些新数据可以触发WorkFlow的持续迭代,加速模型更新的效率。
面向多样化的云边端场景,行业开发者平均需要花费1~2个月来完成AI应用对多种运行设备和系统的开发适配,耗时耗力。为此,ModelArts升级服务,推出了可用于端边云场景的AI应用开发框架ModelBox。通过屏蔽掉AI开发过程中常遇到的底层软硬件的差异难题,实现AI应用一次开发、全场景部署,将跨平台开发适配周期缩短80%,将推理性能提升2~10倍。白小龙表示,目前ModelBox希望能适配市面上的更多类型的硬件设施,华为为此将其开源,希望吸纳更多开发者和企业的力量,让AI开发更加的简单便捷。
当下,AI技术应用的增长速度非常快,非常多的细分行业已经开始应用AI技术。企业在不同的场景,都存在AI应用的需求。从技术上看,AI开发正呈现工程化趋势加速AI应用落地。
一站式AI开发生产线ModelArts
AI工程化意味着AI技术的成熟和良好的使用体验,对希望借助人工智能实现智能化的企业而言,能显著降低技术投入和快捷组建开发团队。华为云将AI工程化能力深入到企业业务中,用AI释放生产力。ModelArts通过端到端的链接,把核心算法包装成流水线,用户在遇到类似场景可以直接复用,通过预置算法、预训练模型、Workflow,打通AI落地最后一公里。“基于已经完成的某个业务场景的经验,使用WorkFlow SDK或者图形化界面将数据处理、模型训练、模型部署等能力编排起来,然后把流水线发布给业务应用人员。对于应用者来说不一定需要了解整个开发实现细节,他们只需要了解流水线的机制,以及需要存在变化的内容即可。”白小龙进一步解释到。
ModelArts打造9大行业场景Usecase
AI开发助手ModelArts Pilot
不得不说,当同时集齐便捷的开发平台、大模型架构,以及开发框架,华为云为用户构建出了一个较为完整的软硬件生态系统,能够为开发和企业带来开发效率和开发体验的多维度提升。
在企业服务方面,为了深度打通企业AI开发需求,实现定制化AI能力的准确对接,华为云发布了D-PLAN生态伙伴计划。
白小龙表示,这一计划通过与合作伙伴共建AI生态体系的方式,全方位打通AI开发中的堵点、难点,以并肩协作的方式加速AI应用落地。面向企业AI开发体量大、需求复杂,定制化程度高的客观情况,华为云D-PLAN以更合理、直接的方式进行赋能。帮助企业快速从AI能力中获取价值回报。
为了更好的帮助到AI开发爱好者,华为云还推出了“知识”+“实训”的AI开发社区——AI Gallery,这里有:算法、模型、数据、Notebook案例、课程、论文、实践等10余种、50000余个AI资产。AI Gallery通过联接AI市场的供、需、学三方,既能解决开发者需求,同时也满足AI生态中各角色的共享、交易需求,加速AI资产的开发与落地,保障AI开发生态链上各参与方高效地实现各自的商业价值。
白小龙讲到,除了外部提供的支持和帮助,开发者自身也需要从行业应用出发,能够做好将行业问题到AI技术问题的转换,增强自己的在AI工程化方面的能力,结合工程化能力的优势,将其与行业结合,这样能为行业带来非常大的价值。
人工智能正在从高深莫测的黑科技,变身为辅助工作、生活不可或缺的重要组成部分,持续提供创造力和生产力。
随着AI由技术落地应用阶段向效率化生产阶段转变,AI的后半场以场景驱动,AI工程化能力突显价值。将AI开发趋向于生产线模式的ModelArts,会继续在MLOps方面深耕。
ModelArts接下来会有一些更好的新特性上线,如灵活的资源管理和资源调度能力,更易用的调试环境,让企业和开发者能够用到更便捷、更顺畅的AI开发平台。这也是白小龙眼中ModelArts未来的样子:“让AI开发变得更简单,更顺畅!”
关注@华为云,了解更多资讯