荆溪新闻
荆溪新闻>科技>数据标注、模型调参debug...通通自动化!华为Model

数据标注、模型调参debug...通通自动化!华为Model-荆溪新闻

2019-11-12 17:37:03

甘明来自奥菲神庙

量子位报告

福音。人工智能发展门槛现在更低了。

不需要你的代码甚至人工智能开发经验。

现在您只需要标记一小部分数据,然后它将帮助您标记剩余的数据,并自动化模型培训和一键部署。

在整个过程中,还可以实现参数的自动调整、自动调试,进一步提高模型的准确性。

即使在模型的着陆阶段,如果开发人员遇到困难,他们也可以自动帮助开发人员收集它们,以便进一步自动提高模型精度。

福音书集中体现的“it”是一站式人工智能开发管理平台modelarts 2.0,这是华为云的最新畅销版本。

新闻稿

在2019华为全面连接大会的最后一天,举行了主旨演讲,并作为压轴产品进行了展示。

与此同时,华为投资15亿美元建设开发商生态系统的细节已经进一步公布(我听说有羊毛可以收获,见本文结尾)。

与去年华为全面连接大会上首次发布的版主相比,此次华为云发布的modelarts 2.0本质上是一种进化——对现有人工智能开发模型的完全流程简化和专业升级。

同时,modelarts 2.0还支持——阿特拉斯900,这是华为开发的全球最快的人工智能集群,拥有业内最高的训练速度。

华为云ei服务产品部总经理贾李咏表示,modelarts 2.0以整个过程的简化和自动化升级了现有的人工智能开发模型,允许数据准备、算法开发、模型培训、模型管理和模型推理的整个链条进行质的飞跃。

不仅可以降低初学者的门槛,初学者和大批软件开发人员也可以快速使用人工智能。

它还可以大大提高专业人工智能开发人员的开发效率,帮助模型优化,让算法工程师和数据科学家专注于基础核心算法的研究和创新。

也许你会好奇,这个产品有多有效?就这样吗?

~我们也可以像人工智能开发者一样按照人工智能开发程序进行实验~

数据处理:数据集的自动过滤、自动标记和自动评估

处理数据是人工智能开发的第一步,也是人工智能开发中非常痛苦的一步。

不仅要对数据进行筛选,还要对数据进行标注,从而创造出一种新的职业——数据“农民工”。

耗时费力,准确性难以保证。

此次对于modelarts的新升级,华为云也针对这一痛点,提供了相应的解决方案,即在原有数据服务的基础上推出了相应的自动化服务。

首先,它是智能过滤数据。人工智能用于自动过滤和过滤训练模型的无效数据。

贾李咏也在现场透露了秘密。例如,在视觉场景中,失焦和过度曝光的图片通常无法参与标记。此外,从业务场景的角度来看,一些不符合要求的人不能参与标记。

筛查有多有效?华为云深度学习的设计师白小龙表示,他能够快速筛选40%的不可用数据,错误率极低。

同时,华为云模型艺术2.0升级了行业中传统的主动学习,首次提出混合智能标注技术,可将标注效率提高至少5倍。

贾李咏认为,modelarts 2.0还可以帮助开发人员识别数据之间的深层关系,并指导开发人员基于约20个特征的自动特征提取能力来优化数据,例如样本质量特征、图像全局属性、标注特征等。

最直接的应用之一是可以对不同批次的训练数据进行总体规划,还可以自动诊断数据训练集和测试集的数据特征分布,从而提高模型精度。

模型训练:自动学习,自动“炼金术”

这不仅解放了“数据移民工人”,模型艺术的升级也是对“发展老手”的祝福。

华为云(Huawei Cloud)直接集成了自动数据增强、超参数自动搜索、神经网络架构搜索等技术,引入了无需人工操作的多搜索技术,全部由人工智能完成。

贾李咏表示,这是行业内的原创技术,其精度性能远远优于行业。

在会议现场,华为云专家向来宾展示了一个构建细胞发育阶段分类模型的示例:

多搜索技术构建的单细胞基因图谱表达分类模型的准确率比传统自动学习方法构建的模型提高了5.4个百分点,训练速度快5倍。

在展区,专家们还分享了另一个例子:imagenet数据集通过自动搜索只需要600小时就能达到76.7%的准确率,而google mobilenetv3需要40,000小时。

然而,该模型不仅在培训过程中面向初级人工智能开发人员,而且modelarts 2.0在面向更专业的开发人员时,将为整个模型培训过程提供一个“白盒”,以便他们能够更具体地调整模型参数。

对于更专注于数据建模和问题解决的高级算法工程师和数据科学家来说,华为ai computing framework mindspore提供了自动并行能力,只需几行描述就可以将算法运行到几十甚至几千个ai计算节点。

而且可以提供强大的自动差异化能力,从源代码层面上帮助实现差异化操作符的自动开发,极大地释放了专家的创造力。

贾李咏还描述了这背后的能量:仅仅几行描述就能使算法运行到几十个甚至几千个人工智能计算节点。

上面是mindspore 2.0自动并行代码。只有通过设置参数auto_parallel,单卡模型才能自动并行于多台机器和多张卡。华为云也在现场展示了这一点。

同时,modelarts 2.0中内置的mind孢子计算引擎也可以提供强大的自动分化能力,有助于从源代码层面实现分化运算符的自动开发,最大限度地释放专家的创造力。

以上是孢子自动分化的代码。逆向算子可以通过调用张量引擎的微分api来自动实现。

此外,华为云还开通了modelarts sdk,支持与各种第三方开发环境(如pycharm)的集成,从而为企业应用打开了开发管道,支持在线和离线协作开发环境。

模型管理:自动调试调整、自动转换和压缩

到这个阶段,开发人员已经基本上能够拥有训练有素的模型。

然而,对于通往人工智能开发目的地的旅程,只有中途。

接下来,开发人员需要管理和优化模型的不同版本,然后为不同的平台转换模型。

在这两个领域,华为云都有升级目标。

首先,就模型调优而言,对于算法开发人员来说,模型性能的评估和调优是一项重要且极其困难的任务。

Modelarts 2.0现在可以自动帮助开发人员调试调优。

具体而言,华为云提供了丰富的模型评估、可视化和诊断能力。此外,评估不仅针对模型,而且针对从数据到模型训练的整个过程。

评估后,modelarts 2.0还可以根据评估结果为ai开发人员提供模型诊断建议,以帮助开发人员不断调整和增强模型。

模型改进的最后阶段是部署。

然而,在部署之前,有必要为不同的平台转换训练有素的模型。

在这方面,华为云也得到了升级。同时,专家介绍说,modelarts 2.0可以进一步压缩模型而不损失模型的准确性,从而提高模型部署在端侧和边缘侧的能力。

模型部署:自动疑难案例发现、在线学习

最后,一般来说,模型部署阶段也是人工智能开发的最后阶段。

但是遭受ai开发的开发者都知道这是最紧张的阶段。

因为人工智能模型需要直接提供给用户登陆,换句话说,整个模型接收到的输入将呈现不同的状态。

目前,人工智能基本上是基于数据集的。

那么,这个模型能保存数据集之外的数据吗?训练集和测试集的准确性能保持吗?这些都是急需解决的问题。

在这方面,除了云实时服务、批处理服务和端到端云协作之外,华为云模型2.0还提供自动硬案例发现。

它直接打开运行状态和开发状态,以便数据和模型可以在线持续学习和演化。

具体来说,如果模型在实际推理过程中遇到新的难以识别的数据,modelarts 2.0将收集这些数据,然后根据开发人员的要求基于这些数据进行在线学习,以提高模型的健壮性。

目前,这项功能已经在华为的云自驱动云服务八达通上进行了试点。

此外,如果开发人员的模型经过培训,但不需要部署,那么模型和api也可以通过modelarts' ai市场进行交易。此次升级中,华为云在这方面也有了新的升级,增加了预设模型的二次优化功能。

最后,总结华为云模型2.0的功能全景:

有羊毛要拉!花费15亿美元

有了这些工具,华为云没有隐藏任何东西。基于modelarts,华为云在2019年华为全连接大会期间举办了华为云人工智能竞赛、垃圾分类挑战杯、华为云人工智能竞赛、无人驾驶汽车挑战杯等竞赛的决赛。

在会议现场,贾李咏还展示了与上海交通大学联合举办的无人驾驶汽车挑战赛的现场。开发人员通过云开发和培训。经过训练的模型被部署到车辆上的atlas 200系列hilens工具包中,以实现车辆的自动驾驶。

与此同时,华为正式宣布沃土计划2.0的细节。

该计划的目标是在未来五年投资15亿美元建设开发商生态。具体支持资源包括:

鲲鹏开发原型、瑞星培训卡、云服务凭证、开放实验室、培训认证服务、开发者竞赛、isv应用迁移技术支持、华为fae开发支持服务、华为认证、isv营销活动和样本点支持等。

此外,华为还将围绕开发者学习、产品构建和产品上市三个阶段设立lgf(学习与增长基金)/pdf(产品开发基金)/mdf(市场开发基金)基金。

特别是对于modelarts 2.0,不仅可以吸收羊毛,新用户还可以免费注册并体验40小时。华为云还推出modelarts-lab ai实战营系列活动,帮助开发者掌握人工智能实战技能,涵盖图像分割、姿态识别、活体识别、nlp等领域。

-完毕-

真诚的招聘

量子比特正在北京中关村招聘编辑/记者。期待有才华和热情的学生加入我们!详情请回复qbitai对话界面中的“招聘”一词。

量子位qbitai

跟踪人工智能技术和产品的新发展

500彩票 11选5投注 吉林十一选五开奖结果

作者:匿名

栏目新闻


© Copyright 2018-2019 epayfarda.com 荆溪新闻 Inc. All Rights Reserved.