24小时联系电话:185 8888 888

头条
您现在的位置: 首页 > 头条 > 英特尔预览AI在软件测试,序列模型和可解释性方面的进展
  • 和悟资本:认真学习、深入领会全国两会精神

    和悟资本:认真学习、深入领会全国两会精神

    发布时间:2020/06/05

    6月5日,上海和悟投资管理有限公司在上海召开专题会议,学习2020全国两会的会议精神。上海和悟投资管理有限公司董事长兼首席执行官、中融德汇(北京)基金管理有限公司董事长兼首席执行官、香港宜达保险经纪有限...

  • 兼顾财富与健康看直播免费抽取莱克立式吸尘器

    兼顾财富与健康看直播免费抽取莱克立式吸尘器

    发布时间:2020/04/02

    疫情全球蔓延,市场动荡,如何做好个人和家庭的财富管理,利用资产配置策略实现个人财富保值增值,莱克电气联手诺亚财富,与您在疫情全球蔓延的当下,看清麻烦,也抬头找寻头上的阳光。 行情简讯 新冠疫情在全球...

  • 长城汽车:2019年营收962亿元 海外营收涨超60%

    长城汽车:2019年营收962亿元 海外营收涨超60%

    发布时间:2020/04/02

    3月31日晚,长城汽车发布的2019年年度业绩公告显示,公司2019年营业总收入962.11亿元,较去年同期下降3.04%,归属于母公司股东净利润44.97亿元,同比下降13.64%。其中,出海业绩表现突出,2019年公司在海外市场营...

  • 格力被授权对弈机器人专利,想打败下一个李世石?

    格力被授权对弈机器人专利,想打败下一个李世石?

    发布时间:2020/04/02

    根据天眼查的消息,近日,格力电器全资持股的珠海格力智能装备有限公司新增多项专利信息,且诸多专利都与机器人相关,其中包括一项名为“对弈难度等级的处理方法及装置、机器人”的专利。 提起对弈机器人,大家首先...

  • 给你一只牛股,让你七月敢梦敢想满载而归

    给你一只牛股,让你七月敢梦敢想满载而归

    发布时间:2020/07/07

    多年来,每每提到散户,听到的都是一片唏嘘!什么散户注定被割韭菜,注定在股市里亏的一塌糊涂的言论就蹿了上来……. 但今天我想讲心中有敌,天下皆为敌。心中无敌,无敌于天下。我们一起面对未知的恐...

  • 自2009年以来石油期货首次突破10美元大关

    自2009年以来石油期货首次突破10美元大关

    发布时间:2020/03/31

      冠状病毒或Covid-19大流行对全球石油市场造成了空前的破坏,使石油期货对后来的合约形成了创纪录的两位数折扣,全球代理基准布伦特原油价格近期暴跌首当其冲。 周五(3月27日),5月北海布伦特原油期货价格...

  • COVID-19公开反对石油和天然气的“压裂”

    COVID-19公开反对石油和天然气的“压裂”

    发布时间:2020/03/31

      COVID-19的袭击将有一天过去,我们将恢复正常生活。我们的现实是,我们必须尽力而为。 11月将举行选举,所以让我们开始吧。 问题:为什么这么多总统候选人(仍然有两个)提出的能源政策是:(1)对美国国家安...

  • 2020太和顾问人力资本调研启动会,如期举办,圆满落幕!

    2020太和顾问人力资本调研启动会,如期举办,圆满落幕!

    发布时间:2020/03/23

    疫情黑天鹅扰乱了公众的计划节奏,给社会和经济发展带来了突入其来的扰动和考验。在当下远虑与近忧共存的特殊时期,太和顾问特邀8位人力资源专家线上发布最新数据和趋势,指导企业调整战略,提升核心竞争力,渡过...

英特尔预览AI在软件测试,序列模型和可解释性方面的进展

发布时间:2019/12/10 头条 浏览次数:149

 
本周标志着神经信息处理系统(NeurIPS)的启动,这是全球最大的AI和机器学习会议之一。 NeurIPS 2017和NeuIPS 2018分别收到3240和4,854份研究论文,今年的活动(将于12月8日至12月14日在温哥华举行)有望轻松打破这些记录。 (今年的提交使NeurIPS的网站不堪重负,该网站在正式截止日期前几分钟崩溃了。)
英特尔的研究人员以及谷歌,Facebook,苹果,Uber,阿里巴巴,百度等众多科技巨头的研究人员都将出席。加州圣塔克拉拉(Santa Clara)的芯片制造商表示,计划举办三场会议,研讨会和聚光灯会议,涵盖深度均衡模型,模仿学习,机器编程等主题。
英特尔实验室高级研究员兼董事总经理Rich Uhlig博士写道:“英特尔在推进和扩展神经网络技术以应对日益复杂和动态的工作负载方面取得了重大进展,从应对内存挑战到研究新的自适应学习技术,”博客文章。 “我们在NeurIPS上展示的开发成果将有助于减少内存占用,更好地衡量神经网络如何处理信息,并重塑机器实时学习的方式,为新的深度学习应用程序打开了潜力,该应用程序可以改变从制造业到医疗保健的所有领域。”
自动化软件测试
英特尔计划重点研究的领域之一是通过机器学习实现自动化的软件开发。英特尔实验室,麻省理工学院和德州农工大学的一个团队在最近的一篇题为《用于诊断软件性能退化的零正学习方法》的论文中提出了AutoPerf,这是一种自动化回归测试的方法(新代码签入引入的错误)​​。在高性能计算代码中。仅利用名义培训数据和硬件性能计数器(HWPC),或内置于处理器中的一组专用寄存器,这些寄存器存储来自各种与硬件有关的活动的指标,该论文的作者证明了AutoPerf可以检测某些最复杂的性能在并行编程中发现的错误。
AutoPerf的秘密秘诀是零积极学习(ZPL),这是一种最初用于异常检测的半监督机器学习技术。性能缺陷被视为违背给定软件预期行为的不正常行为,系统将其用于训练自动编码器(即从数据集中学习表示形式的机器学习模型的类型)。至于HWPC,它们跟踪诸如处理器周期的流逝,高速缓存的命中和未命中,分支预测以及已执行的指令之类的东西,它们充当了一种收集软件活动信息的机制,而无需修改源代码或引入影响性能的开销。
研究人员报告说,在涉及对七个基准和程序中的10个错误的三种类型的回归的实验中,AutoPerf并未标记出假阴性。平均而言,与以前的最新技术方法相比,它具有4%的性能分析开销并能准确诊断出更多的性能问题,其中包括专家程序员遗漏的问题。
目标条件式模仿学习
机器人算法是否可以从人类演示中快速轻松地学习?英特尔的研究人员与加利福尼亚大学伯克利分校和初创公司Covariant.ai的贡献者断言,他们可以在题为“目标条件下的模仿学习”的论文中提出该建议。该团队提出了一种新颖的模型-GoalGAIL,该模型能够学习得比专家演示者,甚至可以在非专家动作下执行。他们认为,这可能会扩展机器人在工业环境中的应用,在工业环境中算法可能需要快速适应新零件,而在个性化机器人中,模型必须通过演示适应个人喜好。
正如该论文的合著者所解释的那样,一种通用的机器人自我监督形式涉及学习如何按需达到任何先前观察到的状态。可以训练AI模型以寻求使其观察值与预定目标完全匹配。但是,这种奖励在实践中并不经常观察到,因为很少遇到两次确切的感觉输入。一种称为Hindsight Experience Replay(Hindsight体验重播)(HER)的技术通过重新标记收集的轨迹来解决此问题,将其目标替换为在该轨迹期间实际访问的状态。但这并不完美-在需要发现特定状态才能发现整个空间的新区域的情况下,学习需要花费大量时间。 (请考虑在房间之间的狭窄走廊上导航,或者用机械臂拾取并放置物体。)这就是GoalGAIL的用武之地。通过模仿学习,它可以从专家那里得到示范,从而产生奖励。
研究人员报告说,goalGAIL的收敛速度比HER快,并且最终性能更好。
序列模型的新方法
英特尔研究人员团队将讨论一种新的方法,用于对序列数据或顺序重要的数据进行机器学习。在典型模型中,神经元(数学函数)排列在相互连接的层中,这些层传输输入数据中的“信号”并缓慢调整每个连接的突触强度(权重)。他们就是这样提取特征并学会做出预测的。来自卡内基·梅隆和英特尔的“深度均衡模型”作者说,他们设法用单层体系结构取代了流行的多层体系结构,该体系结构可以在语言基准测试中达到最新的性能。减少了88%的内存占用。
这个被团队称为深度均衡模型(DEQ)的新颖结构,可以通过寻根直接找到多层网络收敛的点,寻根是一种寻找连续函数零的算法。在包含超过1亿个单词的开源WikiText语料库上,其性能与基于Google Transformer的体系结构相当,后者是一种多层模型,可以选择性地调整其元素之间的权重。这是一项令人印象深刻的壮举-变形金刚模型具有巨大的内存要求(在这种情况下,内存要求高达9GB,而DEQ的最大值为3.7GB),并且只能在专用硬件上进行快速培训。
4位训练而无需重新训练
卷积网络是最常用于分析视觉图像的一种AI模型,它需要大量的计算资源,内存带宽和存储容量来摄取和处理数据。加快分析速度的一种方法是量化,或者用该模型的“压缩”版本对模型进行近似的过程。但是要恢复由此造成的精度损失,通常需要完整的数据集和费时的微调。
因此,英特尔团队与以色列Technion的研究人员合作开发了一种量化方法,该方法不涉及微调或使用大型语料库。取而代之的是,它们的4位训练后量化目标是模型的权重及其激活函数(函数的位,用于定义给定一个输入或一组输入的输出)。并且提出了三种互补的方法-用于整数量化的分析削波,每通道位分配和偏差校正-可以最大程度地减少量化误差。该小组在合着论文《快速训练后的卷积网络的训练后4位量化》中报告说,这使它在一系列卷积模型中所达到的精度仅比最新基准低几个百分点。部署。”
研究人员写道:“ [我们的工作]引入了第一种实用的4位后期训练量化方法。” “神经网络量化在减少中间结果的数量方面具有显着的优势……我们在本文中的主要发现表明,由于准确性降低了百分之几,对于4位量化,可能不需要重新训练卷积模型。”
了解神经网络
人工智能和机器学习的可解释性是英特尔研究的重点领域,那里的研究人员认为,他们(与麻省理工学院的科学家合作)已开发出措施,以更好地理解至少一种模型:语音模型。在NeurIPS 2019上接受的一篇论文(“不变语音识别中的纠缠”)中,他们解释了如何采用最近开发的统计力学理论,该理论将AI模型表示的属性与类的可分离性联系起来,以探究模型中数据如何理清。
根据该团队的说法,这种统计方法使他们能够观察到说话者特定的烦扰变化被模型的层次结构所丢弃,而与任务相关的属性(如单词和音素)(将特定语言中的一个单词与另一个单词区分开的声音单位)在以后的层次中会更加复杂。较高的概念(如词性和上下文相关性)也出现在网络的较后层,而深层表示通过在计算的每个时间步高效提取与任务相关的特征来进行重要的时间分解。
“尽管[卷积]架构和[端到端[自动语音识别]模型都收敛于非常相似的行为,尽管它们接受了不同的任务训练并使用了不同的计算模块。他们都学会了消除令人讨厌的声音变化,并展现出与任务相关的信息。”研究人员写道。 “总而言之,这些发现揭示了深度听觉模型如何处理时间相关的输入信号以实现不变的语音识别,并显示了不同的概念如何在[模型]的各个层出现。”