3月(yuè)3日消息,在全球(qiú)自然语言处理领域顶级赛事GLUE
Benchmark中,阿里巴巴达摩院(yuàn)以平均(jun1)分(fèn)90.3分的成绩夺冠,刷(shuā)新自然语言理解(jiě)技(jì)术世(shì)界纪录(lù),与(yǔ)阿里同场竞(jìng)技的还有来自Google、微软、Facebook、斯坦福(fú)大学等企(qǐ)业(yè)和(hé)高校的团队。
portant;" />
比赛结果,GLUE Benchmark官(guān)网截图
自然语言理解(jiě)是人工智能的(de)核心技术(shù)之(zhī)一,GLUE Benchmark(通用语(yǔ)言理解评估基准)比赛排名(míng)是衡(héng)量自然语(yǔ)言理(lǐ)解技术水平的重要(yào)指(zhǐ)标。比赛设置了自然(rán)语言推断、语义相似度、问答匹配、情感分析等9项任务,最后按平均分综(zōng)合排名。
达(dá)摩院NLP团队取得了(le)CoLA、MRPC、QQP、WNLI等4个任务的最佳效(xiào)果,以平均分90.3分位列第一,阿(ā)里AI的表现已经显著超越人类水(shuǐ)平(87.1分)。
在自然(rán)语言理解领(lǐng)域,阿里AI实力(lì)雄厚。早在2018年(nián)初,阿里AI就(jiù)在机(jī)器阅读(dú)理解顶级赛事SQuAD中打破世界纪录,首(shǒu)次超越人(rén)类(lèi)成绩;在2019年阿(ā)里AI也曾登顶(dǐng)GLUE榜单,并于2019年6月在(zài)常识QA领(lǐng)域的权威数据集CommonsenseQA中夺冠,还刷新了MS MARCO文本阅(yuè)读理(lǐ)解挑战赛的纪录,在(zài)开放域问答(dá)任务上超越人类阅读水平。
portant;" />
达摩院AI团队在(zài)自(zì)然语言理(lǐ)解相关(guān)比(bǐ)赛的历(lì)史成绩
自(zì)然语言(yán)理解技术的(de)目的是让机器理解人类语言,在人(rén)工智能(néng)研究者的努力下(xià),人类为机器研发(fā)的“基础(chǔ)语言模(mó)型”正(zhèng)不断演进(jìn)。
Google于2018年底推出的BERT模(mó)型是业界广泛使用的自然语(yǔ)言(yán)预训练模型,达摩院(yuàn)NLP团队在BERT的基础上提出优化模(mó)型StructBERT,能让机器更好地掌握人类语法,加深对(duì)自然语(yǔ)言的理(lǐ)解。
使用(yòng)StructBERT模(mó)型好比给(gěi)机器内置(zhì)一个(gè)“语法识别器(qì)”,使机器在面对语序错(cuò)乱或不(bú)符合语法习惯的词句时,仍能(néng)准确理解并给出(chū)正确的表达和回应,大大提高机(jī)器对词语、句子(zǐ)以及语言整体的理解力。其相(xiàng)关(guān)成(chéng)果论文已被(bèi)国际人工智能(néng)领(lǐng)域顶级会(huì)议ICLR-2020收录。
据悉,这一技术已(yǐ)广泛(fàn)使用于阿里旗下阿里小蜜、蚂蚁(yǐ)金服、优(yōu)酷等(děng)业务(wù)。阿里达摩院(yuàn)的(de)语言模(mó)型(xíng)和阅读理解技术也被用于行业赋能,推(tuī)进AI技术(shù)在(zài)医(yī)疗、电力(lì)、金融等行(háng)业的落地。