3月16日(rì),百度(dù)正式(shì)发(fā)布大语言模型、生成(chéng)式AI产品“文心一言”。百度创始人、董事长兼首席执(zhí)行官(guān)李彦宏及百度首席(xí)技术官(guān)王海峰(fēng)出席发布会。李(lǐ)彦宏展(zhǎn)示(shì)了文心一(yī)言在文学(xué)创作、商业文案创作、数理推算、中文理解、多模态生成五个使用场景中的(de)综合能力。
“生成(chéng)式AI代表着新的技术范式,是(shì)任何企(qǐ)业都不应错过的(de)大机会。”李彦宏说,“这段时(shí)间不(bú)断有人问我,为什么现在发布,你们是不是真的ready了?其实(shí),百度在过去十几年中持续在AI研发上坚持(chí)投入,文心(xīn)大(dà)模型第(dì)一个(gè)版本2019年就(jiù)发布(bù)了,此后(hòu)的(de)每一年都发布一个(gè)新版本,从这(zhè)个意义上说,文(wén)心一(yī)言的发布只是我(wǒ)们(men)过去多年努力(lì)的一(yī)个自然延续。”
李彦宏表(biǎo)示(shì),大家的(de)期望值(zhí)是要对标(biāo)ChatGPT,甚至要对标GPT-4,这个门槛还(hái)是(shì)很高的。全球的(de)大厂当中,百度(dù)是第(dì)一个“发布”的。他(tā)说,内测中“文心一言”并不完美,之所以现在要发(fā)布(bù),原因(yīn)在于市场(chǎng)有(yǒu)强烈需求。其定(dìng)位是通(tōng)用(yòng)大模(mó)型。
李彦(yàn)宏认为,多模态是(shì)生成式AI一个明确的发展趋势。未来(lái),随着百度多模态(tài)统一大(dà)模型的能力增强(qiáng),文心(xīn)一言的多模(mó)态生成能力也会不断提升。而(ér)大模型会(huì)带来三大产业机会:新型云计算、行业模型精调(diào)、应(yīng)用开发。
发布(bù)会举行时,截至14时22分,百度(dù)集团(09888.HK)股价(jià)跌幅扩(kuò)大至近(jìn)10%,报120.5港(gǎng)元/股。
演示(shì)五个场景下的能力(lì)
发布会上(shàng),百度播放了“文心一言”的演(yǎn)示(shì)视频,以下(xià)为演示实录(lù)。
文学创作

问题:
· 《三体》的作者是哪里人?
· 可以总结一下《三体》的核(hé)心内容吗?如果要续写的(de)话,可(kě)以从哪些角度出发(fā)?
· 如何从哲学的角度续写(xiě)?
· 电(diàn)视剧《三体(tǐ)》演员都(dōu)有谁?
· 于和伟和张鲁(lǔ)一(yī)有哪(nǎ)些共同点?
· 于和伟和张(zhāng)鲁一谁更高?
李彦宏:刚才的演示中(zhōng),“总结三体(tǐ)的(de)核心内容”,体现的是文心(xīn)一言的总结、分析能(néng)力。续(xù)写《三体》,体(tǐ)现(xiàn)的是(shì)内容(róng)创(chuàng)作生成能力。
《三体》的作者是谁?他是哪里人?电视(shì)剧三(sān)体演员都有谁?文(wén)心一言回答是正确的。大(dà)家可(kě)能知道,生成式(shì)AI这类产品(pǐn),在(zài)回(huí)答事实(shí)性问题时,有时候会(huì)出(chū)错。文心一(yī)言延(yán)续了百(bǎi)度知识增强的大模型理念(niàn),大幅度提(tí)升了事(shì)实性问题的准确率。
于和伟(wěi)和(hé)张鲁一(yī)有哪些共同点、于(yú)和伟和张鲁一谁更(gèng)高?这类问(wèn)题背后,则体现的是文心一言(yán)的(de)推理能力。比(bǐ)如,它得先知道两人的准确(què)身高(gāo),才能得出(chū)正确答(dá)案。
商业文案创作

问题:
· 如果要成立一个(gè)用大模型服务中小(xiǎo)企业数字化(huà)升(shēng)级的科技服(fú)务(wù)公司,可以起个什么公司名?
· 数智云图这个名(míng)称不(bú)错(cuò),给我(wǒ)起(qǐ)一个公(gōng)司的服务Slogan,表(biǎo)达共赢的概念(niàn)。
· 帮我生成一篇(piān)公司成立的(de)新闻稿,数智云图以共赢(yíng)的服务理念用大模(mó)型服(fú)务中小企业数字化升(shēng)级。字数600字。
李彦宏:刚才的(de)演示,展现了文(wén)心一言(yán)连续(xù)三次内容创作生成。
AI要写好一篇稿子,除了(le)需(xū)要准(zhǔn)确(què)理解我们的(de)意图,还要(yào)有清晰的表达能力。
这背后(hòu)有一个基础(chǔ),就是庞大的(de)数据规模。人类常说“读万卷书”,而AI可以说是(shì) “读(dú)书破千亿卷”。文心一言大模型的训练(liàn)数据就包括,万(wàn)亿级网页数(shù)据(jù),数十亿(yì)的搜(sōu)索数(shù)据和图片数(shù)据(jù),百亿级(jí)的语音日均调用(yòng)数据,以及5500亿事实的知识图谱(pǔ)等,这让(ràng)百度在中文语言的(de)处理上,能够(gòu)处于(yú)独一无二(èr)的位置(zhì)。
有研(yán)究表(biǎo)明,数据规模足够大,参数达到千亿级,大模型(xíng)就可能发生“智能涌现(xiàn)”,即使在(zài)没(méi)有专门训练(liàn)过(guò)的领域(yù),也能涌现出知识理(lǐ)解和逻辑(jí)推(tuī)理能力。
数理逻辑(jí)推算任务(wù)

问题(tí):
· 下面(miàn)我们来玩一个鸡兔同笼(lóng)的游戏(xì)。1只鸡有2只脚(jiǎo)1个头,1只兔子有4只脚1个头(tóu)。那么,如果有一个(gè)笼子(zǐ)里有9个头,40只(zhī)脚,应(yīng)该有多少只鸡,多(duō)少只兔子?
· 下面我们来玩一(yī)个鸡(jī)兔同笼的游戏。1只鸡有2只脚1个头,1只兔子有4只脚1个(gè)头。那么,如果有(yǒu)一个笼子里有9个头,30只(zhī)脚,应该有多少只鸡,多少只兔(tù)子?
李彦宏:对于第一道题,文心(xīn)一言经过演算,认为(wéi)可能是题出错了。对于第(dì)二道,文心一言不但给出了正确(què)结果(guǒ),还详细给出解题步骤。可(kě)以看出,文(wén)心一(yī)言能理解题(tí)意(yì),并有正确的解题思路,进而(ér)像(xiàng)学生(shēng)做题一样(yàng),按正确的(de)步骤,一(yī)步(bù)步算出正确答案。
文心一言(yán)已具备了一定的思维能力,能够(gòu)学会数学推演及逻辑推理这类相对复(fù)杂(zá)任务。当然,现(xiàn)阶段准确率还不是100%,我(wǒ)们还需(xū)要给它更多的时间来(lái)学(xué)习和成长。
中文理解能(néng)力

问题(tí):
· “洛阳纸贵”是什么(me)意思?
· 当时洛阳(yáng)的纸到底(dǐ)有(yǒu)多贵?
· 这个成语在现在的经济学原理里,对应的理论是什么?
· 用洛阳纸贵(guì)四(sì)个字(zì)写一首(shǒu)藏头(tóu)诗(shī)。
李彦宏:“洛阳纸贵”,“藏(cáng)头诗”,这很考验AI对中文和中国文化的理解。
作为扎(zhā)根于中国市场(chǎng)的大语言模型(xíng),文心一言具备中文(wén)领域最先(xiān)进的自然语言处理能力。这个例子(zǐ)就比较清楚地展(zhǎn)示了我们(men)在中文上的优势。
相对应(yīng)的,文心一言目前对英文语种、代码场景的训(xùn)练还不够(gòu)多,表现还不够好,接下(xià)来(lái)我们还要(yào)加紧训练,不断完善这些能力。
多模态生成

问题:
· 请为2023世界智能交(jiāo)通大会创作一张海(hǎi)报。
· 你认(rèn)为智能交通最适合哪个城市发展?
· 请(qǐng)用(yòng)四川话将以(yǐ)上内容讲出来。
· 请(qǐng)将(jiāng)以上内容生成视频。
李彦宏:刚才这一段演示,文(wén)心一言生(shēng)成了文本(běn)、图片、音频(pín)和视频,展(zhǎn)示了多模态生成(chéng)能力。目前的(de)版(bǎn)本,已经(jīng)能够生成文字(zì)、图片和语音。生成视频因为成本比(bǐ)较高,还没有对(duì)所有(yǒu)用户开放,未来我们会(huì)逐步接入。但(dàn)是熟悉百家号创作的(de)朋友(yǒu),应该都体验过这个功能了,每(měi)天有几万篇文章通过这个能力(lì)转成视频(pín)内容在百(bǎi)度分发。
多模态(tài)是生成式AI一(yī)个明确的发展趋势。未(wèi)来,随着百度多模态统一大模型的能(néng)力增强,文心一言的(de)多模态生成能(néng)力(lì),也会不(bú)断(duàn)提升(shēng)。
“四层架构的每一层都有领先产(chǎn)品”
在结束演示(shì)后,李彦宏(hóng)总结道:“从文心一言的表现(xiàn)看,某种程度上它(tā)具有(yǒu)了对人类意图(tú)的理解能力,回答的准确性、逻辑性、流畅性,都逐渐接近人类水平。但整体而言,这(zhè)类大语言(yán)模型还远未到发展(zhǎn)完善的阶(jiē)段(duàn),它们有(yǒu)时(shí)候(hòu)会有很惊艳的表现,但不(bú)少场景下,细究起来还有明(míng)显的bug,进步(bù)空间很大(dà)。未来这(zhè)段时间它一(yī)定会飞速(sù)发展,日新月异(yì)。”
李彦宏表示,通过定向(xiàng)微调,可以(yǐ)在百度内外部各类产品上(shàng)逐步展(zhǎn)示出惊人的亲和力,让每一个产品(pǐn)离自己的(de)用户(hù)和客户更近。文心一言(yán)这样的(de)大(dà)语言模型(xíng),会成为每个人(rén)必(bì)不(bú)可少的生产力工具。不过,无论是(shì)哪家公司,都不可能靠突击几个月就能做(zuò)出(chū)这样的大语言(yán)模型。深度学(xué)习、自(zì)然语言处理,需要多年的(de)坚持和(hé)积累,没法速成。
“人类进入人工(gōng)智能时代,IT技(jì)术的技术栈发生(shēng)了(le)根本性(xìng)变化。过去基本分为(wéi)三层:芯片层(céng),操作系统层和应用层。现在可以分(fèn)为四层:芯片层(céng)、框架层、模型层(céng)和应用(yòng)层(céng)。”他介绍说,“今天,百(bǎi)度是全球为(wéi)数不多、在这四层进行全栈(zhàn)布局的人工智(zhì)能公司,从高端芯片昆仑芯,到飞桨深度学习框(kuàng)架,再(zài)到文心预训练大模型,到(dào)搜索、智能云、自动驾驶、小度等应用,各个(gè)层(céng)面都有领先业界的(de)自(zì)研技术。”
文心(xīn)一言位于模型(xíng)层。2019年,百(bǎi)度(dù)推出了文心大模型ERNIE 1.0。目前,ERNIE 3.0每天接(jiē)受数十亿次(cì)用户的搜(sōu)索请(qǐng)求。这让文心一言能够基于一个庞大的、高效的数据池,快速地学习和改进。
“大模型训练堪称暴力美学(xué),需要有大算(suàn)力、大数据和大(dà)模(mó)型,每一次训练任(rèn)务都耗资巨大。全栈布局的优势在于(yú),可以在技术栈(zhàn)的(de)四(sì)层架构中,实现端(duān)到端优化,大幅提升效率。尤其是,框(kuàng)架层和模型层之间(jiān),有很强的协同作用,可以帮(bāng)助构建更(gèng)高效的模型,并(bìng)显(xiǎn)著降(jiàng)低成本(běn)。事实上,超大规(guī)模模型的训练(liàn)和(hé)推理,给深度学习(xí)框架带来了很大(dà)考验。比如,为了支(zhī)持千亿参数模型的高效分布式训练,百(bǎi)度(dù)飞(fēi)桨专门研(yán)发了(le) 4D 混合并(bìng)行技术。”李(lǐ)彦(yàn)宏介(jiè)绍道。
“另外,芯片、框(kuàng)架、大(dà)模型和(hé)终端应用(yòng)场景,可以形成一个高效的反(fǎn)馈(kuì)闭环,帮助大(dà)模(mó)型不断去调优迭代,越做越好。更好的大模型(xíng),会(huì)让用户体验不断升级。”
最后(hòu),李彦宏强(qiáng)调:“在全球范围内,在四(sì)层架(jià)构的(de)每一层都有领先产品的公司几乎没有,百度(dù)的优势(shì)非常独特,相(xiàng)信大家会在后续文心的迭代速(sù)度上有明显感受。”