“两张人眼看上去一模一样的照片，机器（qì）人（rén）读取后（hòu）为何（hé）会攻击其（qí）中（zhōng）一（yī）张图呢？因为不正常的照片中被嵌入了特殊的（de）噪（zào）声（shēng），人工智能产品读（dú）取了带有攻击性的信（xìn）息。”“同一张禁止标记（jì），被放入了不同信息，人工智能产品读取（qǔ）一（yī）张是正常的停（tíng）止标签，另（lìng）一个则是绿（lǜ）灯。”上海科学院（yuàn）直属单位（wèi）上（shàng）海计（jì）算机软件技术开（kāi）发中心主任（rèn）蔡（cài）立志介绍道，以上就是上海市生成式人（rén）工智能（néng）质量检验检测中（zhōng）心（质检中（zhōng）心）所（suǒ）提供的检测服务（wù）之一。

7月20日下（xià）午，记（jì）者走入刚刚成立的上海市生成式人工智能质量检验检测（cè）中（zhōng）心（xīn）（质检（jiǎn）中心）内，深入了解当下最火（huǒ）热的生成（chéng）式（shì）人工智能如何保障可靠可信，为人工（gōng）智能产业的（de）健康发展保驾护航。

防止人（rén）工智能“变坏（huài）”

做产业健康（kāng）诊断师（shī）

近年来，随着生成式人工智能技（jì）术的（de）快速发展，为（wéi）经济社（shè）会发展（zhǎn）带来新（xīn）机遇（yù）的同时，也产生了（le）传播虚假（jiǎ）信息、侵（qīn）害个人信息权益（yì）（换脸（liǎn）侵（qīn）害（hài）明星肖像、合成（chéng）语音进行诈骗（piàn）等）、数（shù）据安（ān）全和偏见歧视等（děng）问题。

在此（cǐ）背景下，上（shàng）海首个生（shēng）成（chéng）式人工智能（néng）质（zhì）检中心在6月（yuè）8日正式批筹。该中心（xīn）由上海计算（suàn）机软件（jiàn）技术开发中心筹建，上（shàng）海市人（rén）工智能行业协会推荐（jiàn）指（zhǐ）导（dǎo），提供人工智（zhì）能质量“一站式”测（cè）评服务，面向生成（chéng）式人工智能及其涉（shè）及的计算机（jī）视觉、自（zì）然语言（yán）处理、AI内容生成等（děng）领域，打造人工智能（néng）测评第三方（fāng）服（fú）务新模式，聚焦（jiāo）生成式人工智能系统的逻辑推理（lǐ）能力、生成内（nèi）容语义和谐（xié）性、功能（néng）有效性、性能（néng）、安全隐私风（fēng）险（xiǎn）等方面，开展系（xì）统检测、风险评估（gū）、内容鉴别等（děng）专业服务（wù）。

人工智能（néng）发展不同于此前的软件时代（dài），需要不断开（kāi）放数据，不断（duàn）学习，才能不断进步，走得更好。而开（kāi）源开放也就意味着（zhe）产生更多潜在的（de）“危（wēi）险”。蔡立志说：“就像孩子一样，不正确的教育方式会教坏孩子，我们（men）就是防止人工智能产品（pǐn）‘变坏’，阻止不良数据导入等。”

据悉，上海计算机软（ruǎn）件技术开发中心（xīn）去年就推（tuī）进了（le）300多个人工（gōng）智能质检项（xiàng）目，并在业界取得（dé）了良（liáng）好（hǎo）的口碑。

“与传统的（de）检测以发现不合（hé）格为首要任务不同，在（zài）人工智能时代，新设立（lì）的生（shēng）成式人工智能质量检（jiǎn）验检测（cè）中心不仅仅是守（shǒu）底线，更多的是引导（dǎo）产业向健康的方向发展。”上海计算机（jī）软件（jiàn）技术（shù）开发中心（xīn）副主任宋俊典解释说，这就是新（xīn）型产（chǎn）业（yè）检测（cè）中心（xīn）的（de）不同之处。

近年来，在上海（hǎi）科学院（yuàn）的（de）整体部署（shǔ）下，上海软件中心积（jī）极布局并开（kāi）展了人工智能应用（yòng）、人工智能治理、人（rén）工智能测评等（děng）技（jì）术（shù）研究与第三方技（jì）术服务。陆续（xù）参（cān）与（yǔ）人工智（zhì）能（néng）国（guó）际（jì）、国（guó）家标准的研（yán）制，是国（guó）家信标委（wěi）SC42人（rén）工智能分委会首批单（dān）位会员，参与编写了《中国人工智能标准化白皮书（2021）》，完成了《人（rén）工（gōng）智能 深（shēn）度合（hé）成（chéng）图像系统技术规范》《人工智能 深度学习（xí）算法评估规范》《人工智能（néng） 计算机（jī）视觉系统测评规范》等30余项标准研制。

“我们还在（zài）牵头（tóu）制定多项新标准，生成式只是人工智（zhì）能的一部分（fèn），未来我们还会探索工业智能（néng）质检、智慧（huì）医疗等领域（yù）。”蔡立（lì）志表示。

给狂（kuáng）飙（biāo）的生成式（shì）人工智能

系（xì）上（shàng）“安全带”

生成（chéng）式人工（gōng）智能（néng）的狂飙突进，大模（mó）型时代已然降临。在“百模大战”越（yuè）战越酣之（zhī）时，大模型（xíng）其内（nèi）生及衍生安全威胁也（yě）愈演愈烈，数（shù）据泄露、幻想（xiǎng）、生产歧视、排斥和有害内容等安全（quán）问题层出不穷。如何将制约大模型应用发展的“绊脚石”变（biàn）为（wéi）“压舱石”？

以自动（dòng）驾驶领域而言，自动驾驶需要通过真（zhēn）实世界的数据来训（xùn）练、测试和验证模型算法的安全性和（hé）准确性，其（qí）过程需要大量数据支持和（hé）复杂的驾驶环境。然（rán）而，让汽车（chē）通过实际道路测（cè）试在（zài）道路上（shàng）可（kě）能遇到的每一个场景是不现实的，AIGC（人工智能生产内容）正可以用于模拟各种（zhǒng）驾驶（shǐ）场景。

在（zài）上海市生成式人工智能质（zhì）量检验检测中心（质检中（zhōng）心）内（nèi），检（jiǎn）测平台（tái）正在进行“自动驾驶鲁棒性（xìng）检测”。鲁棒测试是（shì）对各（gè）个模块的功能进行容（róng）错（cuò）性的测（cè）试，检（jiǎn）测AI模型或（huò）者系统（tǒng）在异常（cháng）输入和苛（kē）刻环境条件下能否（fǒu）保持（chí）正常工作。

“自动驾（jià）驶包括车道、红（hóng）绿灯（dēng）检测等模块（kuài），我们基于视（shì）觉去攻（gōng）击自动驾驶（shǐ）系统的感知算法，针对每一（yī）个模块进（jìn）行仿真检测。”质检中心检测工程师马泽（zé）宇说（shuō）。

自动（dòng）驾驶（shǐ）正快速（sù）在上海发展，如《浦东新区无驾驶人智能（néng）网（wǎng）联汽车创新应用规定》以及相关实（shí）施（shī）细则的落实（shí），上海浦东新区（qū）自（zì）动驾驶（shǐ）汽（qì）车已（yǐ）迎来了无（wú）人（rén）化阶段，众多企业正在加速（sù）产品的研发。业界专（zhuān）家（jiā）认为，在人（rén）工智能领域（yù）建立质检中心，正是（shì）为了（le）给狂飙的生成式人（rén）工智能系上（shàng）“安全带”。

截止到（dào）2023年7月8日，中国国内推出了（le）近100个大模型，如（rú）何客（kè）观地（dì）评价、比较大（dà）模型及其他AIGC模型的性能，成为大模型应用的关键（jiàn）一环（huán）。7月10日，国家网信（xìn）办等（děng）国家七部委联合发文《生成式人工智能服务管（guǎn）理暂（zàn）行办（bàn）法》，自2023年8月15日起施行，管理办（bàn）法明确（què）了（le）AIGC服务提供者的责任，包括信息源可（kě）信（xìn）责任、生（shēng）成内容合（hé）法合规（guī）责（zé）任、申报安全评估（gū）及算（suàn）法备案（àn）责任。管理办法的落（luò）地亟需（xū）专业的第三（sān）方机（jī）构提供人（rén）工智能（néng）质量检验检测服务。

据（jù）悉，新建立的质检中（zhōng）心将参考国内外人工（gōng）智能（néng）测评标准和前（qián）沿技（jì）术，建立人工智能检验（yàn）检测评价指（zhǐ）标体系等（děng）。“要让（ràng）企业的人工智能（néng）研发工作平稳可持续发（fā）展，为（wéi）人工智能产（chǎn）品的安全性保驾（jià）护航，让（ràng）老百姓（xìng）在使用人工（gōng）智能（néng）产（chǎn）品时用得放心，用得安心。”蔡立志说。