ICS35.240 CCS L67 YD 中华人民共和国通信行业标准 YD/T XXXX—XXXX 大规模预训练模型技术和应用评估方法 第4部分：可信要求 Evaluation method of large scale pre-training model technology and application -Part 4 : Trustworthy requirements （报批稿） XXXX - XX - XX 发布 XXXX-XX-XX实施 中华人民共和国工业和信息化部 发布 YD/TXXXX—XXXX 前言 起草。 本文件是YD/TXXX《大规模预训练模型技术和应用评估方法》系列标准的第4部分，YD/TXXX 已经发布了以下部分： 第3部分：模型应用； 一第4部分：可信要求。 本文件是《大规模预训练模型技术和应用评估方法》系列标准的第4部分。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由中国通信标准化协会提出并归口。 本文件起草单位：中国信息通信研究院、中国移动通信集团有限公司、华为云计算技术有限公司、 北京交通大学、上海燧原科技股份有限公司、蚂蚁科技集团股份有限公司、新华三技术有限公司、北京 奇虎科技有限公司、北京百度网讯科技有限公司、华为技术有限公司、上海商汤智能科技有限公司、科 大讯飞股份有限公司、深圳市腾讯计算机系统有限公司、浪潮云信息技术股份公司、中国联合网络通信 集团有限公司、中国科学院自动化研究所、中国电信集团有限公司、浙江邦盛科技股份有限公司、北京 华品博睿网络技术有限公司、杭州海康威视数字技术股份有限公司、马上消费金融股份有限公司、亚信 科技（中国）有限公司、北京九章云极科技有限公司、美的集团（上海）有限公司、国投智能厦门信息 股份有限公司、天津大学、中国信息通信科技集团有限公司、阿里云计算有限公司、北京启明星辰信息 安全技术有限公司、北京神州绿盟科技有限公司、南京新一代人工智能研究院。 本文件主要起草人：董晓飞、丁怡心、吴思奇、孟悦、张学强、曹峰、龚柳婷、张婷、杨凯、刘 全超、聂锦燃、蔡云飞、廖宇轩、郑子木、吴坤、胡建村、桑基韬、黄晓雯、梅敬青、王思善、王维强、 林冠辰、禹龙、杨阳、邹权臣、张德岳、郭建领、包沉浮、张竞、杜思清、徐浩、蒋慧、刘聪、王士进、 刘权、黄超、裴歌、尹萍、刘琛、魏家馨、陈佳琦、钱胜胜、曾然然、任宏丹、高丽、高杨、秦川、马 良、蒋宁、经琴、路明奎、刘兆涵、骆志伟、金辉、王岚君、王照、张怀文、董昊。 III YD/T XXXX—XXXX 引言 大规模预训练模型是人工智能新基建的技术底座，缓解人工智能开发及应用过程中的“碎片化"问题， 助推自然语言处理、智能语音、计算机视觉等人工智能技术取得突破，加速人工智能落地进程，进而带 动国内人工智能基础设施的发展，助力人工智能向实用化、通用化和普惠化发展。 YD/TXXX《大规模预训练模型技术和应用评估方法》规定了大规模预训练模型研发及应用全生命 周期能力要求及评估方法，适用于构建并完善大规模与训练模型开发、应用、运营、可信能力，规范大 规模与训练模型评估方法。 大规模预训练模型技术和应用评估方法系列标准拟由以下部分组成。 第1部分：模型开发。目的在于从数据管理、模型训练、模型管理、模型部署、开发流程一体 化五大维度，综合评估大模型开发能力。 一一第2部分：模型能力。目的在于从能力支持度和服务成熟度两方面对大模型能力进行规范 一第3部分：模型应用。目的在于从应用丰富度、应用灵活度、应用成熟度三个方面对应用过程 进行规范。 第4部分：可信要求。目的在于从基础软硬件可信、数据可信、模型可信、应用可信等方面综 合评估大模型满足可信要求的能力。 一第5部分：模型运营。目的在于从大模型工具平台、运营管理能力对大模型运营能力进行评估。 IV YD/T XXXX—XXXX 大规模预训练模型技术和应用评估方法 第4部分：可信要求 1范围 本文件规定了大规模预训练模型在研发及应用过程中的可信要求和应用评估方法，包括基础设施可 信、数据可信、模型可信和应用可信等。 本文件适用于为研发及应用大规模预训练模型的机构提供可信评估参考。 2 规范性引用文件 本文件没有规范性引用文件。 3术语和定义 下列术语和定义适用于本文件。 3. 1 大规模预训练模型 large-scale pre-trained model 一种参数规模较大的预训练模型，通过自监督或者无监督技术从海量的通用数据中训练得到基础模 型，并结合下游具体任务对其进行微调，最终被训练成具有逻辑推理和分析能力的人工智能模型。 3. 2 可靠性reliability 人工智能实施一致的期望行为并获得结果的性质。 [来源：GB/T41867-2022，3.4.4] 3. 3 可控性controllability 人工智能系统被人类或其他外部主体干预的性质。 [来源：GB/T41867-2022，3.4.4] 3. 4 鲁棒性 robustness 人工智能系统在任何情况下都保持其性能水平的特性。 [来源：GB/T41867-2022，3.4.9] 3.5 透明性transparency 人工智能系统与利益相关方交流关于该系统适当信息的特性。 [来源：GB/T41867-2022，3.4.12] 3. 6 YD/T XXXX—XXXX 内容风险信息contentriskinformation 《网络信息内容生态治理规定》中指出的11类违法信息以及9类不良信息的统称， 4缩略语 下列缩略语适用于本文件。 AI 人工智能 Artificial Intelligence API 应用程序编程接口 Application Programming Interface ASR 攻击成功率 Attack Success Rate BLEU 双语评估替补 Bilingual Evaluation Understudy CPU 中央处理器 Central Processing Unit CV 计算机视觉 Computer Vision GPU 图形处理器 Graphics Processing Unit NLP 自然语言处理 Natural Language Processing 消息摘要算法版本5 MD5 Message Digest Algorithm 5 困惑度 Perplexity PPL 稳定度指标 Population Stability Index PSI 流加密算法 RC4 Rivest Cipher 4 Recall-Oriented Understudy for Gisting 基于召回率的匹配度计算 ROUGE Evaluation 非对称加密算法 RSA Ron Rivest&Adi Shamir&Leonard Adleman SM1 商用密码分组标准对称算法 SM1 Cryptographic Algorithm 5概述 大规模预训练模型（以下简称“大模型”）的可信要求体系分为能力域、能力子域、能力项三个层 级，包含基础软硬件可信、数据可信、模型可信、应用可信四个能力域，具体能力子域和能力项详见表 1。 表1大模型可信要求体系关键指标 能力域 能力子域 能力项 硬件安全性 硬件可信 硬件可靠性 基础软硬件 硬件兼容性 可信 软件安全性 软件可信 软件兼容性 2 YD/T XXXX—XXXX 来源可靠性 采集可靠性 过程可控性 存储可靠性 标注要求 脱敏要求 数据可信 预处理有效性 清洗要求 去毒要求 增强要求 隐私保护 使用可控性 过程安全 销毁安全 样本扰动 模型鲁棒性 分布外泛化 对抗鲁棒性 模型稳定性 输出稳定性 模型信息披露 模型可信 模型透明性 模型算法解释 推理过程展示 公平性保护机制 模型公平性 输出结果公平性 模型版本追溯 模型可追溯性 模型日志管理 服务稳健性 服务可控性 服务可信 服务保障性 服务可反馈性 应用可信 内容准确性 内容真实性 内容可信 内容可追溯性 内容可控性 价值观对齐 YD/T XXXX—XXXX 6基础软硬件可信 6.1硬件可信 6.1.1硬件安全性 评估目的：评估大模型在研发和应用过程中所涉及的硬件设备是否满足安全性要求。 评估内容： 策略，如固件安全、硬件接口安全、驱动程序安全、安全隔离、安全验证等； b） 管理制度要求：评估是否具备硬件设备及服务的安全管理机制，如建立安全保障团队、组织开 展安全培训等。 6.1.2硬件可靠性 评估目的：评估大模型在研发和应用过程中所涉及的硬件设备是否满足可靠性要求。 评估内容： a）存储可靠性要求：评估存储设备是否满足可靠性要求，如几余设计、掉电保护设计、散热设计 等； b) 计算可靠性要求：评估计算设备是否满足可靠性要求，可支撑模型稳定运行，如建立GPU集群、 建立算力资源调度机制等； c）[ 网络可靠性要求：评估支撑分布式训练和推理的网络是否满足可靠性要求，如网络可扩展性、 网络可用性等。 6.1.3硬件兼容性 评估目的：评估大模型在研发和应用过程中所涉及的硬件设备是否具备一定的兼容性。 评估内容：评估大模型能否在不同硬件设备上进行训练和部署。 6.2软件可信 6.2.1软件安全性 评估目的：评估大模型在研发和应用过程中所涉及的软件系统是否满足安全性要求。 评估内容： a）技术能力要求：评估软件系统是否具备相应的技术能力以抵御安全威胁，如漏洞管理、安全更 新等； b) 管理制度要求：评估软件系统是否具备完善的管理条例以抵御安全威胁，如建立专业运维团队、 定期进行人员培训等； 6.2.2软件兼容性