本文约2200字，建议阅读8分钟
评估框架依据质量和伦理标准评估人工智能系统，并认证“质量有保障的人工智能模型”。
质量欠佳的人工智能模型会生成值得商榷的结果，从而降低人工智能的可信度和可靠性，确保人工智能模型的质量至关重要。为了证明人工智能的价值，必须扩展其应用范围和角色。以自动驾驶汽车为例，汽车的辅助驾驶功能在整批次汽车上都能很好地工作，这增强了人们对未来实现汽车自动驾驶的信心。目标是通过智能、审慎且坚定不移的决策过程，提高与行人、机动车驾驶员和骑自行车者的真实互动安全性。当AI处理车辆的传感器数据时，它会改进车辆的自动决策。最近的研究表明，如果没有正确的框架，安全水平会不可靠。如果AI的质量或底层系统存在缺陷，它会做出导致灾难和危及生命的决策，例如发出“右转”或“直行”的指令，而不是“左转”。创建一个框架来解决上述挑战听起来很直接，但事实却并非如此。影响人工智能模型质量的主要问题来自人工智能开发人员的技能和知识水平的巨大差异，再加上缺乏标准化的人工智能方法。上述问题直接导致了人工智能模型的质量欠佳，从而生成值得商榷的结果，降低人工智能的可信度、可靠性和可依赖性。为此，美国和欧盟正在引入法案，使研发组织对人工智能的失误负直接责任。这些法案的设立，为确保人工智能和机器学习模型的标准化框架和质量保证迈出了至关重要的一步。评估框架依据质量和伦理标准评估人工智能系统，并认证“质量有保障的人工智能模型”。质量保证框架应包括六个质量领域：功能适用性表示人工智能模型的完整性、正确性和准确性。
效率涉及人工智能模型的资源需求和执行简便性。
可移植性是人工智能模型在算法之间切换的容易程度。
可维护性衡量模型中切换信号和测试合适信号的容易程度。
安全性检查人工智能模型中的数据投毒和机器学习数据管道中的数据泄露。
为人工智能模型设计的质量评估框架应根据每个质量领域衡量、测试和认证模型是否达到标准质量。人工智能过程是多个生命周期阶段的混合体，这些阶段相互依赖且服务于不同的目的。在每个生命周期阶段，质量评估都应对相互依赖的全部过程进行测试。最佳实践框架应促进高质量人工智能模型的开发，并识别和使用相关的KPI。在每个阶段，活动都围绕衡量生命周期阶段的质量，将其与预设基准进行比较，并设计一个框架以确保遵守质量和伦理标准。首先，应了解业务痛点，识别关键质量因素（CTQ）参数，并将问题转化为优化相关运营流程。数据科学团队识别和汇总数据源，同时解决数据质量问题。根据用例、上一阶段识别的CTQ和运营参数，数据库专家制定流程，汇总多渠道来源的数据集，并与人工智能各领域专家一起提供增强策略。人工智能团队需要对数据进行深入扫描，以识别数据点之间的关系，并解决异常值和缺失信息的问题。通过熟练运用统计学和采用以业务为中心的数据解释，可以挖掘数据的属性和多变量关系映射，以便更好地理解。从数据集中提取数据信号，揭示隐含的数据模式。对数据集进行深入扫描，找出暗示模式的特征。该框架允许数据科学家构建、实验和存储相关通用、可重用和可扩展的特征配方。人工智能团队生成强大的机器学习例程，将事件与数据信号的发生相匹配。此外，团队会调查机器学习模型的合规性，并从候选名单中选择冠军模型。标准统计建模性能参数将验证模型构建的有效性。人工智能开发人员和工程师检查已部署的资产，并识别出哪些模型性能有所下降，需要重新训练。使用统计KPI测试已部署的资产，识别数据漂移、人口稳定性和偏离正常值。该框架将使用MLOps为机器学习管道创建通用方法，并包含持续的管道监控，以识别数据差异和模型投毒。
缺乏全面的质量保证框架会导致人工智能/机器学习模型失控，从而阻碍企业流程并继续侵蚀对人工智能模型的信心。人工智能解决方案需要一个标准化框架，以衡量和赋予模型质量和伦理。对于欧盟的企业来说，新的《人工智能法案》将从2023年开始实施，因此，是时候建立质量保证框架了。
陈之炎，北京交通大学通信与控制工程专业毕业，获得工学硕士学位，历任长城计算机软件与系统公司工程师，大唐微电子公司工程师，现任北京吾译超群科技有限公司技术支持。目前从事智能化翻译教学系统的运营和维护，在人工智能深度学习和自然语言处理（NLP）方面积累有一定的经验。业余时间喜爱翻译创作，翻译作品主要有：IEC-ISO 7816、伊拉克石油工程项目、新财税主义宣言等等，其中中译英作品“新财税主义宣言”在GLOBAL TIMES正式发表。能够利用业余时间加入到THU 数据派平台的翻译志愿者小组，希望能和大家一起交流分享，共同进步
转载须知
如需转载，请在开篇显著位置注明作者和出处（转自：数据派ID：DatapiTHU），并在文章结尾放置数据派醒目二维码。有原创标识文章，请发送【文章名称-待授权公众号名称及ID】至联系邮箱，申请白名单授权并按要求编辑。
发布后请将链接反馈至联系邮箱（见下方）。未经许可的转载以及改编者，我们将依法追究其法律责任。
数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。
新浪微博：@数据派THU
微信视频号：数据派THU
今日头条：数据派THU
