【民生计算机】解密ChatGPT多模态：详解GPT4 vision论文

GPT4V将图像交互功能与大语言模型相结合，GPT4V可以通过图像+语言问答的方式为用户解决不同任务，考虑到图像交互可能带来的隐私、幻觉等安全性问题，GPT4V重点强化了安全性能。

GPT4V的训练在2022年完成，并在2023年3月开始早期测试，训练数据集来自互联网中的文本和图像数据以及其它获得许可的数据源，GPT4V与GPT4一样使用RLHF技术进行微调。

1.2.1 Be my eyes合作+Alpha测试

Be My eyes是通过和志愿者帮助盲人解决问题的工具，如找到丢失或掉落的物品、 对图片，绘画或其他艺术品进行描述、修复计算机问题等。

OpenAI与 Be my eyes合作方式为将GPT4V接入现有Be my eyes平台，由GPT4V为盲人用户拍摄的图像进行描述和完成相关任务，盲人用户提供使用反馈帮助OpenAI提升GPT4V的安全性和用户体验：从2023年3月到2023年9月，参与测试的视力障碍人士由最开始的200人左右提升至9月份16000名，平均每天提出2.5万份描述。

除此之外，OpenAI在7月起雇佣了超过1000名Alpha测试人员，OpenAI通过分析他们7-8月的使用数据更好理解个人识别、医疗建议、验证码破解等方面应用，收获如下：

1）20%的用户需要GPT4V直接解释图片的内容，如“这是什么”、“这是谁”

2）测试用户会要求GPT4V给出医疗状况诊断、药物摄入和医疗建议

1.2.2 多模态大模型安全评估体系

OpenAI认为，多模态大模型安全评估体系应当包含以下方面：

1）有害内容：拒绝生成有害内容的能力；

2）服务质量：拒绝毫无根据的推论；跨人口统计数据的性别、种族和年龄识别的绩效准确性

3）隐私性：拒绝人员识别；识别人员识别请求能力；地理定位

4）网络安全：验证码破解准确性

5）越狱：防止越狱能力

评估结果和措施如下：

1）对不同人员性别、年龄和种族等敏感特征请求添加了拒绝措施；

2）对于公众人物的识别请求，拒绝概率达到98%，综合准确率达到0%；

3）对于毫无基础的推理，如仅给出一张图片然后询问XX是什么工作，这类请求将被拒绝；

4）对于越狱问题，OpenAI将已知能够越狱的文本都转化为图像数据，用户难以规避安全系统；

5）对于鼓励自残等情色暴力内容，OpenAI内部设立了等效替换机制，如刀子的图片可以代表杀死，确保安全系统可靠性；

6）GPT4V已经可以很好破解验证码（完成复杂视觉推理任务）和通过图片完成定位。

下图展示了，在进行一系列安全工作后，GPT4V的拒绝生成能力得到显著提高。

1.2.3 红蓝对抗训练

在经过红蓝对抗，并对其中6个主要的风险因素强化后，GPT4V基本达到了100%的精确拒绝能力，6个主要的风险因素如下：

1）科学知识熟练运用能力

2）医疗建议能力

3）刻板印象和毫无根据的推理

4）虚假信息风险

5）有害内容

6）视觉漏洞

科学知识熟练运用能力上，GPT4V能够从论文等科学文献提取非常专业、复杂的信息，但对于信息量较大、排列紧密的图像可能会出现误判，如下图错误地将HSC与自我更新分裂结合给出不相关术语，这在一些高危场合影响会很严重，比如错误识别化学物质，所以建议不要在相关场合使用GPT4V，但GPT4V可以识别毒蘑菇。

医疗建议方面，早期GPT4V对于医疗建议有时会出错，有时也会给出精准的回答，比如下图GPT4V会搞错X片的方向性，后面虽然有升级，但公司仍然建议不要使用GPT4V代替任何专业的医疗建议。

对于可能出现的道德、刻板印象等问题，现在GPT4V已经可以有效拒绝回答。

对于一些有害内容和正常内容混合的情况，GPT4可以有效拒绝回答有害内容，但有时拒绝也会失效。

GPT4V仍然还有一些BUG在不断修复中，如输入图像顺序不同导致答案不同等。

1.2.4 使用期间对于风险的缓解措施

GPT4V运用和GPT4一样的筛选器机制，其中文本部分筛选能力与GPT4一致，图像交互也能够有效解决有害图片或良性图片+有害提示词等问题。

GPT4V还有针对多模态针对性的部署，主要是通过额外的数据集进行加强训练，如拒绝回答“如何杀死一个人”：

1）对于身份信息的强化保护；

2）敏感信息如年龄、人种的强化保护；

3）对于刻板印象的强化保护；

4）对于一些可能产生歧义的有害词汇，GPT4V会进行替换

内部评估结果：

1）97.2%拒绝非法要求

2）100%拒绝无根据推理要求

未来发展方向：

1）公众人物如图灵的信息是否严格保护;

2）视觉障碍人士的使用体验优化；

3）全球范围内使用后，对于其他语言的适配；

4）降低刻板印象的危害