开了眼的ChatGPT真让人开了眼了

给自己放个假吧ChatGPT，再更新的这么快，网友的脑洞可就跟不上了。

本周一，ChatGPT宣布了一次重要更新，然后有了全面的多模态能力。

以后你下班骑共享单车回家路上要是感觉车上有什么故障，可以给零件拍张照直接问它。

然后你回到家了，看到毫无头绪的冰箱藏品后，ChatGPT可以告诉你挑哪几样出来能做个晚饭。

吃完睡觉，还没睡意的话，它还能给你一些ASMR服务，如果B站或者YouTube上那几个博主你已经听厌了的话。

1985年9月，写了《看不见的城市》的卡尔维诺因为突然的中风而去世，这年夏天他因为头痛的问题曾去寻求过医生帮助，主刀医生说自己从未见过这么般构造复杂而精致的大脑。

ChatGPT从一开始就像一颗无比精美的大脑——并且是看不见的——但它现在终于有了眼睛、耳朵和嘴。

全球网友：那就来吧，比划比划。

有人试了试，它基本可以替人做软件项目的开发了。

一个软件项目的诞生大概是这样的：先在白板上画线框图，整理出编排逻辑，然后开始写代码，最后生成界面。现在这件事，白板上的活儿归你，离开白板归它。

一位开发者把自己的线框图直接拍照扔给ChatGPT，它直接把软件写出来了。

他还玩了些小把戏，比如把编排用并不规整的箭头表示潦草的替换了位置，ChatGPT不但看出来了，而且照单全收。

我们大概还是低估了多模态会带来什么。

人工智能与人类智力的发展在这里是相反的。人类先有眼睛，看到了世界之后形成了语言和逻辑，反过来又能更好的描述和理解所看到的世界。人类在600万年历史间的智力水平提升，就是一个巨型的机器学习熔炉。

而对于ChatGPT来说，他已经有了最好的智力水平，已经能够理解很多事了，限制它的反而是文字对于信息的压缩，导致它无法接触到更复杂的问题。当给这样一颗大脑一双眼睛会带来什么。也就是让它被允许直接看到图像信息，拆解问题的能力开始爆炸。

有人给ChatGPT喂了一张SaaS软件的界面图，并且要求它将其分解为小的组件并且把所有代码都写出来，它真的做到了。

你甚至可以粗暴的给它一个Unity的编辑界面截图，叫它提供一个添加模型动作的流程。

在开放了多模态能力后，ChatGPT的理解和推理能力也体现的更直观了，甚至有点可怕。

给自己一分钟，看看能否理解这组图的意思：

这是ChatGPT的解读：

“这组漫画看起来在强调团队中沟通、理解和对齐的重要性。”ChatGPT在最后做了如此总结。

这样的理解能力给曾经在Facebook 和Uber工作过的AI工程师Pietro Schirano惊的无话可说。

除了眼睛，还有耳朵和嘴。

此次ChatGPT升级背后，语音识别的能力基于开源的Whisper模型，声音的生成能力则基于额外的TTS（text-to-speech）模型进行，目前语音合成支持五种语音，都是和专业配音演员合作制作而成的。

但眼看着两个手机里的ChatGPT在你面前自顾自的讨论，关于“有没有用户试着和你一起唱卡拉OK啊？”——不是问你，是它在问另一个它——好像还是太超前了一点。

另外，它似乎也有做一个心理医生的潜质。OpenAI安全团队的成员Lilian Weng在语音模式下和ChatGPT做了一次非常情绪化的私人对话，谈论压力、工作与生活的平衡。

“有趣的是，我感到被倾听和温暖”，Lilian Weng在推特上说。她建议如果你原来只是把它当作一个生产力工具，那最好试试它细腻的一面。

而对于ChatGPT本身的进化来说，这次将2022年就训练完成了的多模态能力开放出来，也是在为未来的进化建立一个新的基础。

ChatGPT首席架构师John Schulman一个月前在Pieter Abbeel（John Schulman在加州大学伯克利分校博士期间主攻强化学习时的导师）的一档播客节目中表示，他觉得现有数据和模型规模扩展方法能带来的性能提升可能在一段时间后达到极限，在那之后，算法、数据集、数据集大小以及算力能带来的提升将逐渐递减。

“所以添加多模态功能会带来极大的性能提升。这能让模型获得文本中无法获得的知识，并有可能掌握纯语言模型无法完成的任务。例如，通过观看与物理世界甚至是与电脑屏幕互动的视频，模型能获得巨大收益。所有软件都是为人类设计的，如果模型能够观察像素并理解视频，我们就可以使用各种现有软件或帮助人们使用这些软件。为模型赋予新能力，让模型与新事物互动，将大大增强模型的实际能力。”

那么下个月的ChatGPT又能做到什么？太期待了。