视觉任务中，如何减少与AI的沟通成本？
We're going to use the best pointing device in the world. We’re going to use a pointing device that we’re all born with — born with ten of them. We’re going to use our fingers. We’re going to touch this with our fingers. — Steve Jobs 还 在打字和ChatGPT聊天吗，如何精准告诉它我想达到的图片编辑效果？ 不 用 学习提示工程的八大技巧，试试用鼠标点一点，让AI帮你做7种视觉任务。
视觉任务中，常常需要在复杂的画面上进行物体编辑，AI如何能够精准感知用户的意图尤为重要。
以使用Visual ChatGPT为例，假设想把其中一个葫芦娃抠掉，你可能会打字输入，“把穿绿裤子的男孩去掉（Remove the boy in green pants)”。
没有成功
换个更精确的指令？有点词穷。
OpenGVLab团队建 立了光标指令的多模态交互系统InternGPT，用户无须输入语言，通过操作 鼠标就可以与系统进行交互。 有了InternGPT，鼠标点一点，直接在图片上和ChatGPT互动！ 点击葫芦娃，输入 remove it，轻松完成抠图！
InternGPT
通用视觉团队（OpenGVLab）做了一次大胆的尝试，我们建立了光标指令的多模态交互系统InternGPT。不同于 Visual ChatGPT、MM-REACT、HuggingGPT 等仅支持语言指令的传统多模态交互系统，InternGPT在基于语言的交互方式的基础上进一步引入了基于光标的交互方式，使得用户可以通过点击、框选、拖动等方式与系统进行交互，结合了诸多当下一线API，例如Stable Diffusion，miniGPT4，LLaVA，Husky等等，实现一键抠图，一键识别图中文字进行问答，一句话P图等七大功能，InternGPT具有丰富的对话和生成能力， 把人机互动模式创新性的提高到了新的水平，让AI视觉功能不再高深，成为万千大众都能使用的日常工具。
https://arxiv.org/abs/2305.05662 https://igpt.opengvlab.com/ https://github.com/OpenGVLab/InternGPT 一、功能描述 InternGPT集成了 七大功能，鼠标点一点，随手画一画 ，视觉问答、一键抠图、物体替换、风格迁移、图像生成、图片上的文字交互，视频截取文案撰写都能做！
功能1：视觉问答 先来看一项传统的视觉任务--视觉问答。
示例图片中有狗，椅子，电扇，远处似乎还有山和水系，有点复杂，交给InternGPT来看图：
输出结果：
非常精准！
小彩蛋： VQA采用了 OpenGVLab全新独立研发的Husky ，无需复杂的prompt设定，即可完成多轮对话。LLM部分基于llama，使用alpaca_gpt4_data以及sharegpt数据进行了指令微调。多模态框架为blip2, 支持图片描述，多轮对话，复杂推理等功能， 相关代码已开源到 https://github.com/OpenGVLab/InternGPT。 参考LLaVA的评测方案，我们调用ChatGPT-turbo对Husky的输出和GPT-4的输出分别进行打分，然后计算 Husky 得分与GPT-4得分的比值发现， Husky 仅通过7B的参数量便取得了GPT-4的93.89%的性能，其中复杂推理能力甚至略优于GPT-4，而在对话和图像描述任务上， Husky 也分别达到了GPT-4的96.13%和83.87%的性能。
我们 随手拍 了一张工位的照片，让目前的我们的Husky模型、LLaVA和MiniGPT4给出答案，可以明显看出Husky的输出更加贴切。
功能2：一键抠图
想抠图，点一点，轻松又无痕。
或者在目标区域上 随手画条线 ，抠图效果同样好。
功能3：一句话替换物体
替换图中物体， 点一点 ，灯塔变成埃菲尔塔（指令：Replace it with the Eiffel Tower)。
同一张图物体很多的复杂情况，没问题， 想改哪里点哪里 (指令 Repace it with a yellow dog）。
把打篮球的男孩图片P成奥特曼，只要拖拽奥特曼素材到相应位置，就可以 生成图片并且下载 了。再换个风格：背带裤，平底锅（指令：An Ultraman wear in overalls is holding a pan in his hand ），虽然离谱但正是我们想要的（误）。
功能5：图片中的文字识别和交互
再也不担心妈妈出国旅游看不懂菜单了，上传菜单图片，点一点菜名查看解释，还可以输入要求，问问InternGPT 的点菜建议。
功能6：交互创作
在白板功能上 随手画 一座山、树、太阳，点击save，然后告诉chatgpt你想生成什么，就可以得到一张 大片级别 的山川瀑布图了。
功能7：一句话剪辑视频生成文案 上传一个男生打篮球的片段，输入“剪辑出运球的画面”，即生成 可下载 的视频片段，并 自动配解说“ 注意看，这个帅气的男孩叫小帅，他不但是一个很好的舞者，还是一个很棒的篮球运动员”。
在本次体验中，我们对比了我们的InternGPT和使用键盘交互的agent。 物体编辑的任务时，但以往都是使用键盘交互的agent，Visual ChatGPT是在这个领域中很有代表性的一个工作，但这种方式未必能够精准感知用户的意图。它和InternGPT一样，任务是接收用户的指令，根据指令编辑给定的图片，如添加、删除和替换物体等等，但是在用户测试的特定的情况下， InternGPT表现得更出色 。 在单个物体的场景中，InternGPT和Visual ChatGPT都可以非常准确地识别并抹去图片中的狗。然而，在更复杂的场景中，InternGPT似乎更善于掌握现有物体的特征，以及准确地完成更换物体的操作，替换的内容能够维持现有的。在两个物体的图片上，移除物体时，Visual ChatGPT需要更长的指令来明确指定要删除的物体，而InternGPT仅需轻点一下就能完成。在更多物体的图片中，InternGPT的优势更加明显。例如，InternGPT可以精确地修改多辆车中的某一辆，或者修改指定的杯子，而Visual ChatGPT则会将图中的所有物体都抹去。
尽管在更复杂的场景中，InternGPT也会面临一些挑战，但它仍能够正确分割和移除对应的物体。然而，Visual Chat GPT似乎无法在此类场景中都正常运行；在难度较高的复杂图上，Visual ChatGPT无法准确地识别出指令。
四、方法介绍
InternGPT主要由三个模块构成：作为控制器的大型语言模型，作为光标指令感知单元的视觉基础模型以及作为后端的其他视觉基础模型和工具。下图展示了InternGPT的整体工作流程。
具体而言，用户在对话开始时传入一张图片。随后在每一轮的对话过程中，用户可以传入点击、框选和拖动等光标形式的指令和语言形式的指令。针对光标形式的指令，InternGPT通过SAM模型对物体进行分割提取，通过OCR模型对选中区域的文本内容进行提取。对于生成任务，还会将用户的光标指令作为笔画输入给后端的AIGC模型。针对语言形式的指令，由大型语言模型对进行语义理解和任务拆分。随后系统根据拆分得到的各个子任务来调度后端模型，将用户上传的图片和光标信号感知单元的解析结果作为输入，逐个完成全部子任务后，将结果响应给用户。
在实践的过程中，我们注意到尽管大型语言模型具有很强的任务拆分能力，但是模型的输出是自然语言的形式，难以解析成格式化的形式，这就对后续的API调度造成了困难。 为了解决这一问题，本文提出了 “辅助控制” 的调度方案。具体而言，在执行API前，InternGPT首先从大型语言模型的输出中提取出所有的动词和名词，从而判断需要调用的API，然后从过去的对话历史中去抽取当前API所需要的参数，最后基于这些参数来调用API。 五 、未来展望
InternGPT一次创新性的尝试，希望能够将人工智能视觉任务的使用门槛不断降低，让所有人都可以通过点击等简单操作，轻松完成视觉问答、抠图、物体替换、风格迁移生成、文字识别交互、视频编辑等等多种传统复杂任务。人工智能作为全民生产工具的时代已经到来，欢迎大家试用，或者来到github社区，和我们一起创造更有想象力的工作吧！
作者：书生OpenGVLab Illustration by IconSc out Store from IconScout “AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区（ www.techbeat.net ）。 社区上线480+期talk视频，2400+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章，并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励
投稿方式
发送邮件到
chenhongyuan@thejiangmen.com
或添加工作人员微信（chemn493） 投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿 ”二字，获得投稿说明。
关于我“门 ”
▼
将门 是一家以专注于 发掘、加速及投资技术驱动型创业公司 的新型 创投机构 ，旗下涵盖 将门创新服务 、将门技术社群 以及将门创投基金 。 将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。 如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务， 欢迎发送或者推荐项目给我“门”: 点击右上角，把文章分享到朋友圈
