在AI圈，大多数人的职业路径是单向的——要么留在学术界深耕，要么投身工业界。但贾旭教授走了一条"反着来"的路：从大连理工到鲁汶，从Google Research到华为诺亚，再从工业界回到大工执教。有人说他"兜了一圈"，但正是这一圈，让他拥有了极少数人才有的视角：用产业的问题牵引学术研究，用学术的前沿反哺技术落地。
关于贾旭教授
大连理工大学教授、博导，国家级青年人才。本硕师从卢湖川教授，博士毕业于比利时荷语鲁汶大学，曾任职华为诺亚（田奇院士团队）、商汤科技及Google Research，发表论文60余篇，引用超13000次。
本次访谈中，贾旭教授不仅从AIGC的可控性之战聊到具身智能的落地鸿沟，也毫不保留地分享了给年轻CV人的成长建议。
极市平台：您的履历非常精彩——本硕在大工师从卢湖川教授，博士在鲁汶大学，后来又到华为诺亚方舟实验室和商汤科技工作过。这样一条"学术—工业—学术"的路径在国内CV圈并不多见，是什么样的契机让您选择了这条职业道路？
贾旭教授：其实我身边很多人说我"兜了一圈又回到了学术界"。我本硕都是跟着卢湖川老师做CV，卢老师是我的领路人。读书期间，他给了我们很多和知名学者交流的机会，包括马毅老师、张磊老师等。期间比较有幸受到了UC Merced杨明玄老师的指导，也在组里收获了第一篇CVPR论文。这些经历让我感受到计算机视觉的魅力，也对前沿研究产生了很强的兴趣。
当时欧美的CV研究更加前沿，卢老师和杨老师都很鼓励我出去增长见识。我英语没有准备GRE，就申请了欧洲的学校，有幸加入了Tinne Tuytelaars和Luc Van Gool教授的课题组。博士期间，我到Google Research做了实习研究，也在商汤科技做了短暂的访问研究，还参与了一些和华为的合作项目。这些经历让我了解到CV算法如何赋能实际应用，也让我憧憬自己做的研究能真正落地——那样会更有成就感。
所以毕业后我去了华为诺亚方舟实验室。当时华为诺亚正在筹办伦敦分部，我之前所在的博士研究组和他们有合作，多次交流中能感受到华为对前沿技术和人才的重视。另外，田奇老师要加入华为诺亚任首席科学家，我之前和他的一些学生也相识，所以后来就加入了。
在华为工作了将近三年，参与了手机拍照、自动驾驶、新型视觉传感器等方面的研究，也主导了几个和国内外高校的合作项目。后来出国开会时碰到了恩师卢老师，他说教育部正在多所高校设立首批人工智能专业，大连理工也是其中之一，已经建立了人工智能学院。他提到：
AI发展越来越快，但相关专业人才并没有那么多——这一点我在华为招聘实习生和全职时也深有感触，所以希望能在AI人才培养方面做出一些贡献。
另外我本身是辽宁人，考虑到家里的父母，也想回到大连理工和恩师的团队。大概就是这样一个历程。
极市平台：从比利时鲁汶，到Google Research，这些顶尖机构的研究文化各自有什么让您印象最深刻的特点？
贾旭教授：在Google Research的时候，感觉大家都非常友好，非常愿意互相帮助，讨论氛围很浓。当时是一个大平层，旁边有很多会议室和玻璃白板，大家有想法随时就拉到旁边开始讨论、画图，非常自由。还有一个让我印象深刻的做法，就是Google有"20%时间"的政策——80%的时间做团队的主要业务，另外20%可以用来和全公司的小伙伴合作，做一些比较有创新的事情，如果做好了公司还会帮助孵化。
在商汤科技，我感觉这是一个非常有活力的公司，大家都很年轻。很多leader甚至还没毕业就来公司立了一个组，一直工作到毕业后正式全职加入，大家都很有激情、很拼。
在华为，我觉得做事风格非常有组织性和战略性。有专门做战略调研的团队，有做N+2或更远的部门进行布局，同时也看N和N+1的落地，多个团队一起合作、优势互补。
极市平台：您博士毕业后先去产业界工作了几年才回到学术界，这段产业经历对您后来做研究有什么影响？
贾旭教授：有一定影响。在去公司做研究之前，我做研究更多是追着前沿走，有些天马行空。但有了工业界的经验之后，再回到高校做研究时，我会在科研选题时更多地考虑它的应用场景，思考它实际的研究价值是什么，能给哪些产业和行业带来提升或助力。
即使有些技术比较小众、不是研究热点，但如果它真的能对某些领域产生重要价值，我也会考虑去做。
极市平台：您团队目前在AIGC方向上具体推进了哪些工作？有哪些特别有意思的进展或阶段性成果？
贾旭教授：我们在AIGC方面的研究大致分三个方面。
最开始做文生图、文生视频时，我们就想：如果能针对特定的人物或身份来生成，会更有意思、更可控。
我们从人物身份保持的主体驱动定制化生成开始，做了一个叫Stable Identity的工作——给定一张人物图像后，我们为这个人物生成一个"伪名字"，这个伪名字可以当作文字token使用，配合任意的文生图、文生视频模型进行生成。
我们还做了一个特效定制化生成的工作叫VFX Master，今年中了SIGGRAPH。这个工作可以把一个已有的特效视频中的特效迁移到任意普通人的视频中，有人评论说这是"特效的民主化"，因为正常做特效流程很长很复杂，通过这种方式就比较容易做出特效了。
我们做了图像位置的可控性生成——给定一些目标框和描述，就可以生成符合这些框布局的图像。然后扩展到视频上，给定物体运动轨迹就能生成相应视频，甚至还能做物体轨迹和相机轨迹的联合控制，实现类似"生成式拍摄"的效果。
今年CVPR的一个工作，我们还从单镜头的可控视频生成扩展到了多分镜的视频生成，看起来更像真正的电影叙事。
2024年初Sora出来时效果非常逼真，但我们也注意到它生成的视频有时不符合物理规律。我们就在探索如何利用大语言模型或物理引擎的先验来做更符合物理规律的视频生成，并进一步和机器人场景结合做了具身世界模型的初步探索。
极市平台：最近一年视频生成发展迅猛，您认为当前视频生成面临的核心瓶颈是什么？
贾旭教授：我个人认为，视频生成尤其在长视频生成方面，一致性和可控性仍然是一个挑战。在持续生成过程中要保持外观一致和可控，对模型要求很高。
另外，生成符合物理规律的视频也很有挑战——很多视频看起来视觉效果很好，但不一定符合物理规律。如果想让视频生成更加实用，比如为具身智能模型产生训练数据，就需要考虑主体与物体、物体与物体、物体与场景之间的交互作用，做到比较全面和客观真实。
极市平台：您的团队在AAAI视频一致性生成挑战赛上拿了冠军，能否分享一下这项工作的技术亮点？
贾旭教授：这个工作跟今年CVPR的工作比较相关。
一方面，我们专门构造了一个多分镜的视频数据集，此外，为了保持镜头与镜头之间的一致性，我们引入了镜头间的旋转位置编码（RoPE），并设计了基于时空感知的旋转位置编码。这样可以使构造的多镜头数据在镜头之间具有一定的主体一致性和场景一致性，物体的身份和位置也能在指定要求上对应上。
邓富城博士（极视角算法专家）：想追问一个关于一致性的问题——两三年我们也做过一个AIGC项目，用初始宠物图生成指定品种的狗，再生成短视频让它执行某种动作，当时一致性很难保证。现在过了两三年，这方面的技术到底有了多大进展？
贾旭教授：在一致性方面，大家的思路在某种程度上有所统一。
早期我们用类似inversion的方式或结合少量训练来实现嵌入编码。后来大家发现一个比较简单的拼接方式——把参考图像映射成token后，直接和其他正常的生成token拼接，给到DiT等模型去训练，就可以达到很好的效果。虽然方法简单，但效果确实不错。
不过对于长视频，一致性问题依然存在。持续生成新帧的过程中，外观一致性会退化，上下文变长后需要压缩，如何在不占用太多显存的情况下高效利用之前的信息来保持身份，是现在要研究的重点。
目前来看，能稳定生成16秒长度、场景比较复杂、运动较为多样的视频，就已经挺好的了。
邓富城博士：国内AIGC领域，包括文生图、文生视频，技术水平看起来已经不比国外差，甚至更高，您认同吗？
贾旭教授：我认同。国内做视频生成已经做得非常好了。
像可灵、Vidu、seedance等，效果已经在最好的梯队。OpenAI的Sora不再继续做，一方面是因为coding等业务更有商业价值，另一方面也是因为看到可灵、Vidu做得太好了，正面PK可能挺困难。Google的Veo跟现在的seedance 2.0比较的话，应该也没有seedance 2.0好。可以说中国在这个领域已经不比国外差，甚至更好了。
邓富城博士：AIGC真正用到实际项目中时，其实是一个很长的pipeline——先写脚本、再分镜、生成片段、拼接。现在用Agent或工作流的方式来串，不知道您怎么看？
贾旭教授：我认可这个观点。要想做更复杂的应用，确实需要Agent框架或工作流的方式。很多时候并不是一次就能生成很好的效果。对于短剧、电影制作、动画制作等，单靠一个模型肯定不行，需要把生成模型放到一个工作流或Agent框架里去，才能更好地发挥模型能力。
这可以类比NLP领域大语言模型的发展——早期就有Agent，但只能做简单任务；随着模型能力增强，Claude结合coding框架就发挥了很大威力。对于视频生成来说，如果要让它更实用，可能也是类似的路径。
极市平台：您提到的"具身世界模型"与传统的视觉语言模型（VLM）在技术路线上有什么本质区别？
贾旭教授：视觉语言模型吸收了世界上非常多记录下来的知识，在我看来它吸收的是静态知识。而具身世界模型更多的是由主体和环境之间产生交互，来建模这种交互关系，这是一个动态的建模。我觉得这是两者之间的主要区别。
极市平台：您认为具身智能从仿真环境走向真实物理世界，最大的鸿沟在哪里？
贾旭教授：一方面，仿真环境中的响应规则比较明确和干净，但现实中的操作噪声很多——本体自身的原因、零部件的问题，可能导致抖动或没有按指定路径走。
另一方面，仿真环境的真实性，尤其是对软体的建模——比如绳子、不同布料的衣服等，还是挺有挑战的。
极市平台：您在做AI for Science，计算机视觉在其中扮演什么样的角色？
贾旭教授：计算机视觉可以扮演很重要的角色。很多科学领域采集信息时都基于视觉传感器，比如电子显微镜等。采集后就变成了图像或视频，一旦变成这种形式，很多视觉算法都可以发挥重要作用——信息提取、解析、预测等。所以计算机视觉在AI for Science领域有很多应用价值。
极市平台：您的研究成果有多项已应用于华为旗舰手机和自动驾驶平台。从学术论文到产品落地，中间最难跨越的一步是什么？
贾旭教授：学术论文和产品落地关注的点不太一样。
学术研究更关注方法上的创新——提出新问题、新模型架构、新算法或新损失函数，只需要在一部分数据上验证有效就可以。
但工业产品落地考虑的是更广、更全面的表现，不仅要在大多数场景表现好，还要在很多corner case上也表现好。测试部门会给出反馈列表，列出很多特定场景上的问题，工程师需要用各种方法去解决这些问题——
数据方法有效就用数据方法，模型方法有效就用模型方法，哪个好用、哪个更快看到效果用哪个。
极市平台：您如何看待当前国内高校CV研究与产业需求之间的匹配度？
贾旭教授：学术研究和产业需求的关注点有时不一样，但现在越来越好。
很多合作项目和企业基金（如CCF的企业联合基金）会把工作中的实际问题进行抽象后发布出来，供学术界研究。学术界提供解决方案后，工业界可以迁移适配到具体场景。这种模式既能帮助学术界发表论文、申请项目，也能解决产业的需求和问题。
贾旭教授：比较好的方式是学术界研究者能经常和企业一线的工程师多交流，了解实际任务中遇到的问题。我们可以把这些问题进行抽象，牵引学术界做相关的算法研究，还可以一起构建数据集和benchmark，吸引更多人参与。
对于合作形式，联合实验室和项目制都挺好的，在这两种模式下，也可以派出学生到公司现场做算法适配和迁移。
极市平台：您曾在华为诺亚与田奇院士共事，也在商汤科技工作过。从内部视角看，国内大厂的CV研发能力和国际顶尖水平相比，差距和优势分别在哪里？
贾旭教授：国内的研究水平现在已经非常强了。如果说差异的话，可能更多是研发风格的不同。
国外（比如Google）包容度和开放度更大一些，有20%的自由时间让研究人员在做主要业务的同时有一些奇思妙想。
国内则是"集中精力办大事"的风格——目标非常明确，集中在某一阶段把某个任务完成，效率非常高。在华为时经常有"会战"的感觉。而且最近听说国外公司的风格也有变化，可能也在学中国公司这种集中攻关的模式——毕竟在大模型时代，大家都很卷。
极市平台：您对刚进入CV领域的博士生有什么建议？哪个环节最容易被忽视但实际非常重要？
贾旭教授：科研选题和养成良好的科研习惯非常重要。刚进入科研时，我也看了很多相关的工作，卢老师和杨老师给我推荐了很多做研究的资料，包括李飞飞讲怎么做研究、金出武雄讲的"研究像一场马拉松"——要有长期思考和坚持的精神。
在不同阶段可能有不同的侧重。初期刚接触科研，更重要的是熟悉完整的科研流程，可以选择稍微简单一些的主题来练手。但完成这个流程后，就要逐渐培养自己的"科研品位"——
要知道怎么做出更有价值的工作，不是光选容易出成果的课题，而要选真正有价值的、自己真正感兴趣的。
另外，学术交流也非常重要。在我们组里我很鼓励大家多交流，一方面可以获得最前沿的进展信息，另一方面可以认识志同道合的朋友，通过交流和讨论碰撞出新的火花。
极市平台：从审稿人角度，您认为近年投稿中常见的"通病"是什么？什么样的论文会让您眼前一亮？
贾旭教授：最近几年技术发展太快，大家发论文的速度也非常快，会有一些追求快速产出的课题和工作。我更关注的是工作的意义是什么——
它真正的价值在哪里，对哪些领域、场景、应用能带来真正的提升，对CV或AI领域的发展能带来多大贡献。
我个人比较欣赏的工作是：从实际应用中或从已有工作的研究脉络中发现真正的问题，以此作为motivation，提出不是过度堆砌但简单有效的解决方案，如果再有一些理论上的证明或非常充分的实验支撑，那就更好了。
极市平台：对于国内期刊的发展，您有什么看法？青年学者应如何平衡顶会与高质量期刊？
贾旭教授：国内期刊发展越来越快，质量也非常高，像《中国科学：信息科学》、MIR、CVMJ等都是近几年发展很快的国内期刊。国家也鼓励学者把论文写在祖国大地上，很多优秀学者也把工作发表在了国内期刊和国内AI旗舰会议（如CCIG、PRCV）上。国内的期刊会议发展现在非常好。
极市平台：面对大模型时代技术迭代越来越快、论文越来越多的局面，产业界的开发者应该如何保持技术敏锐度？
贾旭教授：就我个人来说，获取信息的渠道主要是顶会顶刊、arXiv、Hugging Face等，有最新的工作发表就集中学习一下。
另外多参加相关的开发者大会或前沿技术研讨会，可以获得很多资讯，也能认识很多优秀的同行。还有一点，可以用大模型智能体来做定制化的定期推送——把相关的工作定期发送给自己。
极市平台：最后一个轻松的问题——如果让您给自己选一个"AI之外"的标签或身份，您会选什么？
贾旭教授：我还没有认真想过给自己贴什么标签。我觉得我是一个好奇心比较强的人，对很多事都感觉新奇。
我喜欢旅行，喜欢去各式各样的地方体验当地的生活和风土人情。我不是一个贪吃的人，但我很喜欢在各地游玩时尝试当地特色的食物——只要肠胃允许，我都很愿意去尝一尝。
公众号后台回复“数据集”获取100+深度学习各方向资源整理
