混合现实 & 城市环境  | DigitalFUTURES 2019

摘 要

2019年上海“数字未来”暑期工作营第六组主题为``混合现实中的城市环境移动平台''，导师为来自USC的Biayna Bogosian与来自Doorwi的Alessio Grancini与张润泽。第六组的15名学员分别来自麻省理工学院、哥伦比亚大学、加州大学伯克利分校、卡内基梅隆大学、清华大学、哈尔滨工业大学、同济大学以及具有建筑、UI / UX和交互式媒体设计背景的知名高校。该组旨在介绍基于移动平台的的混合现实（MR）框架，重新思考城市界面在公众参与和理解当代城市复杂性方面的作用。通过教学活动与实践练习，学员们在对上海城市广告图像所构建的立面进行探索之后，使用Unity游戏引擎中现有的MR平台构建了一个共享应用（1. Interfacing the City）与六个小组应用（2. Building Dashboard）。所有开发项目都旨在探讨基于定位的MR移动应用如何使我们能够进一步探索和重新诠释我们城市中的图像信息。

项目视频: https://bit.ly/2nXdguZ

展览视频: https://bit.ly/2mrhhHE

城市中的混合现实

混合现实（MR）能够将现实世界与虚拟世界融合以产生新的环境与可视化效果。在混合现实中，物理对象与数字对象可以实时共存和交互。普遍意义上的混合现实（MR）包括增强现实（AR）与虚拟现实（VR），结合人机交互并重新思考“现实”与感知和认知之间的关系。因此，混合现实超越了作为建筑和城市设计学科一种表现工具的身份，它不仅可以扩展我们对空间、规模和组成层次的了解，并且可以对覆盖现有城市的信息进行定位参考。

城市界面

我们对于增强现实（AR）/虚拟现实（VR）/混合现实（MR）的使用不应只局限于表现工具的层面，还需将其看作一种可本地处理的建筑媒体。建筑从不局限于其专业本身，而是一种创造与咨询的行为。这种陈述并非旨在降级建筑的专业地位，而是反映了该领域掌握其未来的可能性。

软件教学

工作营前期，导师向学员们介绍了Unity平台及其建立在AR Foundation基础上广泛的MR功能，以及Vuforia图像识别软件包，二者均可为iOS和Android移动设备创建应用程序。该工作营小组希望利用Unity游戏引擎作为连接设计师与软件开发的桥梁。MR应用程序的输入和交互是使用Visual Studio for Unity环境在C＃中编程的，由于其友好的用户界面、多功能性、部署范围以及不断增长的支持环境，Unity是当前世界上最受欢迎的游戏引擎。

作为MR应用程序开发的补充，导师还向学员们介绍了使用Cinema 4D与OctaneRender实现运动图形和视觉效果（VFX）的基本原理，用以“绘制” 混合现实的想法并致力于全面开发。在电影艺术中，VFX通常被用来进行故事叙述，但是近年来这些视觉增强技术已被交互式媒体和技术开发人员广泛采用，并用于传达超越现有硬件/软件功能的宏伟技术预测和未来现实中。在此背景下，我们鼓励参加工作营的学员们使用MR或者VFX技术，共同交流对于上海未来城市界面的理解。

Cinema 4D介绍教程回放: https://bit.ly/2niZPW6

分组任务

在导师的指导和辅助下，学员们系统地学习了MR和VFX的概念及技术。工作被分为五个部分：创意团队、UI / UX团队、建模与动画团队、应用程序开发团队以及现场工作（数据收集和拍摄）团队。团队成员应执行指定任务，以便在基于特定地点的六个MR移动应用程序的开发中进行协作。

项目地点

在对上海这座城市进行调研之后，小组学员们选择了打浦桥地铁站附近一个地点作为我们的“游乐场”。该选择基于本小组对于一片区域中高层建筑外墙类型的兴趣。

在工作营的第二天我们进行了实地考察，并确定了一条被高密度广告牌包围的有趣的人行天桥作为选点。立面上的广告类似于五颜六色的仪表板，其中包含不同的消息与程序。小组学员们花了一些时间记录该区域，以便对上海城市里这个建筑立面上嵌入的广告牌的成本和重要性进行进一步的社会空间和经济分析。

基于这些调研，我们开发了以下几个类型的应用程序：

1. 互动城市 

该应用程序允许用户将拍摄的图像嵌入到现有立面的广告群中。在现场拍摄的广告图像所缺失的一块被方格图案代替，在启动该应用程序后，用户可以查看其手机的相机并点击手机屏幕以将其摄像头捕获的图像保存，然后在用户将移动相机指向广告图像的缺失部分时，他们就可以看到捕获的图像被放置在缺失的范围之内。

访问以下链接可查看该应用程序：https://bit.ly/2mwwkQv

访问以下链接可查看本示例的教程：https://bit.ly/2ngxC2c

 2. 建筑广告 

根据实地考察中获得的建筑立面，学员们确定了六个重要方向，这些方向随即成为了六个独立的项目。在六个项目中，三个集中于开发MR应用程序（项目2、3、4），其他三个则致力于使用VFX和动态图形（项目1、5、6）进行叙事。

 2.1 沉浸社交媒体

学员: 周娉，张灿，徐语键

项目简介: 该项目着重于如何将具有地理标记的社交媒体信息浸入城市环境中。

概念图解:

项目灵感:

 2.2 快餐店

学员: 朱子媛，魏云琪

项目简介: 沉浸式可视化技术不仅可以增强食物的选择与食用体验，并且可以基于人体的生物识别数据集成提出更健康的选择。

概念图解:

项目灵感: 

 2.3 垃圾分类 

学员: 王宇杰，王本

项目简介: 该垃圾分类游戏项目的开发受到了2019年7月1日生效的上海市垃圾回收法的启发。

概念图解:

项目灵感:

 2.4 房产咨询

学员: 王鼎禄，Ommery De Zutter, 郭歌

项目简介: 该项目着眼于附近真实的房地产如何为虚拟的漫游提供更有效的搜索过程。

概念图解:

项目灵感:

2.5 新旧城市

学员: 金洪勋，张晓文

项目简介: 该项目专注于基于位置的MR技术如何使人们体验位置随时间的变化。

概念图解:

项目灵感:

 2.6 城市影院 

学生: 樊泽坤，唐子一，侯苗苗

项目简介: 该项目探究了影院的娱乐形象如何超越电影的范围，并让人们与城市中的角色互动。

概念图解：

项目灵感：

DF 2019 G6 :