南洋理工大学(Nanyang Technological University,NTU)是新加坡的一所世界著名研究型大学,是环太平洋大学联盟、新工科教育国际联盟成员,全球高校人工智能学术联盟创始成员、AACSB认证成员、国际事务专业学院协会(APSIA)成员,也是国际科技大学联盟的发起成员。其在纳米材料、生物材料、功能性陶瓷和高分子材料等许多领域的研究享有盛名,为工科和商科并重的综合性大学。NTU位列2021 QS世界大学排名第13位;2021 QS世界年轻大学排名第1位,2020 QS亚洲大学排名第2位。
五大核心主题:
1. 人工智能课程
介绍人工智能相关理论知识及其特定的应用程序。
2. 自动化与物联网课程
介绍可以再工业和社会生产中广泛使用的自动化系统和物联网智能设备的基础知识。
3. 信息与通信工程课程
探究在通用工程环境中理解信号和通信系统的基本概念,旨在提高学生对工程原理的深入理解。
4. 人工智能实验室科研
让学生参与人工智能实验室科研项目,由教授和助教指导开展科研实践,完成科研报告撰写,加深对人工智能领域的认识,提高科研能力。
5. 虚拟与增强现实科研项目
让学生深入了解AR/VR技术并进行理论学习,加深对智能时代大趋势的理解。
代码示例
<学生感言>
鲜清宇-国际学院-物联网工程专业本科生-研修方向:AI科研
“纸上得来终觉浅,绝知此事要躬行”,这是我在本次南洋理工寒假科研项目里面最大的感悟。本次寒假实习项目聚焦于当下非常流行的人工智能和机器学习算法,由浅入深,为我们带来了丰富有趣的学习体验。人工智能是人类所创造出来的智能,让机器像人一样思考分析,进行逻辑判断,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等,是一门新的技术科学。而机器学习是人工智能的核心,专门研究计算机怎样模拟和实现人类的学习行为,以获取新的知识技能。从第一堂课开始,老师就确立了实践为主的教学基调,旨在把理论和实践融会贯通。老师首先介绍了几个最基础的机器学习算法和知识,如决策树和回归算法,并且通过引入R语言、耐心教授我们安装配置Rstudio,让我初步体会到了以实践贯彻知识的知行合一理念。第一次课的最后,我们便模拟回归算法来小试牛刀:
在后面的学习当中,我们还尝试自己构架聊天机器人,这涉及到了自然语言处理(NLP)的相关知识,也是我最感兴趣的一部分。聊天机器人是经由对话或文字进行交谈的计算机程序。能够模拟人类对话,应用也十分广泛,从医疗到智能服务,娱乐,生活中,可以说是随处可见,包括现在非常流行的小度和语音助手等,都是聊天机器人的产物。除此之外,一个非常有名的实验,图灵测试,也与这方面知识相关。图灵测试指测试者与被测试者,也就是一个人和一台机器,在隔开的情况下,通过一些装置向被测试者随意提问。在进行多次测试后,如果机器让平均每个参与者做出超过30%的误判,那么这台机器就通过了测试,并被认为具有人类智能。能通过图灵测试的人工智能一定是非常优秀的、进行了大量语法学习和语料库构建的聊天机器人。老师在课堂上给我们介绍了Snatchbot这个聊天机器人构建平台的使用方法。图片中就是其中一个简单示例:
之后,随着知识点的层层深入,我更是逐渐学习了更深层次的卷积神经网络(CNN)的基本原理,CNN也是深度学习最为重要的代表算法之一,卷积神经网络一般包含输入、隐含和输出层,隐含层又包括卷积层、池化层和全连接层3类常见构筑,这样的布局和设计,其实正是在模仿人脑的处理和学习过程,并将之应用到人工智能上来。这张图片正是我们在使用Jupyter交互式文本时,运用CNN进行分析的过程:
最后我们还进行了精度和准确性的检验分析:
在一个多月的学习过程当中,我不仅理解了CNN,LSTM等概念的含义,更是学会了如何使用软件和工具去实现各种机器学习算法。Rstudio,Weka,Jupyter,Colab,Anaconda这些流行的软件和平台也极大地加深了我对人工智能算法的认识以及具体的实现。虽然最开始很多软件完全不会操作,但是在老师一步步地细心指导下,我现在已经可以比较熟练的使用它们,并从中获益良多。而且这其实不仅仅是软件本身的使用,我还在学习使用软件的过程当中学习到了别的技能。比如在使用Colab的过程当中,最开始我是选择在Jupyter以及本地进行代码的实现和操作,但是我发现有非常多的包和插件要下载,除了在网上不太好找外,有的包或插件非常大,这导致了它们可能很占内存,因此,除了一些非常重要的文件,我现在更多地选择将文件上传到云上面,也就是Colab去运行,因为这样既节省磁盘空间,还更容易找到所需插件。同时为了使用Colab,我还学会了谷歌账户的相关配置操作。这是一个小例子,重点在于,我通过这些实践不仅学会了软件的使用,还学会了许多有用的思想和技能。
在实习课程的最后,我们分组进行了小组项目的设计和报告撰写,而我们组选择对搜集到的IBM人力数据进行离职的可能性预测。首先,我们进行了背景分析:离职这个问题以及关于离职人员数量和分布的预测,对于一家想要长期良好发展的公司来说非常重要,同一公司不同部门职员的离职选择差异性可能较大,而影响离职的因素可分为几个类别,不同部门职员离职受不同类型因素影响的程度有所不同。我们认为大家可能普遍认为工资是影响员工离职的决定性因素,而忽略了其他可能的重要因素,因此如何预测公司职员的离职倾向,以及采取对应的缓解措施十分重要。接下来,我们将2万多IBW员工真实数据按部门分为人力资源部、销售部、研究与开发部三组数据。由于元数据属性变量较多,我们从原始数据的31个辞职属性的变量中,利用单因子方差分析,检验后分别提取出影响不同部门职员辞职的15个关键性因素。通过直方图对比以及因子间的相关性分析,对提取结果进行统计分析,最后建立AI模型,对不同部门职员离职情况进行分析和预测。之后,我们对最终结果进行可视化和精确度的计算来评估模型,并且也展望了我们创造的模型的可能发展空间和应用场景。
由于我是组长兼最终报告的撰写者,我大量阅读和搜集了相关算法以及调研的论文,从中吸取了非常多有用的经验教训,为我的写作提供了很好的借鉴思路,锤炼了论文写作的水平。和小组成员的大量互动交流和会议组织更是让我得到了社交组织能力方面的锻炼。总体来讲,这次的科研项目和报告的撰写过程拓宽了我的思维,加强了我的实践技巧,增强了我的团队合作能力。非常感谢学校给我这次宝贵的学习机会,也真心感谢老师六周以来的悉心教诲,我从中获益匪浅。
杨超然-信息与通信工程学院-通信工程专业-研修方向:
在大二时,我曾作为组长参加北京邮电大学雏雁计划并获得二等奖,当时我们小组提出的课题就与VR相关,虽然我对此有极大兴趣,但由于雏雁计划本身不要求产出实际成果,我们对VR/AR的研究只是浮于表面。当了解这个暑研项目时,我毫不犹豫地报了名,不只是为了丰富自己的经历,更是为了在VR/AR领域做些深入的学习研究。事实表明,我确实收获了许多。
Ⅰ项目伊始
第一节课时,教授要求我们自己寻找组员,组成小组并做项目展示。我思来想去,能否有一个项目idea可以兼顾创新和技术,现在市面上的VR产品无非是两个大类,一个是视觉,一个是其他感觉,我将之概括为第一人称和第三人称。简而言之,就是影视和游戏,一个重在看,一个重在操作。我想能否将这二者结合,于是我们的课题应运而生--《VR走进历史课堂》。我将小组六人分为三人一组,两组分别负责movie和game部分,每组三个人,一个人负责技术研究,一个人负责商业价值和应用研究,一个人负责实际操作3D建模。例如我就是负责movie部分的技术研究,完成了研究报告《VR走进历史课堂-基于VR技术的动画特点及交互性技术分析》下文也会对这部分着重讲述。
Ⅱ项目开展
虽然我们已经完成基本项目构思,但由于英文授课模式在我此前的学习经历中少之又少,项目完成的难度还是不小。除了上课时我们得认真听讲,课下还得拿老师课件仔细研读,逐步了解项目入手的方法。要想完成一个完整的项目,需要先完成对人物、环境的3D建模,再理清楚人物与人物、环境与环境、人物与环境的逻辑,然后再构建体验者与环面的交互系统,这涉及计算机图形学、人机交互技术、传感技术、人工智能等领域。于是我们将每一个阶段都细分,最终要求是每个人对自己的部分不一定要做出成品,但要明白是如何实现的。
而我,在完成自己项目的同时,查找了国内外各大论坛网站的论文,再结合老师的课件,总结了许多要点:
①VR动画呈现方式与传统动画的区别:一个是局部,一个是全景。
动画的制作方面从手绘到计算机绘图,从二维到三维,无论如何变化,视觉呈现方面都具有“局部”性。传统动画无论是在电视、显示器还是手机播放,总会预留一个视口给观众进行观看,如同给观众一个“窗口”,让观众透过窗口去观看另一个世界。全景动画则截然不同,虽然首次观看同样具有“窗口”,但这个“窗口”更像是一个“眼镜”,画面呈现上如同将观众带入到另一个世界中,视角没有了限制,观看内容不再仅限于“窗口”所展示的世界。
②VR动画观看方式与传统动画的区别:一个是被动,一个是主动。
传统动画所提供的被动式观看,一直都如同第三人称在讲述一个故事,动画一直期望使用一些手法用以增强观众的代入感,但无论多么具有感染力的,这种被动式的观看方式使观众始终处于“不在场”状态,对于气氛的渲染,总有人会感觉自己是一个“旁观者”,无法融入这种虚拟的带入感中。全景动画将观众这个客体转变成为一个主体,赋予了观众主观上的观看方式,获得了观看内容上的主动权,即使部分观众不喜欢观看主线剧情,也可以通过主动转动视角,观看其他内容,调动观众的参与感,使观众在观看上具有沉浸感和互动性。
③VR动画叙事与传统动画的区别:自由视角的代价。
等价交换,是万事万物不变的原则。动画中同样适用这个原则,全景视角和观看方式的主动性给予了全景动画创作新的可能性。
传统动画中创作者可以在故事叙述中通过光影、镜头等方式有意识将一些关键性的画面内容传达给观众,以推动剧情的走向和故事的合理性。但是事无绝对,虽然大部分案例都告诉我们全景动画无法使用物象的省略,但全景动画《珍珠》在故事表达中就充分利用了这个原理,通过局促的车内空间进行遮挡,尽量减少车外场景切换时所产生的空间变化,对于观众来说,观众拥有了自由的视角,但并不意味着可以看到所有的事物,这就使创作者可以使用遮挡来实现物象的省略。
总的来说,观众所拥有的视野在全景动画内依旧是创作者所提供的,但是提高了创作者在场面调度设计方面的难度。
图:unity操作界面
④VR动画交互性的设计基础:光影,声音,观众及角色眼神。
基于光影设计交互点
虚拟现实动画场景在设计中,通过合理的补光能够更好地保证影片观赏效果,同时让观众更具观看体验,也能够具备较高的注意力。那么,在进行光影交互设计可以让观众参与进去,提高互动的感受。比如,舞台剧内通过聚光灯的合理应用,虚拟现实动画效果得到提升。
基于声音设计交互点
通过虚拟现实技术与动画,可以让其更好地沉浸在影片所设定的环境中,而此时声音就显得尤为关键。如果画面内没有声音,就不能产生非常好的距离感与空间感,观看的体验也会降低。
基于观众及角色眼神设计交互
现代虚拟现实技术并不能准确地掌握观众眼睛运动情况,这一方面就无法利用角色和观众进行眼神交流,所以交流效果比较差,通过该技术可以实现头部跟踪模拟,然后就能够实现头部侦测,了解其运动规律,可满足数据的转化和应用。
图:项目展示PPT
Ⅲ项目以外
其实除了项目本身学业的难度,还有很大程度难度来自项目之外。这次线上项目的组队是随机分组,同学们之前都不认识,甚至来自不同学校,作为组长的我,在分配任务不仅要考虑难度是否平均,还要考虑每个人是否适合其所负责的任务,比如有人适合做技术研究,有人擅长做商业研究,但由于我之前并不了解组员,所以单单分配任务就花费了不少时间。但难度和收获是成正比的,我了解到一个新团队如何运营,如何分配任务,相信这对我以后的工作学习也有不少启示。除了这些,两位教授也花了不少时间向同学们介绍南洋理工大学的环境,学习生活等,不仅开阔了大三的我的视野,更坚定了我毕业后去NTU攻读硕士学位的决心。
Ⅳ结语
总而言之,不论是从学术素养,学习习惯方面,还是从团队协等方面,我都受益匪浅。我更深入地了解了VR/AR的技术原理以及其在各行各业的应用。这次线上学习极大地培养了我对学术的兴趣,改善了我的学习习惯,十分感谢学校给予我这次机会来提升自己!