信息系统与信息工程研究所
首页 > 新闻动态 > 新闻动态 > 正文

宁念文博士为团队作Transformer专题讲座

信息来源: 原创 发布日期: 2022-10-05 浏览次数:


10月5日上午,实验室类脑计算课题组召开学术研讨会,邀请了宁念文博士作题为“Transformer从零解读”的专题讲座。本次会议在九章学堂C座401举行,采用线上线下结合的方式,实验室三十余名师生参加研讨。

会议由敖天勇副教授主持,首先介绍了组织本次会议的初衷,旨在加强课题组之间的交叉与协作,促进学术交流。同时,对宁念文博士利用国庆假期作专题分享表示感谢。

随后,宁念文博士详细解读了Transformer的模型、架构及应用。通过生动朴实的案例阐释了Transformer的基本概念,深入浅出地呈现了其编解码架构及内部运行机理,细致入微地讲解了位置编码、多头注意力机制、残差和layerNorm以及前馈神经网络等关键技术和设计原理,并通过实际应用展示了Transformer的潜力和价值。宁博士的报告既做到了高屋建瓴,又能结合实际,让同学们对Transformer应用有了全新的认知。

在经过激烈的研讨之后,会议进入第二项议程,由田勇猛同学汇报类脑计算研究进展及思路。田勇猛介绍了NCP模型的核心机理和应用框架,展示了NCP在自动驾驶、交通预测、移动机器人等领域的潜在应用,提出NCP与强化学习相结合的研究思路。然后,周毅教授、张延宇副教授、李伟副教授、宁念文博士、付乐博士、琚佳伟博士等多位老师对田勇猛同学的研究计划进行了指导和交流。

本次学术研讨活动对实验室各课题组之间的交流与协作起到了重要推动作用,营造了良好的交叉创新研究氛围。