吴剑明
时间:2024-04-08 12:24 来源: 作者: 点击:次
吴剑明 86 主要任职 : 教授 曾获荣誉 : 2022年浙江省级引才计划-创新长期（省千、省级领军人才） 电气通信主任技术者资格（日本国家级资格认证） 应用情报通信技术者资格（日本国家级资格认证） 日本情报处理学会山下記念研究賞 KDDI株式会社发明贡献奖 2020年Kaggle鲸鱼识别比赛银牌(第17名/参赛2131队) ACM MM微表情AI国际竞赛2021全球第3名(团队总指导) ACM ICMI集中注意力AI国际竞赛emotiW2019-2020全球第2名(团队总指导) 孔子仁和奖 性别 : 男 毕业院校 : 早稻田大学 学历 : 博士研究生毕业 学位 : 博士学位 在职信息 : 在岗 所在单位 : 计算机科学与技术学院 入职时间 : 2023-06-15 办公地点 : 21-307 联系方式 : swordwu@zjnu.edu.cn Email : swordwu@zjnu.edu.cn 访问量 ： 0000001563 最后更新时间 : 2024.2.7 个人简介 本科毕业于上海交通大学计算机科学与工程系（本科导师为梁晋清教授），硕/博士毕业于早稻田大学国际情报通信研究科（硕/博士导师为浦野義頼教授，曾任KDDI集团副社长兼研究所所长、早稲田大学院院长、IEEE Fellow），作为研究主管及人工智能研究院负责人在日本第二大电信运营商KDDI株式会社工作了18年，负责国际学术论文投稿、专利授权、海外名校合作、并致力于创新技术的产业化和国家项目推进，先后培养了超过30人的KDDI核心员工团队和博士后，其中包括数名公派到斯坦佛大学、南加州理工大学、印度工科大学等海外名校担任联合研究室的主任研究员，和日本第四大电信运营商乐天5G战略部部长，同时负责培养多名清华大学、北京大学、西安交通大学等国内一流高校来日本企业研修的研究生。回国前在日本元宇宙独角兽Cellid株式会社担任CTO，负责公司的战略方向、海外合作和元宇宙AI软件团队的运营。发表40多篇期刊和国际学术会议论文，作为第一发明人申请60余项日美专利（其中授权近50项），带队申请了100余项专利，作为PI完成了3项日本国家项目及12项大型科创产业化成果，获得了日本国家电气通信主任技术者资格认证、日本国家情报通信资格认证、KDDI株式会社发明贡献奖、KDDI综合研究所MVP奖在内的十余项国家资格和奖励，得到日经新闻、东京电视台WBS特辑、NHK、TimeSpace杂志等媒体、杂志的20次宣传报导。2022年获得浙江省级引才计划-创新长期（省千、省级领军人才），在浙江师范大学计算机科学与技术学院担任教授，博导。曾经主导过的研究方向：手机操作系统、无线通信、图像/自然语言处理、对话机器人、人脸/表情识别、多模态识别、AR/360 SLAM・SfM、自然语言对话大语言模型。目前主要研究方向：元宇宙/多模态大模型和虚拟课堂、智慧养老，智慧建设等行业的结合。该研究针对元宇宙的两大基础研究技术难点：1）物理空间+虚拟空间的无缝融合；2）多模态大语言模型，打造具有核心竞争力的世界领先创新科研项目。▪️近期主要论文列表（期刊）Zhang, J., Yu, Y., Tang, S., Li, W., & Wu, J. (2023). Multi-scale network with shared cross-attention for audio–visual correlation learning. Neural Computing and Applications, 35(27), 20173-20187.Zeng, D., Wu, J., Hattori, G., Xu, R., & Yu, Y. (2023). Learning Explicit and Implicit Dual Common Subspaces for Audio-visual Cross-modal Retrieval. ACM Transactions on Multimedia Computing, Communications and Applications, 19(2s), 1-23.Yang, B., Wu, J., Ikeda, K., Hattori, G., Sugano, M., Iwasawa, Y., & Matsuo, Y. (2023). Deep learning pipeline for spotting macro-and micro-expressions in long video sequences based on action units and optical flow. Pattern Recognition Letters, 165, 63-74.Yang, B., Wu, J., Ikeda, K., Hattori, G., Sugano, M., Iwasawa, Y., & Matsuo, Y. (2022). Face-mask-aware facial expression recognition based on face parsing and vision transformer. Pattern Recognition Letters, 164, 173-182.Wang, Y., Wu, J., Furumai, K., Wada, S., & Kurihara, S. (2022). VAE-based adversarial multimodal domain transfer for video-level sentiment analysis. IEEE Access, 10, 51315-51324.Zhang, J. , Yu, Y. , Tang, S. , Wu, J. , & Li, W. . (2021). Variational autoencoder with cca for audio–visual cross-modal retrieval. ACM Transactions on Multimedia Computing, Communications and Applications, 19, 1 - 21.Wu, J. , Yang, D. , & Urano, Y. . (2005). Mobile phone version chinese language learning system with advanced virtual assistant. IEICE Transactions on Information and Systems, J88(No.2), 462-477.▪️近期主要论文列表（国际学术会议）Yang, B., Wu, J., Zhou, Z., Komiya, M., Kishimoto, K., Xu, J., ... & Takishima, Y. (2021, October). Facial action unit-based deep learning framework for spotting macro-and micro-expressions in long video sequences. In Proceedings of the 29th ACM International Conference on Multimedia (pp. 4794-4798).Zeng, D., Wu, J., Yang, B., Obara, T., Okawa, A., Iino, N., ... & Takishima, Y. (2021, November). SHECS: A Local Smart Hands-free Elderly Care Support System on Smart AR Glasses with AI Technology. In 2021 IEEE International Symposium on Multimedia (ISM) (pp. 66-74). IEEE.Bo, Y. , Wu, J. , & Hattori, G. . (2021). Face Mask aware Robust Facial Expression Recognition during the COVID-19 Pandemic. IEEE ICIP 2021 (The 28th IEEE International Conference on Image Processing 2021). IEEE.Wu, J. , Yang, B. , Wang, Y. , & Hattori, G. . (2020). Advanced Multi-Instance Learning Method with Multi-features Engineering and Con-servative Optimization for Engagement Intensity Prediction. ICMI 2020 (22nd ACM International Conference on Multimodal Interaction). ACM.Wang, Y. , Wu, J. , Heracleous, P. , Wada, S. , & Kurihara, S. . (2020). Implicit Knowledge Injectable Cross Attention Audiovisual Model for Group Emotion Recognition. ICMI 2020 (22nd ACM International Conference on Multimodal Interaction). ACM.Wang, Y. , Wu, J. , Huang, J. , Hattori, G. , & Kurihara, S. . (2020). LDNN: Lin-guistic Knowledge Injectable Deep Neural Network for Group Cohesiveness Understanding. ICMI 2020 (22nd ACM International Conference on Multimodal Interaction). ACM.Wang, Y. , Wu, J. , & Hoashi, K. . (2019). Lightweight Deep Convolutional Neural Networks for Facial Expression Recognition. MMSP2019.Wu, J. , Hagiya, T. , Tang, Y. , & Hoashi, K. . (2017). Effects of Objective Feedback of Facial Expression Recognition during Video Support Chat. ACM MUM2017. ACM.▪️近期主要授权专利列表特開2022-079067, スマートグラス、プログラム及び表示制御方法, 特許7360775（2023.10.13）特開2021-139921, ユーザ周辺データに応じて雑談のような対話を進行させる対話装置、プログラム及び方法, 专利授权号：特許7352491（2023.9.28）特開2021-092617, ユーザの発話文に対する応答文を推定する装置、プログラム及び方法, 专利授权号：特許7224278（2023.2.17）特開2020-126186, 相槌判定によって応答発話生成を制御する対話実施プログラム、装置及び方法, 专利授权号：特許6985311（(2021.12.22)）特開2020-067562, ユーザの顔の映像に基づいて発動タイミングを推定する装置、プログラム及び方法, 专利授权号：特許7032284（2022.3.8）特開2019-101619, 対話ログ群からコンテキストを決定可能な対話シナリオ生成装置、プログラム及び方法, 专利授权号：特許6882975（2021.6.2）特開2019-095517, 宅内ユーザの行動推定方法、装置およびプログラム, 专利授权号：特許6761404（2020.9.23）特開2018-181250, コンテキストに応じた対話シナリオを生成する装置、プログラム及び方法, 专利授权号：特許6843689（2021.3.17）特開2017-156854, 感情分類によって文脈意味の理解精度を高める発話意味分析プログラム、装置及び方法, 专利授权号：特許6617053（2019.12.4）特開2017-097693, 異なる周期階層のデータによる学習を行うデータ予測装置、情報端末、プログラム及び方法, 专利授权号：特許6516660（2019.5.22）特開2016-194804, 人物特定装置およびプログラム, 专利授权号：特許6478221（2019.3.6）特開2016-051443, 情報プッシュ方法および装置, 专利授权号：特許6282960（2018.2.21）特開2015-115879, 遠隔操作システムならびにそのユーザ端末および視聴機器, 专利授权号：特許6266330（2018.1.24）特開2014-192813, チャネル毎の電波受信強度に基づいて特定位置を検知する端末、方法及びプログラム, 专利授权号：特許6087693（2017.3.1）特開2011-199381, 無線通信方法およびシステムならびにその無線通信装置, 特許5414059（2014.2.12）特開2011-071715, リモコン制御システムおよびリモコン制御方法, 专利授权号：特許5414059（2014.2.12）特開2010-093726, 視聴制限方法およびシステム, 专利授权号：特許5334521（2013.11.6）特開2010-028479, 分散機器相互制御システムおよび情報処理装置, 专利授权号：特許5198170（2013.5.15）Wu, J. , Uemukai, T. , & Sugaya, F. . (2013). Optimization of queued events by deletion/integration based on CPU load calculation. 专利授权号：US, US8356301 B2.特開2009-075808, オペレーティングシステムに基づくイベント処理機能搭載装置及びプログラム, 专利授权号：特許4771431（2011.9.14）特開2008-033577, マルチタスクスケジューリング機能搭載装置及びプログラム, 专利授权号：特許4614239（2011.1.19）▪️国家项目，产品TV节目伴随对话机器人(日本总务省国家项目)东京电力核电站3D空间建模及物体识别鹿岛建设/IBM基建空间建模及物体识别AR眼镜养老院系统(日本厚劳省国家项目)空间自在(日本东京都项目)东京电视台综艺节目人脸/表情识别系统KDDI电话服务中心表情识别KDDI手机营业厅自然语言对话AIKDDI家庭自然语言对话机器人丰田车载对话AI大和运输多窗口多任务VoiP手机多窗口多线程智能手机操作系统OS▪️新闻媒体报道，出展2022年TimeSpace杂志：科技前沿人物介绍自然语言机器人2021年TimeSpace杂志：科技前沿人物介绍口罩表情识别，智慧办公室2021年TimeSpace杂志：科技前沿人物介绍人脸识别，智慧养老院2021年新闻发布会：口罩表情识别，智慧办公室2021年新闻发布会：人脸识别，智慧养老院2021年日本情报通信学会Keynote演讲：智慧家庭，多模态对话机器人2019年06月NHK技研出展电视机联动自然语言对话机器人2019年06月东京5G峰会出展 AR眼镜人物识别系统2019年东京电视台人脸/表情识别AI应用的综艺节目2018年新闻发布会：对话机器人2018年新闻发布会：表情识别2017年东京电视台WBS节目演出：科技前沿技术介绍2015年科技日报正版特集：人工智能：让机器拥有学习能力2013年ITS世界会议出展，新闻发布会：跨平台对话AI2012年新闻发布会：会说话的宠物蛋2006年新闻发布会，日经新闻头版：多窗口手机OS2006年TimeSpace杂志：科技前沿人物介绍 教师其他联系方式 邮箱 : swordwu@zjnu.edu.cn 教育经历 2002.4 -- 2005.3 早稻田大学 国际情报通信研究科 博士研究生毕业 博士学位 2000.4 -- 2002.3 早稻田大学 国际情报通信研究科 硕士研究生毕业 硕士学位 1994.9 -- 1998.6 上海交通大学 计算机科学与工程系 大学本科毕业 学士学位 工作经历 2022.7 -- 2023.11 日本Cellid株式会社 CTO，首席科学家 兼职顾问 2005.4 -- 2023.6 日本KDDI株式会社 研究所 研究主管，客座教授 退职 1998.7 -- 2000.3 日本Access株式会社 研发部 研发工程师 退职 研究方向 多模态大语言模型/对话机器人/AIGC |