教师主页移动版

个人简介 本人于2021年8月加入浙江大学先进技术研究院先进智能系统研究中心从事大规模人工智能算法的研究，主要研究方向是贝叶斯后验学习方法、随机优化算法以及强化学习算法。 先后作为核心骨干参与浙江省自然科学基金重点项目、国家自然科学基金面上项目、国家自然科学基金青年项目等；在AAAI、IJCAI、KDD、ICLR、AISTATS等CCF推荐会议上共发表论文20余篇。 研究与成果 近年来主要研究方向为大规模机器学习任务的高效学习算法，具体研究内容包括一下几个方面。• 高精度快收敛随机优化算法当前海量数据量场景下，基于随机梯度的优化算法被广泛使用在不同的机器学习应用中。为了减小随机梯度方差对算法收敛性的影响，我们将降方差的思想用在了具有不同的性质的优化问题上，提出了一系列适用于不同场景的高精度快收敛的随机算法，并证明了这些算法都具有STOA 的收敛性质: 在去中心化分布式场景下，提出了适用于强凸问题的异步去中心化算法[1] 以及适用于连续空间上具有回报递减特性的子模最大化问题的去中心化梯度追踪算法[2]；针对单机有限内存场景，提出了内存友好的增量式聚合梯度算法[3]；针对具有复杂限制集的凸以及非凸在线优化问题，提出了高效的免投影算法[4]；面向带线性限制域的组合函数优化问题，提出了绛方差随机梯度交替方向最小乘子算法[5]；针对高维度大规模经验风险最小化问题，提出了加速的双随机梯度下降算法[6]；面向大规模凸及非凸随机优化问题，提出了基于层重构的加速分层随机梯度下降算法[7]。1. Chao Zhang, Jiahao Xie, Zebang Shen, Hui Qian, Tengfei Zhou: An Asynchronous Decentralized Algorithm for Wasserstein Barycenter Problem. (Preprint.）2. Jiahao Xie, Chao Zhang, Zebang Shen, Chao Mi, Hui Qian: Decentralized Gradient Tracking for Continuous DR-Submodular Maximization. （AISTATS 2019，CCF-C 类会议）3. Jiahao Xie, Hui Qian, Zebang Shen, Chao Zhang: Towards Memory-Friendly Deterministic Incremental Gradient Method. （AISTATS 2018，CCF-C 类会议）4. Jiahao Xie, Zebang Shen, Chao Zhang, Hui Qian, Boyu Wang: Stochastic Recursive Gradient-Based Methods for Projection-Free Online Learning. （AAAI 2020，CCF-A 类会议）5. Chao Zhang, Zebang Shen, Hui Qian, Tengfei Zhou: Accelerated Stochastic ADMM with Variance Reduction. (Preprint.）6. Zebang Shen, Hui Qian, Tongzhou Mu, Chao Zhang: Accelerated Doubly Stochastic Gradient Algorithm for Large-scale Empirical Risk Minimization. （IJCAI 2017，CCF-A 类会议）7. Weijie Liu, Hui Qian, Chao Zhang, Zebang Shen, Jiahao Xie, Nenggan Zheng : Acceleratting Stratified Sampling SGD by Reconstructing Strata.（IJCAI 2020，CCF-A 类会议）• 高效贝叶斯后验学习方法基于朗之万动力学的MCMC 算法被广泛运用在各种贝叶斯后验学习模型中来产生服从目标分布的样本。针对大数据场景，我们在文章[1] 中提出了一个聚合梯度朗之万动力学算法框架AGLD，并证明了当使用的梯度近似满足一定条件时，算法能保证产生高精度的样本。对于具有非凸负对数概率的复杂贝叶斯模型，我们在文章[2] 中提出了一个基于随机循环动量的加速逼近目标分布的随机梯度欠阻尼朗之万动力学方法。该算法具有低单次迭代计算复杂度少超参数的特性。我们在文章[3] 中提出了一个基于二阶混合动力学的多粒子算法。该算法利用了粒子相互作用力以及动量信息，可以有效的减小粒子相关性并快速的收敛至目标分布。随机变分推断是求解大规模贝叶斯后验问题的另一大类算法,我们在[4] 中提出了一个适用于变分推断中证据下届最大化的随机Hessian积分循环梯度估计，并基于此提出了一个自适应步长的快收敛黑盒变分推断算法。 1. Chao Zhang, Jiahao Xie, Zebang Shen, Peilin Zhao, Tengfei Zhou, Hui Qian: Aggregated Gradient Langevin Dynamics. （AAAI 2020，CCF-A 类会议）2. Chao Zhang, Zhijian Li, Zebang Shen, Jiahao Xie, Hui Qian: A Hybrid Stochastic Gradient Monte Carlo Method.（AAAI 2021，CCF-A 类会议）3. Zhijian Li*, Chao Zhang*, Hui Qian, Xin Du, Lingwei Peng. SHPOS: A Theoretical Guaranteed Accelerated Particle Optimization Sampling Method. (IJCAI-21，CCF-A 类会议，共同一作)4. Chao Zhang, Zebang Shen, Zhijian Li, Hui Qian. SHIRE-BBVI: An Accelerated Black Box Variational Inference Method. (Preprints)• 安全强化学习算法针对环境中可能存在的危险区域，研究适用于智能无人系统控制的安全强化学习方法，发展了规避风险的稳定策略探索方法：构建一个平衡了奖励函数和损失函数的目标函数，并使用表达能力更强的生成器模型作为策略函数，提出了一个安全强化学习生成批判执行算法。该算法能够有效的规避环境中的风险区域，并具有较强的样本利用率，在各种复杂问题上表现出了良好的性能。1. Lingwei Peng, Chao Zhang, Zebang Shen, Hui Qian. Generative Actor-Critic: An Off-policy Algorithm Using the Push-forward Model. (Preprints)• 大规模矩阵近似算法 针对大规模矩阵近似问题，利用平移矩阵的谱的思想，我们提出了一个谱平移Nyström 算法[1]，以及MRA-DDP 采样算法[2]。相比于对应的未使用谱平移的版本，这些算法的近似效果大大提高了，具有更优的近似误差界。 1. Shusen Wang, Chao Zhang, Hui Qian, Zhihua Zhang: Using The Matrix Ridge Approximation to Speedup Determinantal Point Processes Sampling Algorithms. （AAAI 2014，CCF-A 类会议）2. Shusen Wang, Chao Zhang, Hui Qian, Zhihua Zhang: Improving the modified nyström method using spectral shifting. （KDD 2014，CCF-A 类会议）