Differentiable architecture search based on Neumann series

报告题目：Differentiable architecture search based on Neumann series

报告时间：2023年10月27日9:30-10:30

报告地点：腾讯会议：117-928-860

报告人：刘国华 教授（东南大学）

报告摘要：Neural architecture search(NAS) has shown great potential in discovering powerful 1 and flexible network models, becoming an important branch of automatic machine learning (Au- 2 toML). Although search based on reinforcement learning and evolutionary algorithms can find 3 high-performance architectures, these search methods typically require hundreds of GPU days. Un- 4 like searching in a discrete search space based on reinforcement learning and evolutionary algorithms, 5 differentiable neural architecture searches(DARTS) continuously relax the search space, allowing 6 for optimization using gradient based methods. Based on DARTS, we proposed NDARTS in this 7 article. The new algorithm uses Implicit Function Theorem and Neumann series to approximate 8 hyper-gradient, which obtain better results than DARTS. In the simulation experiment, the ablation 9 experiment is carried out to study the influence of different parameters on NDARTS algorithm and 10 determine the optimal weight, then the best performance of the NDARTS algorithm is searched in the 11 DARTS search space and the NAS-BENCH-201 search space. Compared with other NAS algorithms, 12 results show that NDARTS achieves excellent results on CIFAR-10, CIFAR-100, ImageNet datasets, is 13 an effective neural architecture search algorithm

报告人简介：东南大学数学学院教授，博导，主要研究方向深度强化、进化等智能算法优化，高维数据优化等。主持2项国家级项目，第一合作单位参与国家级重大项目1项，负责2项科技部重点研发项目子课题；主持国家自然基金2项，主持多项横向项目。发表高水平论文近20篇，获得江苏省自然科学3等奖。

报告邀请人：王艳华 教授