基于相关性差异化迁移的渐进式神经网络
作者简介
蔡昌骁,男,江苏盐城人,硕士研究生,主要研究方向:机器学习、神经网络。
论文摘要
虽然经典的渐进式神经网络(PNN)通过获取先前任务的经验知识来提高神经网络在当前任务中的性能,但忽略了在渐进任务较多时渐进任务间的相关性差异对网络性能的影响。针对该场景,提出一种基于相关性差异化迁移的渐进式神经网络(CDT-PNN)。首先使用基于余弦相似度的算法评估两个渐进任务的相关性;然后利用当前任务和先前任务之间的相关性来决定神经网络的知识参数传递,并删除与当前渐进任务呈负相关的先前渐进任务的知识参数;最后依据任务间相关性按一定比例随机抽取与当前渐进任务呈正相关的先前渐进任务的知识参数进行参数迁移。在添加了不同程度噪声的cifar-100数据集和mnist数据集上进行实验。结果显示,与PNN相比,CDT-PNN在cifar-100和mnist数据集上的实验任务平均分类精度(AA)提高了6.6个百分点和1.58个百分点。这说明,在复杂多任务场景下CDT-PNN能获得比PNN更好的性能。
关键词
渐进式神经网络;相关性差异;渐进任务;参数传递;持续学习;复杂多任务
传统深度学习一直存在灾难性遗忘(catastrophic forgetting)的问题,即学习了新的知识之后,会彻底遗忘之前学习的内容,缺乏不断适应环境以及持续学习的能力。在执行一个深度学习任务时,网络上的知识参数会被更新,导致必须舍弃上一个任务的知识参数,这就是所谓的灾难性遗忘,无法像人类那样在学习中利用先前学习过的经验和知识,快速地进行相似技能的学习。传统深度学习系统想要获得连续学习能力,克服“灾难性遗忘”问题至关重要。持续学习(continual learning)的出现有效解决了“灾难性遗忘”。
持续学习(continual learning)的出现有效解决了“灾难性遗忘”问题。持续学习是一个学习系统使用之前学习和训练得到的知识去处理新的任务。持续学习是机器学习和人工智能进步的关键。持续学习的定义如下:“一个系统执行多个任务。当它执行第K+1个任务时,它使用了从之前K个任务中获得的知识去帮助执行第K+1个任务。”这样就有可能导致负前向迁移(negative forward transfer)的问题。负前向迁移指的是之前的K个任务会对系统学习第K+1个任务的性能有不利影响。
Rusu等2016年提出的渐进神经网络(Progressive Neural Network,PNN)结合了深度网络应用到持续学习中,有效解决了灾难性遗忘的问题。这种网络结构的构成易理解,对所有之前任务的网络进行保留,并且每学习一个新任务就新建立一个同样的网络,新任务的网络层接收先前所有任务的输出,与当前任务对应网络层的输出相结合,一起输出到下一层。对于各任务的参数知识迁移过程,将各任务模型间的网络层的每一层输出之后添加一个层,用来接收先前任务的输出,并和当前的输出结合,有效保留了各任务的信息。
Fayek等于2020年则提出了一个渐进学习的深度框架,包含课程、渐进、剪枝三个部分。其中渐进过程采用了级联运算而不是求和运算的方式来接收先前任务的输出,每个网络层后面添加级联层,用来接收先前任务的每一层的输出,这鼓励了特征的重用,级联的过程如图1所示。
Fayek等在2020年提出的渐进式学习框架中提到,在工业领域中,渐进子任务的规模大小、相关性、学习难度会存在差异,当子任务数量过多时,靠后的任务由于接收了大量的知识参数,学习训练效率会变得低下。本文将这种任务场景称之为复杂多任务,这样的场景存在这样显著的特征:子渐进任务数量会较多;子渐进任务的相关性存在明显差异。传统的渐进式学习在处理渐进任务数量较多且任务相关性存在差异的复杂多任务场景时存在明显不足:传统的惭进式学习忽略任务间相关性,没有考虑到不同任务间的相关程度对学习性能的影响,任务较多时还会导致训练过程效率低下;对存储要求高,级联所有先前任务的参数进行训练对存储和学习效率也是不小的考验。
论文位置
北区三教图书馆:《计算机应用》2023年第7期第2107页至2115页,架标号40号。
招生咨询热线:0316-2901888、0316-2901877
学校地址:
河北省廊坊市开发区东方大学城一期圣陶路(主校区)
河北省廊坊市开发区东方大学城二期白居易道(医学院校区)
河北省廊坊市开发区东方大学城一期圣陶路东(文物与艺术学院校区)
邮箱:oitoffice@126.com