5/5/2020第十一章迁移学习·第十一章迁移学习。11.1迁移学习基础知识·11.1.1什么是迁移学习？■11.1.2为什么需要迁移学习？■11.1.3迁移学习的基本问题有哪些？·11.1.4迁移学习有哪些常用概念？·11.1.5迁移学习与传统机器学习有什么区别？·11.1.6迁移学习的核心及度量准则？·11.1.7迁移学习与其他概念的区别？·11.18什么是负迁移？产生负迁移的原因有哪些？■11.1.9迁移学习的基本思路？。11.2迁移学习的基本思路有哪些？·11.2.1基于样本迁移·11.2.2基于特征迁移■11.2.4基于关系迁移。11.3迁移学习的常用方法·11.3.1数据分布自适应·11.3.2边缘分布自适应·11.3.3条件分布自适应·11.3.4联合分布自适应·11.3.4概率分布自适应方法优劣性比较·11.3.6特征选择■11.3.5统计特征对齐方法■11.3.6流形学习方法■11.3.7什么是finetune?■113.8 finetune为什么有效？■11.3.9什么是深度网络自适应？■11.3.10GAN在迁移学习中的应用第十一章迁移学习本章主要简明地介绍了迁移学习的基本概念、迁移学习的必要性、研究领域和基本方法。重点介绍了几大类常用的迁移学习方法：数据分布自适应方法、特征选择方法、子空间学习方法、以及目前最热内的深度迁移学习方法。除此之外，我们也结合最近的一些研究成果对未来迁移学习进行了一些展望。并提供了一些迁移学习领域的常用学习资源，以方便感兴趣的读者快速开始学习。11.1迁移学习基础知识11.1.1什么是迁移学习？找到目标问题的相似性，迁移学习任务就是从相似性出发，将旧领域(domair)学习过的模型应用在新领域上。le://home/shishuai/Desktop/第十一章迁移学习.html1/2955/2020第十一章迁移学习11.1.2为什么需要迁移学习？1.大数据与少标注的矛盾：虽然有大量的数据，但往往都是没有标注的，无法训练机器学习模型。人工进行数据标定太耗时。2.大数据与弱计算的矛盾：普通人无法拥有庞大的数据量与计算资源。因此需要借助于模型的迁移。3.普适化模型与个性化需求的矛盾：即使是在同一个任务上，一个模型也往往难以满足每个人的个性化需求，比如特定的隐私设置。这就需要在不同人之间做模型的适配。4.特定应用（如冷后动）的需求。11.1.3迁移学习的基本问题有哪些？基本问题主要有3个：·How to transfer:如何进行迁移学习？（设计迁移方法）·What to transfer:给定一个目标领域，如何找到相对应的源领域，然后进行迁移？（源领域选择)·When to transfer：什么时候可以进行迁移，什么时候不可以？（避免负迁移）11.1.4迁移学习有哪些常用概念？·基本定义o域(Domain):数据特征和特征分布组成，是学习的主体·源域(Source domain):已有知识的域·目标域(Target domain):要进行学习的域。任务Task):由目标函数和学习结果组成，是学习的结果·按特征空间分类。同构迁移学习(Homogeneous TL)：源域和目标域的特征空间相同，D。=Dto异构迁移学习(Heterogeneous TL):源域和目标域的特征空间不同，Dg卡Dt·按汪移情景分类o归纳式迁移学习(Inductive TL):源域和目标域的学习任务不同o直推式迁移学习(Transductive TL):源域和目标域不同，学习任务相同。无监督迁移学习(Unsupervised TL):源域和目标域均没有标签·按迁移方法分类。基于实例的迁移(Instance based TL):通过权重重用源域和目标域的样例进行迁移o基于特征的迁移(Feature based TL):将源域和目标域的特征变换到相同空间o基于模型的迁移(Parameter based TL):利用源域和目标域的参数共享模型o基于关系的迁移(Relation based TL):利用源域中的逻辑网络关系进行迁移fle://home/shishuai/Deskto p/第十一章迁移学习.html5/5/2020第十一章迁移学习同构迁移学习数据层面基于实例的迁移学习监督迁移学习基于特征的迁移学习迁移学习半监督迁移学习基于关系的迁移学习无监督迁移学习基于模型的迁移学习模型层面异构迁移学习Self-taughtCase 1LearningNo labeled data in a source domainInductive TransferLearningLabeled data are availableLabeled data are available in a source domainin a target domainSource andMulti-taskCase 2LearningTransferLabeled data areavailable only in aTransductivedifferentsource domainDomainTransfer Learningdomains butAdaptationsingle taskNo labeled data inboth source andAssumption:singletarget domaindomain and single taskUnsupervisedSample Selection BiasTransfer LearningCovariance Shift11.1.5迁移学习与传统机器学习有什么区别？迁移学习传统机器学习数据分布训练和测试数据不需要同分布训练和测试数据同分布数据标签不需要足够的数据标注足够的数据标注建模可以重用之前的模型每个任务分别建模fle://home/shishuai/Deskto p/第十一章迁移学习.html3/29