DL——迁移学习-元学习-联邦学习

迁移学习-元学习-联邦学习对比

  • 迁移学习侧重于知识从源任务到目标任务的迁移
  • 元学习侧重于快速适应新任务的能力
  • 联邦学习则侧重于在数据隐私保护的前提下进行分布式学习

迁移学习

  • 迁移学习（Transfer Learning）允许模型在一个任务上学习得到的知识应用到另一个不同但相关的任务上。这种方法特别适用于目标任务的数据量不足时。在迁移学习中，通常有一个源域（source domain）和一个目标域（target domain），模型首先在源域上进行训练，然后将学到的特征或参数迁移到目标域以提高学习效率和性能
  • 参考博客: https://blog.csdn.net/dakenz/article/details/85954548

元学习

  • 元学习（Meta-Learning），又称为“学会学习”，是指模型不仅学习如何处理具体的任务，而且学习如何从经验中快速适应和学习新任务的过程。元学习特别关注于当面对新任务时，如何利用已有的知识来加速学习过程。元学习的一个典型应用是通过少量的样本（例如，少样本学习）快速适应新任务
  • 参考链接：【李宏毅-元学习】少样本&元学习Meta Learning_MAML最新机器学习课程！！！
  • 以常见的元学习方法 MAML 的流程为例：
    • 任务采样 ：从任务集合中随机选择一批任务，每个任务都包含训练集和验证集
      • 训练集用于更新模型的参数，验证集用于评估模型的泛化性能
    • 任务内优化（内循环） ：对于每个采样到的任务，首先使用当前的初始化参数进行梯度更新
      • 通过这些更新，让模型在任务训练集上的表现逐步改善，快速适应当前任务的特定要求
    • 元优化（外循环） ：在完成任务内优化后，使用更新后的模型参数在其他任务的验证集上计算损失
      • 然后，基于多个任务的验证集损失，对初始化参数进行更新
      • 外循环的梯度更新是通过任务验证集上的损失进行的，目的是优化整个模型的初始参数 ，使其能在多个任务上快速学习
  • 总结：MAML 的目标是在元训练阶段，通过在多个任务上进行训练和优化 ，找到一个良好的初始参数 ，使得当模型遇到新任务时 ，只需利用新任务的少量数据进行几次快速梯度更新，就能迅速适应新任务，达到较好的性能

联邦学习

  • 联邦学习（Federated Learning）是一种分布式机器学习范式，它允许多个参与者在保持数据隐私和数据本地化的前提下共同构建机器学习模型。在联邦学习中，数据不需要集中存储或处理，而是在各个参与者的本地进行训练，只有模型的更新（如参数）在参与者之间共享。这种方式可以解决数据孤岛问题，同时保护用户隐私。