本文介绍非参数化模型（Non-parametric models）和参数化模型（Parametric models）

参数化模型

定义

参数化模型指的是那些依赖于固定数量参数的模型，这些参数可以通过训练数据学习得到。参数化模型的特点是一旦参数确定，模型的复杂度也就固定了

举例

参数化模型的例子包括线性回归、逻辑回归、支持向量机（SVM）和神经网络等

非参数化模型

定义

非参数化模型则不对模型形式做出严格的假设，也不依赖于固定数量的参数。这类模型通常具有更大的灵活性，可以根据数据的复杂性来适应模型的复杂度

举例

非参数化模型的例子包括高斯过程回归、决策树、k-最近邻（k-NN）算法、核方法以及各种基于模型的集成方法如随机森林和提升树（Boosting Trees）等

其他说明

  • 尽管神经网络可以拥有大量的参数，使得它们具有高度的灵活性和强大的表达能力，但这些特点并不使其成为非参数化模型。非参数化模型指的是不对模型形式做出严格假设的模型，其参数的数量和模型的复杂度可以随着数据量的增加而增加。因此，即使神经网络在实际应用中可以非常复杂，它们仍然是基于固定参数数量的参数化模型

  • 神经网络越来越复杂，现在参数量已经非常大，实际上可以看做是非参数模型？

迁移学习-元学习-联邦学习对比

  • 迁移学习侧重于知识从源任务到目标任务的迁移
  • 元学习侧重于快速适应新任务的能力
  • 联邦学习则侧重于在数据隐私保护的前提下进行分布式学习

迁移学习

  • 迁移学习（Transfer Learning）允许模型在一个任务上学习得到的知识应用到另一个不同但相关的任务上。这种方法特别适用于目标任务的数据量不足时。在迁移学习中，通常有一个源域（source domain）和一个目标域（target domain），模型首先在源域上进行训练，然后将学到的特征或参数迁移到目标域以提高学习效率和性能
  • 参考博客: https://blog.csdn.net/dakenz/article/details/85954548

元学习

  • 元学习（Meta-Learning），又称为“学会学习”，是指模型不仅学习如何处理具体的任务，而且学习如何从经验中快速适应和学习新任务的过程。元学习特别关注于当面对新任务时，如何利用已有的知识来加速学习过程。元学习的一个典型应用是通过少量的样本（例如，少样本学习）快速适应新任务
  • 参考链接：【李宏毅-元学习】少样本&元学习Meta Learning_MAML最新机器学习课程！！！
  • 以常见的元学习方法 MAML 的流程为例：
    • 任务采样 ：从任务集合中随机选择一批任务，每个任务都包含训练集和验证集
      • 训练集用于更新模型的参数，验证集用于评估模型的泛化性能
    • 任务内优化（内循环） ：对于每个采样到的任务，首先使用当前的初始化参数进行梯度更新
      • 通过这些更新，让模型在任务训练集上的表现逐步改善，快速适应当前任务的特定要求
    • 元优化（外循环） ：在完成任务内优化后，使用更新后的模型参数在其他任务的验证集上计算损失
      • 然后，基于多个任务的验证集损失，对初始化参数进行更新
      • 外循环的梯度更新是通过任务验证集上的损失进行的，目的是优化整个模型的初始参数 ，使其能在多个任务上快速学习
  • 总结：MAML 的目标是在元训练阶段，通过在多个任务上进行训练和优化 ，找到一个良好的初始参数 ，使得当模型遇到新任务时 ，只需利用新任务的少量数据进行几次快速梯度更新，就能迅速适应新任务，达到较好的性能

联邦学习

  • 联邦学习（Federated Learning）是一种分布式机器学习范式，它允许多个参与者在保持数据隐私和数据本地化的前提下共同构建机器学习模型。在联邦学习中，数据不需要集中存储或处理，而是在各个参与者的本地进行训练，只有模型的更新（如参数）在参与者之间共享。这种方式可以解决数据孤岛问题，同时保护用户隐私。