ML——参数化模型与非参数化模型

本文介绍非参数化模型(Non-parametric models)和参数化模型(Parametric models)


参数化模型

定义

参数化模型指的是那些依赖于固定数量参数的模型,这些参数可以通过训练数据学习得到。参数化模型的特点是一旦参数确定,模型的复杂度也就固定了。

举例

参数化模型的例子包括线性回归、逻辑回归、支持向量机(SVM)和神经网络等

非参数化模型

定义

非参数化模型则不对模型形式做出严格的假设,也不依赖于固定数量的参数。这类模型通常具有更大的灵活性,可以根据数据的复杂性来适应模型的复杂度。

举例

非参数化模型的例子包括高斯过程回归、决策树、k-最近邻(k-NN)算法、核方法以及各种基于模型的集成方法如随机森林和提升树(Boosting Trees)等

其他说明

  • 尽管神经网络可以拥有大量的参数,使得它们具有高度的灵活性和强大的表达能力,但这些特点并不使其成为非参数化模型。非参数化模型指的是不对模型形式做出严格假设的模型,其参数的数量和模型的复杂度可以随着数据量的增加而增加。因此,即使神经网络在实际应用中可以非常复杂,它们仍然是基于固定参数数量的参数化模型。

  • 神经网络越来越复杂,现在参数量已经非常大,实际上可以看做是非参数模型?