背景
- 一般来说，模型最重要的是 Memorization 和 Generalization
- Memorization: 可以不精确地定义为学习 items 或者特征的频繁共现，并且从历史数据里面开发(exploiting)
- Generalization: 基于相关性的传递性(transitivity of correlation), 探索发现一些新的特征组合(从我出现或很少出现的组合)
Wide
- 注重记忆能力
- 手动特征交叉组合(实现低阶的特征组合)
Deep
- 泛化能力
- 高阶特征
- 低维稠密embedding
Wide and Deep
- 结合了Wide和Deep两个模型
- 不是模型的集成(Ensemble)，这里称为联合训练(Joint Training)
- 集成的两个模型是分开独立训练的，然后预测的时候合并了两个模型的预测
- 联合训练是两个模型同时训练，训练时是加权相加的，每次训练时损失是一起传递