MNIST 数据集

MNIST 数据集经常被用来检验机器学习模型的性能,官网包含多达68 种模型在该数据集上的准确率数据,包括线性分类器, K近邻方法 、普通的神经网络、卷积神经网络等。

tf.Tensor 类是 TensorFlow 的核心类,常用的占位符( tf.placeholder )、变量( tf.Variable)都可以看作特殊的 Tensor


词向量


19种损失函数

L1范数损失 L1Loss

计算 output 和 target 之差的绝对值。

均方误差损失 MSELoss

计算 output 和 target 之差的均方差。

交叉熵损失 CrossEntropyLoss

KL 散度损失 KLDivLoss

二进制交叉熵损失 BCELoss

BCEWithLogitsLoss

MarginRankingLoss

HingeEmbeddingLoss

多标签分类损失 MultiLabelMarginLoss

平滑版L1损失 SmoothL1Loss

2分类的logistic损失 SoftMarginLoss

多标签 one-versus-all 损失 MultiLabelSoftMarginLoss

cosine 损失 CosineEmbeddingLoss

多类别分类的hinge损失 MultiMarginLoss

三元组损失 TripletMarginLoss

连接时序分类损失 CTCLoss

负对数似然损失 NLLLoss

NLLLoss2d

PoissonNLLLoss


Reference:

  1. Deep Learning in NLP (一)词向量和语言模型
  2. 十九种损失函数,你认识几个?