7x24快讯 ·

揭开对机器学习的七点误解

近日,哥伦比亚大学计算机科学专业博士生 Oscar Chang 发博阐述了关于机器学习的七个误解,原文编译整理如下。

在了解深度学习的过程中盛传着 7 个误解,它们中很多都是以前固有的偏见,但在最近又被新的研究提出了质疑,现在我们把它整理出来:

误解 1: TensorFlow 是个张量运算库

误解 2: 图像数据集反映了自然世界真实图像分布

误解 3: 机器学习研究者并不使用测试集进行验证

误解 4: 神经网络训练过程会使用训练集中的所有数据点

误解 5: 我们需要批标准化来训练超深度残差网络

误解 6: 注意力优于卷积

误解 7: 显着图是解释神经网络的一种稳健方法

以下将分别说明:

误解1:TensorFlow 是个张量运算库?

事实上,TensorFlow 是一个矩阵运算库,这与张量运算库存在显着差异。

在 NeurIPS 2018 的论文 Computing Higher Order Derivatives of Matrix and Tensor Expressions 中,研究者表明,他们基于张量微积分(Tensor Calculus)所建立的新自动微分库具有明显更紧凑(compact)的表达式树(expression trees)。这是因为,张量微积分使用了索引标识,这使得前向模式和反向模式的处理方式相同。

南辕北辙的是——矩阵微积分为了标识方便而隐藏了索引,这通常会导致自动微分的表达式树显得过于冗杂。

若有矩阵的乘法运算:C=AB。在前向模式中,有:

?

参与评论