AI、机器学习和深度学习三者关系 深度学习发展史

 

随着深度学习的继续发展，受到猫脑视觉皮层研究中局部感受野的启发，卷积神经网络（ConvoluTIonal Neural Network，CNN），通过稀疏连接、参数共享两个思想改进了深度神经网络。左边是CNN结构，右边是全连接形式的神经网络。

 

人工智能、机器学习和深度学习三者关系 深度学习发展史

 

卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。

 

CNN是第一个真正成功训练多层网络结构的学习算法，它利用空间关系减少需要学习的参数数目以提高一般前向BP算法的训练性能，CNN作为一个深度学习架构提出是为了最小化数据的预处理要求。在CNN中，图像的一小部分（局部感受区域）作为层级结构的最低层的输入，信息再依次传输到不同的层，每层通过一个数字滤波器去获得观测数据的最显著的特征。这个方法能够获取对平移、缩放和旋转不变的观测数据的显著特征，因为图像的局部感受区域允许神经元或者处理单元可以访问到最基础的特征，例如定向边缘或者角点。

 

深度学习的优缺点

 

基于深度神经网络的端到端学习在最近几年取得很大的成功，被大量应用与计算机视觉、语音识别、自然语音处理、医学图像处理等领域中。

 

· 优点：深度学习能让计算机自动学习出模式特征，并将特征学习的特征融入到建模的过程中，从而减少了人为设计特征造成的不完备性。而目前有些深度学习，已经达到了超越现有算法的识别或分类性能。

 

· 缺点：需要大数据支撑，才能达到高精度。由于深度学习中图模型比较复杂，导致算法的时间复杂度急剧提升，需要更好的硬件支持。因此，只有一些经济实力比较强大的科研机构或企业，才能够用深度学习来做一些前沿而实用的应用。

 

另外，纽约大学教授、人工智能创业者Gary Marcus在2018年对深度学习的作用、局限性和本质进行了重要的回顾。他指出了深度学习方法的局限性 —— 即需要更多的数据、容量有限、不能处理层次结构、无法进行开放式推理、不能充分透明、不能与先验知识集成、不能区分因果关系。

 

他还提到，深度学习假设了一个稳定的世界，以近似方法实现，工程化很困难并且存在着过度炒作的潜在风险。Marcus认为：深度学习需要重新概念化，并在非监督学习、符号操作和混合模型中寻找可能性，从认知科学和心理学中获得见解，并迎接更大胆的挑战。

 

下面是深度学习目前的一些标志性公司以及代表性的技术。

 

· 语音识别技术：国内公司讯飞、百度、阿里，国外公司亚马逊，微软等，行业应用就是智能音箱等产品。

 

· 图像识别技术：比如做安防的海康威视，图森科技，依图科技，旷视科技，代表性的就是面部识别，人脸识别，刷脸解锁、支付等。

 

· 自动驾驶技术：比如特斯拉，uber，百度等公司开发的。

 

· 金融领域的如：预测股价、医疗领域的疾病监测，教育领域的技术赋能等。

 

深度学习与计算机视觉

 

传统计算机视觉是广泛算法的集合，主要目标是从图像中提取特征，包括边缘检测、角点检测、基于颜色的分割等子任务。目前，传统计算机视觉已有多种用途，例如对不同的对象进行去噪、增强和检测。

 

这种方法的主要问题是需要告诉系统在图像中寻找哪些特性。本质上，假设算法按照设计者的定义运行，所提取的特征是人为设计的。在实现中，算法性能差可以通过微调来解决，但是，这样的更改需要手工完成，并且针对特定的应用程序进行硬编码，这对高质量计算机视觉的实现造成了很大的障碍。

 

不过，深度学习的出现解决了这一问题。当前，深度学习系统在处理一些相关子任务方面取得了重大进展。深度学习最大的不同之处在于，它不再通过精心编程的算法来搜索特定特征，而是训练深度学习系统内的神经网络。随着深度学习系统提供的计算能力的增强，计算机将能够识别并对它所看到的一切做出反应，这一点已经有了显著的进展。

 

近年来，深度学习的发展不仅突破了很多难以解决的视觉难题，提升了对于图像认知的水平，更是加速了计算机视觉领域相关技术的进步。相信，随着深度学习模型的改进和计算能力的不断提升，自主系统能够继续稳步发展，真正实现可以解释和反应它们所感知到的东西。

 

深度学习对于计算机视觉系统来说无疑是一个有趣的补充。我们现在可以相对容易地“训练”探测器来探测那些昂贵且不切实际的物体。我们还可以在一定程度上扩展这些检测器，以使用更多的计算能力。

 

出人意料的是，深度学习教会了我们一些关于视觉数据（通常是高维数据）的东西，这个观点十分有趣：在某种程度上，数据比我们过去认为的要“浅”得多。

 

似乎有更多的方法来统计地分离标有高级人类类别的可视化数据集，然后有更多的方法来分离这些“语义正确”的数据集。换句话说，这组低水平的图像特征比我们想象的更具“统计意义”。这是深度学习的伟大发现。

 

深度学习已经成为计算机视觉系统的重要组成部分。但是传统的计算机视觉并没有走到那一步，而且，它仍然可以用来建造非常强大的探测器。这些人工制作的检测器在某些特定的数据集度量上可能无法实现深度学习的高性能，但是可以保证依赖于输入的“语义相关”特性集。

 

深度学习提供了统计性能强大的检测器，而且不需要牺牲特征工程，不过仍然需要有大量的标记数据、大量GPU，以及深度学习专家。然而，这些强大的检测器也会遭遇意外的失败，因为它们的适用范围无法轻易地描述