深度学习与人工神经网络的发展息息相关，因此在了解深度学习之前，我们先来看人工神经网络所经历的两次浪潮。它的第一次兴盛始于20世纪40至60年代的控制论{2.2.1},并伴随感知器的实现[2-4{4.5.1},其后因为被诟病无法处理非线性问题而陷入停滞；第二次浪潮出现在20世纪80至90年代，随着Hopfield网络、玻尔兹曼机(Boltzmann Machine)和反向传播(Back Propagation,BP)算法的发展，含有少数隐藏层的神经网络的训练具有了可行性，这时期的方法被称为“联结主义” (connectionism)Is|{4.5}。然而由于当时的技术限制和其他机器学习方法取得了不少成果，到了90年代中期，投资人和研究学者对神经网络的热情逐渐消减。

半个世纪以来，各学派的算法都得到了较充分的发展，但机器学习还是遇到了一定的发展瓶颈，其中比较显著且共同的问题是数据表示{5.1.1]。虽然当时的人工智能可以在通过形式化的数学规则所描述的任务上领先人类，然而在人类可以轻易掌握的感知问题上，如识别图片中的物品和辨别人们所说的话方面，计算机仍面临着不少挑战。其中关键的问题是，传统的人为提取特征的方法对于图像或文字等数据来说难以奏效，因此人工智能研究人员开始对机器学习的研究由“从人为提取的特征中学习出模式”转向“让机器自行提取特征并从中学习出模式”{5.1.2}。神经网络因其可自动进行特征提取的特性，为实现机器智能提供了一种更有效的方法，它在2006年前后以“深度学习”之名复兴，再次成为人工智能研究领域的主流框架{5.1.3}。

在了解特征工程和深度学习的基本特性后，我们将根据三个目前较为成熟的深度学习框架进行阐述：卷积神经网络(Convolutional Neural Networks,CNN){5.2}、循环神经网络(Recurrent Neural Networks,RNN){5.3}和生成对抗神经网络(Generative Adversarial Networks,GAN){5.4},并分别介绍它们在建筑或城市领域中的应用可能。在此基础上，进一步介绍在艺术领域大放异彩的创造性对抗网络(Creative Adversarial Network,CAN){5.5}。在本章末尾，我们将简要介绍其他的深度神经网络{5.6}。