In recent years, China, the United States and other countries, Google and other high-tech companies have increased investment in artificial intelligence. Deep learning is one of the current artificial intelligence research's key areas. This paper analyzes and summarizes the latest progress and future research directions of deep learning. Firstly, three basic models of deep learning are outlined, including multilayer perceptrons, convolutional neural networks, and recurrent neural networks. On this basis, we further analyze the emerging new models of convolution neural networks and recurrent neural networks. This paper then summarizes deep learning's applications in many areas of artificial intelligence, including speech processing, computer vision, natural language processing and so on. Finally, this paper discusses the existing problems of deep learning and gives the corresponding possible solutions.
ＭＬ Ｐ的前向传播公式如式( １ ) 、式( ２ ) 所示：
卷积神经网络( ｃ ｏ ｎ ｖ ｏ ｌ ｕ ｔ ｉ ｏ ｎ ａ ｌｎ ｅ ｕ ｒ ａ ｌｎ ｅ ｔ ｗ ｏ ｒ ｋ ，Ｃ Ｎ Ｎ) ［ ２ ９ ］ 适合处理空间数据，在计算机视觉领域应用广泛．一维卷 积神经网络也被称为时间延迟神经网络( ｔ ｉ ｍｅｄ ｅ ｌ ａ ｙｎ ｅ ｕ ｒ ａ ｌ ｎ ｅ ｔ ｗ ｏ ｒ ｋ ) ，可以用来处理一维数据．Ｃ Ｎ Ｎ的设计思想受到 了视觉神经科学的启发，主要由卷积层( ｃ ｏ ｎ ｖ ｏ ｌ ｕ ｔ ｉ ｏ ｎ ａ ｌ ｌ ａ ｙ ｅ ｒ ) 和池化层( ｐ ｏ ｏ ｌ ｉ ｎ ｇｌ ａ ｙ ｅ ｒ ) 组成．卷积层能够保持图像的 空间连续性，能将图像的局部特征提取出来．池化层可以 采用最大 池 化 ( ｍａ ｘ ｐ ｏ ｏ ｌ ｉ ｎ ｇ )或 平 均 池 化 ( ｍｅ ａ ｎ ｐ ｏ ｏ ｌ ｉ ｎ ｇ
Ｆ ｉ ｇ ． ３ Ｔ ｈ ｅｉ ｌ ｌ ｕ ｓ ｔ ｒ ａ ｔ ｉ ｏ ｎｆ ｏ ｒ ｃ ｏ ｎ ｖ ｏ ｌ ｕ ｔ ｉ ｏ ｎａ ｎ ｄｐ ｏ ｏ ｌ ｉ ｎ ｇ
Ｉ ｍａ ｇ ｅ Ｎ ｅ ｔ ［ １ ８ ］ 比赛( Ｉ ｍａ ｇ ｅ Ｎ ｅ ｔ ｌ ａ ｒ ｇ ｅｓ ｃ ａ ｌ ｅｖ ｉ ｓ ｕ ａ ｌ ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ ｃ ｏ ｍｐ ｅ ｔ ｉ ｔ ｉ ｏ ｎ
［１ ６］Ｈｉ ｎ ｔ ｏ ｎＧＥ ，Ｄ ｅ ｎ ｇＬ ，Ｙ ｕＤ ，ｅ ｔａ ｌ ．Ｄ ｅ ｅ ｐｎ ｅ ｕ ｒ ａ ｌｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓｆ ｏ ｒａ ｃ ｏ ｕ ｓ ｔ ｉ ｃｍｏ ｄ ｅ ｌ ｉ ｎ ｇｉ ｎｓ ｐ ｅ ｅ ｃ ｈｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ ：Ｔ ｈ ｅｓ ｈ ａ ｒ ｅ ｄｖ ｉ ｅ ｗ ｓｏ ｆｆ ｏ ｕ ｒｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ
［５ ６］Ｎ ａ ｍＨ，Ｂ ａ ｅ ｋＭ，Ｈａ ｎＢ ．Ｍｏ ｄ ｅ ｌ ｉ ｎ ｇａ ｎ ｄｐ ｒ ｏ ｐ ａ ｇ ａ ｔ ｉ ｎ ｇｃ ｎ ｎ ｓｉ ｎａｔ ｒ ｅ ｅｓ ｔ ｒ ｕ ｃ ｔ ｕ ｒ ｅｆ ｏ ｒ ｖ ｉ ｓ ｕ ａ ｌ ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇ
［６ ４］Ｊ ａ ｅ ｇ ｅ ｒ Ｈ．Ｔ ｈ ｅ" ｅ ｃ ｈ ｏｓ ｔ ａ ｔ ｅ “ａ ｐ ｐ ｒ ｏ ａ ｃ ｈｔ ｏａ ｎ ａ ｌ ｙ ｓ ｉ ｎ ｇａ ｎ ｄｔ ｒ ａ ｉ ｎ ｉ ｎ ｇｒ ｅ ｃ ｕ ｒ ｒ ｅ ｎ ｔ ｎ ｅ ｕ ｒ ａ ｌ ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ ｗ ｉ ｔ ｈａ ｎｅ ｒ ｒ ａ ｔ ｕ ｍｎ ｏ ｔ ｅ
［６ ９］Ｔ ｈ ｉ ｒ ｅ ｏ ｕＴ ，Ｒ ｅ ｃ ｚ ｋ ｏＭ．Ｂ ｉ ｄ ｉ ｒ ｅ ｃ ｔ ｉ ｏ ｎ ａ ｌｌ ｏ ｎ ｇｓ ｈ ｏ ｒ ｔ ｔ ｅ ｒ ｍ ｍｅ ｍｏ ｒ ｙｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓｆ ｏ ｒｐ ｒ ｅ ｄ ｉ ｃ ｔ ｉ ｎ ｇｔ ｈ ｅｓ ｕ ｂ ｃ ｅ ｌ ｌ ｕ ｌ ａ ｒｌ ｏ ｃ ａ ｌ ｉ ｚ ａ ｔ ｉ ｏ ｎｏ ｆｅ ｕ ｋ ａ ｒ ｙ ｏ ｔ ｉ ｃｐ ｒ ｏ ｔ ｅ ｉ ｎ ｓ
ＨｅＹＸ ，Ｓ ｕ ｎＳＴ ，Ｎ ｉ ｕＦＦ ，ｅ ｔ ａ ｌ ．Ａｄ ｅ ｅ ｐｌ ｅ ａ ｒ ｎ ｉ ｎ ｇｍｏ ｄ ｅ ｌ ｅ ｎ ｈ ａ ｎ ｃ ｅ ｄｗ ｉ ｔ ｈｅ ｍｏ ｔ ｉ ｏ ｎｓ ｅ ｍａ ｎ ｔ ｉ ｃ ｓｆ ｏ ｒｍｉ ｃ ｒ ｏ ｂ ｌ ｏ ｇｓ ｅ ｎ ｔ ｉ ｍｅ ｎ ｔ ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ ［ Ｊ ］ ．Ｃ ｈ ｉ ｎ ｅ ｓ ｅ
［ １ ２ ４ ］Ｈｅ ｒ ｍａ ｎ ｎＫＭ，Ｋ ｏ ｃ ｉ ｓ ｋ ｙＴ ，Ｇ ｒ ｅ ｆ ｅ ｎ ｓ ｔ ｅ ｔ ｔ ｅＥ ，ｅ ｔ ａ ｌ ．Ｔ ｅ ａ ｃ ｈ ｉ ｎ ｇｍａ ｃ ｈ ｉ ｎ ｅ ｓ ｔ ｏｒ ｅ ａ ｄａ ｎ ｄｃ ｏ ｍｐ ｒ ｅ ｈ ｅ ｎ ｄ ［ Ｃ ］／ ／ Ａ ｎ ｎ ｕ ａ ｌ Ｃ ｏ ｎ ｆ ｅ ｒ ｅ ｎ ｃ ｅｏ ｎＮ ｅ ｕ ｒ ａ ｌ Ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ Ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇＳ ｙ ｓ ｔ ｅ ｍｓ ．Ｃ ａ ｍｂ ｒ ｉ ｄ ｇ ｅ
］Ｚ ｈ ｏ ｕＸ ，Ｄ ｏ ｎ ｇＤ ，ＷｕＨ，ｅ ｔ ａ ｌ ．Ｍｕ ｌ ｔ ｉ ｖ ｉ ｅ ｗｒ ｅ ｓ ｐ ｏ ｎ ｓ ｅｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎｆ ｏ ｒｈ ｕ ｍａ ｎ ｃ ｏ ｍｐ ｕ ｔ ｅ ｒｃ ｏ ｎ ｖ ｅ ｒ ｓ ａ ｔ ｉ ｏ ｎ ［ Ｃ ］／ ／ Ｃ ｏ ｎ ｆ ｅ ｒ ｅ ｎ ｃ ｅｏ ｎＥ ｍｐ ｉ ｒ ｉ ｃ ａ ｌ Ｍｅ ｔ ｈ ｏ ｄ ｓｉ ｎ Ｎ ａ ｔ ｕ ｒ ａ ｌ Ｌ ａ ｎ ｇ ｕ ａ ｇ ｅＰ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ ．Ｎ ｅ ｗＹ ｏ ｒ ｋ
This content is AI-processed based on open access ArXiv data.
