前言
本文综合整理常用的神经网络，包括生物神经网络、人工神经网络、卷积神经网络、循环神经网络、生成对抗网络；参考了许多高校的课程、论文、博客和视频等。文章的结构是先进行概念了解，然后结合图片、结构图、一步一步详细讲解；大家要不看看？ ( •̀ ω •́ )y
一、人工神经网络
简介：人工神经网络 (Artificial Neural Network, ANN)，由人工神经元构成的网络，模拟人类的大脑；它模拟生物过程以反映人脑某些特征的计算结构。
联系：人工神经元模拟生物神经元；人工神经网络模拟人类的大脑，模拟生物神经网络。
特点：人工神经网络是一个并行、分布处理结构，具有学习能力、泛化能力。
功能：联想记忆功能、非线性映射功能、分类与识别功能、知识处理功能。
详细介绍：一篇文章“简单”认识《人工神经网络》(更新版)
目录大纲：
- 1 前言
- 2 人类大脑
- 3 生物神经网络
- 4 生物神经元
- 5 人工神经元
- 6 人工神经网络
- 6.1 单层神经网络
- 6.2 多层神经网络
- 6.3 前向传播
- 6.4 损失函数
- 6.5 梯度下降方法
- 6.6 反向传播算法
- 7 特点
- 8 功能
- 9 小结
- 参考
单层神经网络，如下所示图： ( •̀ ω •́ )y
二、卷积神经网络
简介
卷积神经网络（Convolutional Neural Network, CNN），通过卷积层与池化层的叠加实现对输入数据的特征提取，最后连接全连接层实现分类。对于图像处理有出色表现，在计算机视觉中得到了广泛的应用。
联系
动物视觉系统对外界的感知是：
- 视觉皮层的每个神经元只响应某些特定区域的刺激（感受野）
- 从局部到全局（信息分层处理机制）
卷积神经网络：
- 每个神经元只需对 局部图像 进行感知；
- 在更高层将局部的信息综合起来，得到全局信息；
结构：主要由 卷积层+池化层+全连接层 组成的。
应用：图像分类、目标检测、目标跟踪、语义分割、实例分割等。
详细介绍：一篇文章“简单”认识《卷积神经网络》(更新版)
目录大纲：
- 1 前言
- 2 基于什么提出卷积神经网络？
- 3 卷积（Convolution）
- 3.1 卷积操作
- 3.2 多层卷积层
- 4 池化（Pooling）
- 5 全连接层
- 6 特征维度变化
- 7 CNN核心思想——参数共享
- 8 优势
- 9 经典的卷积神经网络
- 10 卷积神经网络应用
- 参考
基本卷积神经网络，如下所示图： ( •̀ ω •́ )y
三、循环神经网络
简介：循环神经网络（Recurrent Neural Networks，RNN），是一种反馈网络，模拟“人脑记忆功能”，常用于语言识别、机器翻译、视频分析、生成图像描述等。
背景：人工神经网络、卷积神经网络是前馈网络；前馈神经网络是一个静态网络，信息的传递是单向的，网络的输出只依赖于当前的输入，不具备记忆能力。前馈神经网络处理的数据是一个一个输入的，前后数据没有关系的。实际生活中，很多数据都是有上下文相关性的，这些数据称为序列数据；处理的时候，不能只考虑当前的输入就进行判断，需要考虑前后之间关系。
这时需要使用“循环神经网络”，它能有效处理序列特性的数据，它能挖掘数据中的时序信息以及语义信息。
结构：循环神经网络由循环体堆叠而成；
详细介绍：一篇文章“简单”认识《循环神经网络》(更新版)
应用：主要在自然语言处理方向应用；
- 文档分类和时间序列分析（识别文章的主题）
- 时间序列对比 （比较两个文档的相关程度）
- 序列到序列的学习（中文翻译为英文）
- 情感分析 （推文或电影评论的情感划分为正面或负面）
- 世间序列预测 （根据最近的天气数据来预测未来天气）
目录大纲：
- 1 前言
- 2 循环体
- 3 循环神经网络
- 4 LSTM网络
- 5 循环神经网络应用
- 参考
循环体及其按时间展开后的效果： ( •̀ ω •́ )y
四、生成对抗网络
简介：生成对抗网络（GAN，generative adversarial network），是一种常用于学习类别特征的神经网络结构；主要有两部分组成，分别是生成网络、判别网络。
背景：在监督学习中，训练集需要大量的人工标注数据，并且需要人工判断生成结构好坏，这个过程是高成本且低效率的；GAN能自动完成这个过程，效率高成本低。
详细介绍：一篇文章“简单”认识《生成对抗网络》(GAN)
应用：GAN 的应用十分广泛，它的应用包括图像合成、图像编辑、风格迁移、图像超分辨率以及图像转换，数据增强等。
目录大纲：
- 1 前言
- 2 生成对抗网络应用
- 2.1 风格迁移
- 2.2 图像生成
- 2.3 音乐创作
- 3 生成学习算法
- 4 生成对抗网络
- 4.1 GAN的简要实现流程
- 4.2 GAN算法实现要点
- 5 MNIST 案例
- 6 GAN优点
- 7 GAN缺点
- 8 文献学习
- 1. Generative Adversarial Networks
2. Conditional GANs
3. DCGAN
4. Improved Techniques for Training GANs
5. Pix2Pix
6. CycleGAN
7. Progressively Growing of GANs
8. BigGAN
9.NAS
生成对抗网络GAN原理图，如下图所示：( •̀ ω •́ )y
大家加油呀~~ ( •̀ ω •́ )✧