摘要： 纯NumPy代码从头实现简单的神经网络。
Keras、TensorFlow以及PyTorch都是高级别的深度学习框架，可用于快速构建复杂模型。前不久，我曾写过一篇文章，对神经网络是如何工作的进行了简单的讲解。该文章侧重于对神经网络中运用到的数学理论知识进行详解。本文将利用NumPy实现简单的神经网络，在实战中对其进行深层次剖析。最后，我们会利用分类问题对模型进行测试，并与Keras所构建的神经网络模型进行性能的比较。
Note：源码可在我的GitHub中查看。
在正式开始之前，需要先对所做实验进行构思。我们想要编写一个程序，使其能够创建一个具有指定架构（层的数量、大小以及激活函数）的神经网络，如图一所示。总之，我们需要预先对网络进行训练，然后利用它进行预测。
上图展示了神经网络在被训练时的工作流程。从中我们可以清楚的需要更新的参数数量以及单次迭代的不同状态。构建并管理正确的数据架构是其中最困难的一环。由于时间限制，图中所示的参数不会一一详解，有兴趣可点击此处进行了解。
神经网络层的初始化
首先，对每一层的权重矩阵W及偏置向量b进行初始化。在上图中，上标[l]表示目前是第几层（从1开始），n的值表示一层中的神经元数量。描述神经网络架构的信息类似于Snippet 1中所列内容。每一项都描述了单层神经网络的基本参数：input_dim，即输入层神经元维度；output_dim，即输出层神经元维度；activation，即使用的激活函数。
nn_architecture = [
{"input_dim": 2, "output_dim": 4, "activation": "relu"},
{"input_dim": 4, "output_dim": 6, "activation": "relu"},
{"input_dim": 6, "output_dim": 6, "activation": "relu"},
{"input_dim": 6, "output_dim": 4, "activation": "relu"},
{"input_dim": 4, "output_dim": 1, "activation": "sigmoid"},
]另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
