1.简单介绍
在机器学习和认知科学领域，人工神经网络（artificial neural network，缩写ANN），简称神经网络（neural network，缩写NN）或类神经网络，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具。典型的神经网络具有以下三个部分：
结构 （Architecture） 结构指定了网络中的变量和它们的拓扑关系。例如，神经网络中的变量可以是神经元连接的权重（weights）和神经元的激励值（activities of the neurons）。
激励函数（Activity Rule） 大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值。一般激励函数依赖于网络中的权重（即该网络的参数）。
学习规则（Learning Rule）学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。一般情况下，学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。
2.初识神经网络
如上文所说，神经网络主要包括三个部分：结构、激励函数、学习规则。图1是一个三层的神经网络，输入层有d个节点，隐层有q个节点，输出层有l个节点。除了输入层，每一层的节点都包含一个非线性变换。
图1
那么为什么要进行非线性变换呢？
（1）如果只进行线性变换，那么即使是多层的神经网络，依然只有一层的效果。类似于0.6*(0.2x1+0.3x2)=0.12x1+0.18x2。
（2）进行非线性变化，可以使得神经网络可以拟合任意一个函数,图2是一个四层网络的图。
图2
下面使用数学公式描述每一个神经元工作的方式
（1）输出x
（2）计算z=w*x
（3）输出new_x = f(z)，这里的f是一个函数，可以是sigmoid、tanh、relu等，f就是上文所说到的激励函数。
3.反向传播(bp)算法
有了上面的网络结构和激励函数之后，这个网络是如何学习参数（学习规则）的呢？
首先我们先定义下本文使用的激活函数、目标函数
（1）激活函数（sigmoid）：
def sigmoid(z): return 1.0/(1.0+np.exp(-z))
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
