LeNet-5神经网络在MNIST数据集上的实现，主要分为三个部分：
前向传播过程（mnist_ lenet5_forward.py）
反向传播过程（mnist_ lenet5_backword.py）
测试过程（mnist_ lenet5_test.py）
4.1 前向传播过程（mnist_lenet5_forward.py）
实现对网络中参数和偏置的初始化、定义卷积结构和池化结构、定义前向传播程。
具体代码如下所示：
定义前向传播过程中常用到的参数
import tensorflowas tf
#输入图片的尺寸和通道数
IMAGE_SIZE = 28
NUM_CHANNELS = 1
#第一层卷积核的大小和个数
CONV1_SIZE = 5
CONV1_KERNEL_NUM = 32
#第二层卷积核的大小和个数
CONV2_SIZE = 5
CONV2_KERNEL_NUM = 64
#第三层全连接层的神经元个数
FC_SIZE = 512
#第四层全连接层的神经元个数
OUTPUT_NODE = 10
权重w生成函数和偏置b生成函数与之前的定义相同
defget_weight(shape,regularizer):#生成张量的维度，正则化项的权重
#tf.truncated_normal：生成去掉过大偏离点的正态分布随机数的张量，stddev是指标准差
w =tf.Variable(tf.truncated_normal(shape,stddev=0.1))
# 为权重加入L2正则化
if regularizer !=None:
tf.add_to_collection('losses',tf.contrib.layers.l2_regularizer(regularizer)(w))
return w
defget_bias(shape):
b =tf.Variable(tf.zeros(shape))
return b
卷积层与池化计算函数如下
defconv2d(x,w):#一个输入 batch，卷积层的权重 'SAME' 表示使用全 0 填充，而'VALID'
returntf.nn.conv2d(x,w,strides=[1,1, 1,1],padding='SAME')
defmax_pool_2x2(x):#ksize表示池化过滤器的边长为2 strides表示过滤器移动步长是2'SAME'提供使用全0填充
returntf.nn.max_pool(x,ksize=[1,2, 2,1],strides=[1,2, 2,1],padding='SAME')
定义前向传播过程
defforward(x,train,regularizer):
#【卷积池化】
conv1_w =get_weight([CONV1_SIZE,CONV1_SIZE,NUM_CHANNELS,CONV1_KERNEL_NUM],regularizer) #初始化卷积核
conv1_b =get_bias([CONV1_KERNEL_NUM])#初始化偏置项
conv1 =conv2d(x,conv1_w)
relu1 =tf.nn.relu(tf.nn.bias_add(conv1,conv1_b))#非线性激活，相比sigmoid和tanh函数，relu函数可快速收敛
pool1 =max_pool_2x2(relu1)
#【卷积池化】
conv2_w =get_weight([CONV2_SIZE,CONV2_SIZE,CONV1_KERNEL_NUM,CONV2_KERNEL_NUM],regularizer)
conv2_b =get_bias([CONV2_KERNEL_NUM])
conv2 =conv2d(pool1,conv2_w)
relu2 =tf.nn.relu(tf.nn.bias_add(conv2,conv2_b))
pool2 =max_pool_2x2(relu2)
#将上一池化层的输出pool2（矩阵）转化为下一层全连接层的输入格式（向量）
pool_shape =pool2.get_shape().as_list()#得到pool2输出矩阵的维度，并存入list中，注意pool_shape[0]是一个batch的值
nodes =pool_shape[1]*pool_shape[2]*pool_shape[3]#从list中依次取出矩阵的长宽及深度，并求三者的乘积就得到矩阵被拉长后的长度
reshaped =tf.reshape(pool2,[pool_shape[0],nodes])#将pool2转换为一个batch的向量再传入后续的全连接
#【全连接】
fc1_w =get_weight([nodes,FC_SIZE],regularizer)
fc1_b =get_bias([FC_SIZE])
fc1 =tf.nn.relu(tf.matmul(reshaped,fc1_w) +fc1_b)
if train:
fc1 =tf.nn.dropout(fc1,0.5)#如果是训练阶段，则对该层输出使用dropout，随机将该层输出中的一半神经元置为无效
##全连接
fc2_w =get_weight([FC_SIZE,OUTPUT_NODE],regularizer)
fc2_b =get_bias([OUTPUT_NODE])
y =tf.matmul(fc1,fc2_w) +fc2_b
return y
