网站留白,哪里创建免费个人网站,淘宝客建站教程,wordpress模板电商到目前为止#xff0c;我们忽略了建立网络时需要做的以下这些事情#xff1a; 我们定义了网络架构#xff0c;但没有指定输入维度。 我们添加层时没有指定前一层的输出维度。 我们在初始化参数时#xff0c;甚至没有足够的信息来确定模型应该包含多少参数。
有些读者可…到目前为止我们忽略了建立网络时需要做的以下这些事情 我们定义了网络架构但没有指定输入维度。 我们添加层时没有指定前一层的输出维度。 我们在初始化参数时甚至没有足够的信息来确定模型应该包含多少参数。
有些读者可能会对我们的代码能运行感到惊讶。 毕竟深度学习框架无法判断网络的输入维度是什么。 这里的诀窍是框架的延后初始化defers initialization 即直到数据第一次通过模型传递时框架才会动态地推断出每个层的大小。
在以后当使用卷积神经网络时 由于输入维度即图像的分辨率将影响每个后续层的维数 有了该技术将更加方便。 现在我们在编写代码时无须知道维度是什么就可以设置参数 这种能力可以大大简化定义和修改模型的任务。 接下来我们将更深入地研究初始化机制。
实例化网络
from mxnet import np, npx
from mxnet.gluon import nnnpx.set_np()def get_net():net nn.Sequential()net.add(nn.Dense(256, activationrelu))net.add(nn.Dense(10))return netnet get_net()
此时因为输入维数是未知的所以网络不可能知道输入层权重的维数。 因此框架尚未初始化任何参数我们通过尝试访问以下参数进行确认。
print(net.collect_params)
print(net.collect_params()) bound method Block.collect_params of Sequential((0): Dense(-1 - 256, Activation(relu))(1): Dense(-1 - 10, linear)
)
sequential0_ (Parameter dense0_weight (shape(256, -1), dtypefloat32)Parameter dense0_bias (shape(256,), dtypefloat32)Parameter dense1_weight (shape(10, -1), dtypefloat32)Parameter dense1_bias (shape(10,), dtypefloat32)
) 注意当参数对象存在时每个层的输入维度为-1。 MXNet使用特殊值-1表示参数维度仍然未知。 此时尝试访问net[0].weight.data()将触发运行时错误 提示必须先初始化网络然后才能访问参数。 现在让我们看看当我们试图通过initialize函数初始化参数时会发生什么。
net.initialize()
net.collect_params() [07:01:36] ../src/storage/storage.cc:196: Using Pooled (Naive) StorageManager for CPUsequential0_ (Parameter dense0_weight (shape(256, -1), dtypefloat32)Parameter dense0_bias (shape(256,), dtypefloat32)Parameter dense1_weight (shape(10, -1), dtypefloat32)Parameter dense1_bias (shape(10,), dtypefloat32)
)如我们所见一切都没有改变。 当输入维度未知时调用initialize不会真正初始化参数。 而是会在MXNet内部声明希望初始化参数并且可以选择初始化分布。
接下来让我们将数据通过网络最终使框架初始化参数。
X np.random.uniform(size(2, 20))
net(X)net.collect_params() sequential0_ (Parameter dense0_weight (shape(256, 20), dtypefloat32)Parameter dense0_bias (shape(256,), dtypefloat32)Parameter dense1_weight (shape(10, 256), dtypefloat32)Parameter dense1_bias (shape(10,), dtypefloat32)
) 一旦我们知道输入维数是20框架可以通过代入值20来识别第一层权重矩阵的形状。 识别出第一层的形状后框架处理第二层依此类推直到所有形状都已知为止。 注意在这种情况下只有第一层需要延迟初始化但是框架仍是按顺序初始化的。 等到知道了所有的参数形状框架就可以初始化参数。
