关于神经网络（matlab）归一化的整理

jimin

看了研学和ai创业研发俱乐部神经网络版及本论坛部分帖子内容，对归一化做一下整理，冒昧引用了一些他人的观点，有的未列出其名，请谅解
---------------------------------------------------------------------------------------------------------------------------------------------
关于神经网络归一化方法的整理
由于采集的各数据单位不一致，因而须对数据进行[-1，1]归一化处理，归一化方法主要有如下几种，供大家参考：（by james）
1、线性函数转换，表达式如下：
y=(x-MinValue)/(MaxValue-MinValue)
说明：x、y分别为转换前、后的值，MaxValue、MinValue分别为样本的最大值和最小值。
2、对数函数转换，表达式如下：
y=log10(x)
说明：以10为底的对数函数转换。
3、反余切函数转换，表达式如下：
y=atan(x)*2/PI
-------------------------------------------------------------------------------------------------------------------------------------------
归一化是为了加快训练网络的收敛性，可以不进行归一化处理
归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在-1--+1之间是统计的坐标分布。归一化有同一、统一和合一的意思。无论是为了建模还是为了计算，首先基本度量单位要同一，神经网络是以样本在事件中的统计分别几率来进行训练（概率计算）和预测的，归一化是同一在0-1之间的统计概率分布；
当所有样本的输入信号都为正值时，与第一隐含层神经元相连的权值只能同时增加或减小，从而导致学习速度很慢。为了避免出现这种情况，加快网络学习速度，可以对输入信号进行归一化，使得所有样本的输入信号其均值接近于0或与其均方差相比很小。
归一化是因为sigmoid函数的取值是0到1之间的，网络最后一个节点的输出也是如此，所以经常要对样本的输出归一化处理。所以这样做分类的问题时用[0.9 0.1 0.1]就要比用[1 0 0]要好。
但是归一化处理并不总是合适的，根据输出值的分布情况，标准化等其它统计变换方法有时可能更好。
--------------------------------------------------------------------------------------------------------------------------------------------
关于用premnmx语句进行归一化：
premnmx语句的语法格式是：[Pn,minp,maxp,Tn,mint,maxt]=premnmx(P,T)
其中P，T分别为原始输入和输出数据，minp和maxp分别为P中的最小值和最大值。mint和maxt分别为T的最小值和最大值。
premnmx函数用于将网络的输入数据或输出数据进行归一化，归一化后的数据将分布在[-1,1]区间内。
我们在训练网络时如果所用的是经过归一化的样本数据，那么以后使用网络时所用的新数据也应该和样本数据接受相同的预处理，这就要用到tramnmx。
下面介绍tramnmx函数：
[Pn]=tramnmx(P,minp,maxp)
其中P和Pn分别为变换前、后的输入数据，maxp和minp分别为premnmx函数找到的最大值和最小值。
（by terry2008）
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
matlab中的归一化处理有三种方法
1. premnmx、postmnmx、tramnmx
2. restd、poststd、trastd
3. 自己编程
具体用那种方法就和你的具体问题有关了
（by happy）
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
pm=max(abs(p(i,:))); p(i,:)=p(i,:)/pm;
和
for i=1:27
p(i,:)=(p(i,:)-min(p(i,:)))/(max(p(i,:))-min(p(i,:)));
end 可以归一到0 1 之间
0.1+(x-min)/(max-min)*(0.9-0.1)其中max和min分别表示样本最大值和最小值。
这个可以归一到0.1-0.9

[ 本帖最后由 jimin 于 2006-9-24 16:24 编辑 ]

lxq

归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。
目的是为了：
1.避免具有不同物理意义和量纲的输入变量不能平等使用
2.bp中常采用sigmoid函数作为转移函数，归一化能够防止净输入绝对值过大引起的神经元输出饱和现象 。
3.保证输出数据中数值小的不被吞食 。
（by happy）

chbo76

支持一下。
共同提高。:lol

dizzy

clear
echo on
clc
%BP建模
%原始数据归一化
m_data=[1.5 0.08 3.8;
       1.33 0.08 2.88;
       1.20 0.08 2.43;
    1.11 0.08 2.10;
    1.50 0.12 3.30;
    1.33 0.12 2.54;
    1.20 0.12 2.12;
    1.11 0.12 1.90;
    1.50 0.16 3.00;
    1.33 0.16 2.32;
    1.20 0.16 1.95;
    1.11 0.16 1.71;
    1.50 0.20 2.80;
    1.33 0.20 2.18;
    1.20 0.20 1.84;
    1.11 0.20 1.62;
    1.50 0.24 2.67;
    1.33 0.24 2.08;
    1.20 0.24 1.77;
    1.11 0.24 1.56;
    1.50 0.28 2.57;
    1.33 0.28 2.00;
    1.20 0.28 1.70;
    1.11 0.28 1.50;
    1.50 0.32 2.48;
    1.33 0.32 1.95;
    1.20 0.32 1.66;
    1.11 0.32 1.47;
    1.50 0.36 2.40;
    1.33 0.36 1.90;
    1.20 0.36 1.63;
    1.11 0.36 1.44;
    1.50 0.40 2.36;
    1.33 0.40 1.88;
    1.20 0.40 1.59;
    1.11 0.40 1.41;
    1.50 0.44 2.31;
    1.33 0.44 1.85;
    1.20 0.44 1.56;
    1.11 0.44 1.39;
    1.50 0.48 2.27;
    1.33 0.48 1.80;
    1.20 0.48 1.53;
    1.11 0.48 1.37;
    1.50 0.52 2.21;
    1.33 0.52 1.76;
    1.20 0.52 1.49;
    1.11 0.52 1.33];
%定义网络输入p和期望输出t
pause
clc
p1=m_data(:,1:2);
t1=m_data(:,3);
p=p1';t=t1';
[pn,minp,maxp,tn,mint,maxt]=premnmx(p,t)
%设置网络隐单元的神经元数(5~30验证后5个最好）
n=7;
%建立相应的BP网络
pause
clc
net=newff(minmax(pn),[n,1],{'logsig','purelin'},'trainlm');
inputWeights=net.IW{1,1};
inputbias=net.b{1};
layerWeights=net.LW{2,1};
layerbias=net.b{2};
pause
clc
% 训练网络
net.trainParam.show=10;
net.trainParam.lr=0.02;
net.trainParam.mc=0.9;
net.trainParam.epochs=2000;
net.trainParam.goal=1e-5;
pause
clc
%调用TRAINGDM算法训练BP网络
net=train(net,pn,tn);
[x2,y2]=meshgrid(1.1:0.05:1.5,0.08:0.05:0.52);
p3=[x2,y2];
x3=x2(:)';y3=y2(:)';
p4=[x3;y3];
p4n=tramnmx(p4,minp,maxp);
a4n=sim(net,p4n);
a4=postmnmx(a4n,mint,maxt);
figure;surf(p4,a4)
我已经用神经网络模拟出函数形势了，现在要画出函数的二维图和三维图，该怎么办啊，我上面的语句画出图了但是不对，好像是因为数据归依化的原因，能不能麻烦帮我看一下啊，哪错了，先谢谢了啊

0202010109

vccvcvccv

谢谢了！
最近赈灾用这个东西！

gauss101

:@) :@) :@)

prettyduck

总结的很好呢，我原来刚学神经网络的时候就是想不明白好好的数据为什么要归一化的，后来明白了，数据的量程（说法不严谨哦）相差大哦，小数据容易被淹没哦

luningxia

xautxyt

好贴