ANN_Adaptive linear Element (Adaline)

人工神經網絡就是將生物與計算機結合起來的一種很神的東東。

今天學習了一下單層感知器，它是用來處理線性可分問題的。

線性可分簡單的說，如果二維平面上有兩類點，然後可以用一條直線一刀切，類似可以擴展到n維。。

既然只有兩類，就可以用01函數（hardlim）來作爲刀，這裏叫輸出函數，也叫閾值函數。。

輸入呢有n多，怎麼辦？sigma（和）一下，就只有一個了。。

老是和的話就總是一樣的數值了，怎麼辦？那就加權吧，就是對每個x[i]都有一個特定權值w[i]，然後相乘再相加。。

最後弄個偏移量b，多加一個x[0]=1，b=w[0]，這個小技巧就很方便編程了。。

模型如下：模型

數學表示：y=hardlim(sigma(w[i]*x[i])) , i=0-n

判決平面：

sigma(w[i]*x[i])=0;

學習算法：

(1) 設置變量和參數：
	X(n)= [1,x1 (n),x2 (n),…,xm (n)]爲輸入向量；
	W(n)= [b (n),w1 (n),w2 (n),…,wm (n)]爲權值向量;
	b (n)爲偏差；	  y (n)爲感知器實際輸出；
	d (n)爲期望輸出； n爲迭代次數;
	η爲學習速率，對於單層感知器 ，設η =1.
	  

(2) 初始化 n=0,權值向量Wj(0)=[各一個較小的隨機非零數]

(3) 對於一組輸入樣本X(n)，指定它的期望輸出y(0|1)
	  
(4) 計算感知器實際輸出 d=hardlim(sigma), e=y[i]-d;

(5) 調整感知器的權值向量 w[i]new=w[i]old+x[i]*e;

(6)滿足條件？是,結束; 否,n增加1,轉第三步。

注意：判斷滿足條件可以是：
	    (1) 誤差小，即|d(n)-y(n)|<ε ；
	    (2) 權值變化小，即|w(n+1)-w(n)|<ε ；
	    (3) 超過設定的最大迭代次數。

算法代碼：

#include <stdio.h>
#include <time.h>
#include <math.h>
#include <stdlib.h>

#define M 4
#define N 3
#define Max 10 // 最大次數
#define eps 1e-4

inline int hardlim(double a){ return (a>eps)?1:0; }


double x[M][N]={
		{1, 0, 0},
		{1, 0, 1},
		{1, 1, 0},
		{1, 1, 1}
};
double y[M]={0,1,1,1};
double w[N];

void begin()
{
	int i, j;

	printf("title: =====ANN==adline==與門實現=====\n");
	printf("\nbegin: \n");
	printf("	x[0]		x[1]		x[2]		y\n");
	for(i=0; i<M; ++i){
		for(j=0; j<N; ++j){
			printf("	%lf", x[i][j]);
		}printf("	%lf\n", y[i]);
	}
}

void train()
{
	int i, j, ok, tim, v;
	double e, d, sigma;

	printf("\n\ntrain: \n");
	srand(time(0));
	for(i=0; i<N; ++i){
		w[i]=rand()/(RAND_MAX+1.0);
	}

	printf("	e[0]		e[1]		e[2]		e[4]		ok\n");
	tim=0; v=1; // 學習速率
	while(1){
		ok=1;
		for(i=0; i<M; ++i){	
			sigma=0;
			for(j=0; j<N; ++j){
				sigma+=x[i][j]*w[j];
			}
			d=hardlim(sigma);
			e=y[i]-d;
			
			printf("	%lf ", e);
			if(fabs(e)>eps) ok=0;

			for(j=0; j<N; ++j){
				w[j]+=v*e*x[i][j];
			}
		}
		tim++;
		puts(ok?"	Y":"	N");
		if(ok || tim>Max) break;
	}
}

void test(){
	int i, j;
	double sigma;

	printf("\n\ntest: \n");
	printf("	x[0]		x[1]		x[2]		sigma		ans\n");
	for(i=0; i<M; ++i){
		sigma=0;
		for(j=0; j<N; ++j){
			printf("	%lf", x[i][j]);
			sigma+=x[i][j]*w[j];
		}
		printf("	%lf	", sigma);
		printf("%d\n", hardlim(sigma));
	}
	puts("==end==");
}

int main()
{
	begin();
	train();
	test();
	return 0;
}

運行結果：

title: =====ANN==adline==與門實現=====

begin:
        x[0]            x[1]            x[2]            y
        1.000000        0.000000        0.000000        0.000000
        1.000000        0.000000        1.000000        0.000000
        1.000000        1.000000        0.000000        0.000000
        1.000000        1.000000        1.000000        1.000000


train:
        e[0]            e[1]            e[2]            e[4]            ok
        -1.000000       0.000000        0.000000        0.000000        N
        0.000000        0.000000        0.000000        0.000000        Y


test:
        x[0]            x[1]            x[2]            sigma           ans
        1.000000        0.000000        0.000000        -0.434174       0
        1.000000        0.000000        1.000000        -0.284882       0
        1.000000        1.000000        0.000000        -0.069977       0
        1.000000        1.000000        1.000000        0.079315        1
==end==
Press any key to continue