CUDA系列三：矩陣相乘

本博文主要講解下基於cuda的矩陣相乘，cuda特別擅長的就是矩陣乘法，而且也比較容易實現。通過矩陣乘法的實現，可以比較容易理解cuda的核心思想。網上也有很多基於cuda實現的矩陣乘法，但是感覺都不完成，要不就是有錯，本文給出的代碼都是經過驗證可行的，希望能夠幫助到大家。

矩陣乘法實現方式一：矩陣乘法的逐點實現方式，具體如下圖所示

                           

對應實現代碼：

#include <stdio.h>
#include <stdlib.h>
#include <cuda_runtime.h>


__global__ void MatMul(int *M,int *N,int *P,int width)
{
	int x = threadIdx.x;
	int y = threadIdx.y;
	
	float Pervalue = 0;
	
	float elem1 = 0.0,elem2 = 0.0,value = 0.0;
	for(int i = 0;i < width;i++)
	{
		elem1 = M[y * width + i];//取M矩陣的一行
		elem2 = N[i * width + x];//取N矩陣的一列
		
		value += elem1 * elem2;//求和
	}
	
	P[y * width + x] = value;
}

int main()
{
	const int ND = 30;
	int a[ND][ND],b[ND][ND],c[ND][ND];
	int *M,*N,*P;
	
	int width = ND;
	int NUM = 900;
	dim3 blockSize(ND,ND);
	
	cudaEvent_t start,stop;
	float elapsedTime = 0;
	cudaEventCreate(&start);
	cudaEventCreate(&stop);
	
	//設備端內存分配
	cudaMalloc((void**)&M,ND * ND * sizeof(int));
	cudaMalloc((void**)&N,ND * ND * sizeof(int));
	cudaMalloc((void**)&P,ND * ND * sizeof(int));
	
	//初始化
	for(int i = 0;i < ND;i++)
	{
		for(int j = 0;j < ND;j++)
		{
			a[i][j] = 2;
			b[i][j] = 3;
		}
	}
	
	int Size = ND * ND;
	//數據拷貝，主機到設備
	cudaMemcpy(M,a,Size * sizeof(int),cudaMemcpyHostToDevice);
	cudaMemcpy(N,b,Size * sizeof(int),cudaMemcpyHostToDevice);
	
	cudaEventRecord(start,0);
	MatMul<<<1,blockSize>>>(M,N,P,width);//調用核函數
	cudaThreadSynchronize();
	cudaEventRecord(stop,0);
	cudaEventSynchronize(stop);
	cudaEventElapsedTime(&elapsedTime,start,stop);
	
	cudaMemcpy(c,P,Size * sizeof(int),cudaMemcpyDeviceToHost);
	
	printf("c0 = %d \n",c[0][0]);
	
	//釋放設備內存
	cudaFree(M);
	cudaFree(N);
	cudaFree(P);
	
	return 0;
}

運行結果：

 

矩陣相乘實現方式二：矩陣乘法分塊實現，具體如下圖所示

                 

具體代碼實現：

#include <stdio.h>
#include <stdlib.h>
#include <cuda_runtime.h>


#define TILE_WIDTH 10

//核函數的具體實現
__global__ void matmul(int *M,int *N,int *P,int width)
{
	__shared__ float Mds[TILE_WIDTH][TILE_WIDTH];
	__shared__ float Nds[TILE_WIDTH][TILE_WIDTH];
	
	int bx = blockIdx.x;
	int by = blockIdx.y;
	int tx = threadIdx.x;
	int ty = threadIdx.y;
	
	int Col = bx * TILE_WIDTH + tx;
	int Row = by * TILE_WIDTH + ty;
	
	int Pervalue = 0;
	
	for(int i = 0;i < width / TILE_WIDTH;i++)  //有多少個TILE_WIDTH，每個循環計算一個塊的大小
	{
		Mds[ty][tx] = M[Row * width + (i * TILE_WIDTH + tx)];
		Nds[ty][tx] = N[Col + (i * TILE_WIDTH + ty) * width];
		__syncthreads();
		
		
		for(int k = 0;k < TILE_WIDTH;k++) //TILE_WIDTH相乘
			Pervalue += Mds[ty][k] * Nds[k][tx];
		__syncthreads();
	}
	
	P[Row * width + Col] = Pervalue;
}


int main()
{
	const int Nd = 30;
	int Size = Nd * Nd;
	int *M,*N,*P;
	int width = Nd / 3;
	
	int a[Nd][Nd];
	int b[Nd][Nd];
	int c[Nd][Nd];
	
	//線程塊以及線程的劃分
	dim3 gridSize(Nd / width,Nd / width);
	dim3 blockSize(width,width);
	
	cudaEvent_t start,stop;
	float elapsedTime;
	cudaEventCreate(&start);
	cudaEventCreate(&stop);
	
	//設備內存分配
	cudaMalloc((void**)&M,Size * sizeof(int));
	cudaMalloc((void**)&N,Size * sizeof(int));
	cudaMalloc((void**)&P,Size * sizeof(int));
	
	//初始化
	for(int i = 0;i < Nd;i++)
	{
		for(int j = 0;j < Nd;j++)
		{
			a[i][j] = 2;
			b[i][j] = 3;
		}
	}
	
	//數據拷貝，主機到設備
	cudaMemcpy(M,a,Size * sizeof(int),cudaMemcpyHostToDevice);
	cudaMemcpy(N,b,Size * sizeof(int),cudaMemcpyHostToDevice);
	
	cudaEventRecord(start,0);
	matmul<<<gridSize,blockSize>>>(M,N,P,Nd); //調用核函數
	cudaThreadSynchronize();
	cudaEventRecord(stop,0);
	cudaEventSynchronize(stop);
	cudaEventElapsedTime(&elapsedTime,start,stop);
	
	
	cudaMemcpy(c,P,Size * sizeof(int),cudaMemcpyDeviceToHost);
	printf("c0 = %d\n",c[0][0]);
	
	
	cudaFree(M);
	cudaFree(N);
	cudaFree(P);
	
	return 0;
}

運行結果：

本文也參考了網上的一些資料，主要是做了一定的修改以及程序的完備，圖片就直接網上copy的，水平有限，有不當之處，請指教，謝謝！