C/C++

推荐列表 站点导航

当前位置:首页 > 脚本编程 > C/C++ >

C++_安装OpenMPI来配合C语言程序进行并行计算,安装OPENMPI由于是实验,也不

来源:网络整理  作者:  发布时间:2020-12-20 03:09
安装OpenMPI来配合C语言程序进行并行计算,安装OPENMPI由于是实验,也不进行多机的配置了,只在虚拟机里安装吧。多个...
最简单的方法,apt安装

由于是实验,也不进行多机的配置了,只在虚拟机里安装吧。多个机器的配置可以参考此文
最简单的思路就是每个worker分配(MATRIX_SIZE/(numprocess-1))个,然后如果有余下的,就分给余数对应的worker。比如MATRIX_SIZE=10,numprocess=4 则实际的worker有3个,每个人分3行,最后的一行给id是1的。可以很简单的利用循环类分配。最后Master收集所有的结果,并按照顺序组装起来就行。

MPI结束:通过MPI_Finalize函数从MPI环境中退出。

消息的内容的内容即信的内容,在MPI中成为消息缓冲(Message Buffer)

消息发送

MPI中,消息缓冲由三元组<起始地址,数据个数,数据类型>标识

其中N是同时运行的进程的个数,programname是可执行的MPI程序的程序名。

MPI_COMM_RANK 确定自己的进程标识符

正常出现结果表明没有问题,

测试

int MPI_Init( int *argc, char * * * argv )

初始化和结束

获取指定通信域的进程数

mpicc -o programname programname.c

MPI初始化:通过MPI_Init函数进入MPI环境并完成所有的初始化工作。

MPI消息
消息信封由三元组<源/目标进程,消息标签,通信域>标识

MPI_SEND 发送一条消息

代码

mpirun --version

MPI_Recv函数用于从指定进程接收一个消息

int MPI_Send(void *buf, int count, MPI_Datatype dataytpe, int dest, int tag, MPI_Comm comm)

/* C Example */ #include <mpi.h> #include <stdio.h> int main (int argc, char* argv[]) { int rank, size; MPI_Init (&argc, &argv); /* starts MPI */ MPI_Comm_rank (MPI_COMM_WORLD, &rank); /* get current process id */ MPI_Comm_size (MPI_COMM_WORLD, &size); /* get number of processes */ printf( "Hello world from process %d of %d\n", rank, size ); MPI_Finalize(); return 0; }

MPI_Send函数用于发送一个消息到目标进程。

int MPI_Comm_rank(MPI_Comm comm, int *rank)

#include <mpi.h> #include <stdio.h> #define MATRIX_SIZE 10 #define FROM_MASTER 1 //这里的类型可以区分消息的种类,以便区分worker发送来的结果 #define FROM_CHILD 2 #define MASTER 0 MPI_Status status; int myid,numprocess; //最终保存的结果 int ans [MATRIX_SIZE*MATRIX_SIZE]; int A[MATRIX_SIZE*MATRIX_SIZE],B[MATRIX_SIZE*MATRIX_SIZE]; //读取文件,注意读取文件要放在master里,不然会读两遍,出现错误 void readFile(){ FILE* fina,*finb; fina=fopen("a.txt","r"); int i; for (i = 0; i < MATRIX_SIZE*MATRIX_SIZE ; ++i) { fscanf(fina,"%d ",&A[i]); } fclose(fina); finb=fopen("b.txt","r"); for(i=0;i<MATRIX_SIZE*MATRIX_SIZE;i++) fscanf(finb,"%d ",&B[i]); fclose(finb); printf("read file ok\n"); } int master(){ int workid,dest,i,j; printf("numprocess %d\n",numprocess ); //给每个worker发送B矩阵过去 for(i=0;i<numprocess-1;i++){ //send B matrix MPI_Send(&B,MATRIX_SIZE*MATRIX_SIZE,MPI_INT,i+1,FROM_MASTER,MPI_COMM_WORLD); } //开始给每个worker分配任务,取模即可 for (i = 0; i < MATRIX_SIZE; i++) { //attention: num of workers is numprocess-1 workid=i%(numprocess-1)+1; //send single line in A MPI_Send(&A[i*MATRIX_SIZE],MATRIX_SIZE,MPI_INT,workid,FROM_MASTER,MPI_COMM_WORLD); } //等待从worker发送来的数据 int tempLine[MATRIX_SIZE]; for (i = 0; i < MATRIX_SIZE*MATRIX_SIZE; i++) { ans[i]=0; } for (i = 0; i < MATRIX_SIZE; ++i) { int myprocess=i%(numprocess-1)+1; printf("Master is waiting %d\n",myprocess); //receive every line from every process MPI_Recv(&tempLine,MATRIX_SIZE,MPI_INT,myprocess,FROM_CHILD,MPI_COMM_WORLD,&status); //发送过来的都是计算好了的一行的数据,直接组装到ans里就行 for(j=0;j<MATRIX_SIZE;j++){ ans[MATRIX_SIZE*i+j]=tempLine[j]; } printf("Master gets %d\n",i); } for(i=0;i<MATRIX_SIZE*MATRIX_SIZE;i++){ printf("%d ",ans[i] ); if(i%MATRIX_SIZE==(MATRIX_SIZE-1))printf("\n"); } printf("The Master is out\n"); } int worker(){ int mA[MATRIX_SIZE],mB[MATRIX_SIZE*MATRIX_SIZE],mC[MATRIX_SIZE]; int i,j,bi; MPI_Recv(&mB,MATRIX_SIZE*MATRIX_SIZE,MPI_INT,MASTER,FROM_MASTER,MPI_COMM_WORLD,&status); //接收来自master的A的行 for(i=0;i<MATRIX_SIZE/(numprocess-1);i++){ MPI_Recv(&mA,MATRIX_SIZE,MPI_INT,MASTER,FROM_MASTER,MPI_COMM_WORLD,&status); //矩阵乘法,A 的一行和B矩阵相乘 for(bi=0;bi<MATRIX_SIZE;bi++){ mC[bi]=0; for(j=0;j<MATRIX_SIZE;j++){ mC[bi]+=mA[j]*mB[bi*MATRIX_SIZE+j]; } } MPI_Send(&mC,MATRIX_SIZE,MPI_INT,MASTER,FROM_CHILD,MPI_COMM_WORLD); } //如果处于余数范围内,则需要多计算一行 if(MATRIX_SIZE%(numprocess-1)!=0){ if (myid<=(MATRIX_SIZE%(numprocess-1))) { MPI_Recv(&mA,MATRIX_SIZE,MPI_INT,MASTER,FROM_MASTER,MPI_COMM_WORLD,&status); for(bi=0;bi<MATRIX_SIZE;bi++){ mC[bi]=0; for(j=0;j<MATRIX_SIZE;j++){ mC[bi]+=mA[j]*mB[bi*MATRIX_SIZE+j]; } } MPI_Send(&mC,MATRIX_SIZE,MPI_INT,MASTER,FROM_CHILD,MPI_COMM_WORLD); } } printf("The worker %d is out\n",myid); } int main(int argc, char **argv) { MPI_Init (&argc, &argv); MPI_Comm_rank(MPI_COMM_WORLD,&myid); MPI_Comm_size(MPI_COMM_WORLD,&numprocess); if(myid==MASTER){ readFile(); master(); } if(myid>MASTER){ worker(); } MPI_Finalize(); return 0; }

调用MPI_Comm_rank函数获得当前进程在指定通信域中的编号,将自身与其他程序区分。

int MPI_Recv(void *buf, int count, MPI_Datatype datatyepe,int source, int tag, MPI_Comm comm, MPI_Status *status)

编译运行及显示结果

理论上说,MPI所有的通信功能可以用它的六个基本的调用来实现:

获取进程的编号
针对实验用到的几个函数进行说明。

通过opemMPI加速矩阵乘法运算。采用主从模式,0号是master,其他是child(或者叫worker,as you wish)。

调用MPI_Comm_size函数获取指定通信域的进程个数,确定自身完成任务比例。

编译和执行

MPI_COMM_SIZE 确定进程数

看下openmpi的版本

MPI计算矩阵乘法

hello.c

一个MPI并行程序由若干个并发进程组成,这些进程可以相同也可以不同。MPI只支持静态进程创建,即:每个进程在执行前必须在MPI环境中登记,且它们必须一起启动。通常启动可执行的MPI程序是通过命令行来实现的。启动方法由具体实现确定。例如在MPICH实现中通过下列命令行可同时在独立的机器上启动相同的可执行程序:

buf是要发送数据的指针,比如一个A数组,可以直接&A,count则是数据长度,datatype都要改成MPI的type。dest就是worker的id了。tag则可以通过不同的type来区分消息类型,比如是master发送的还是worker发送的。

每个worker的工作就是接收来自master的一行,和B矩阵运算,得出新一行的结果,然后发送回master

int MPI_Comm_size(MPI_Comm comm, int *size)

两个矩阵A,B进行乘法运算,则A的行 i 乘以B的列 j 得出的数是新矩阵(i,j)坐标的数值。A(MN) B(NK)最后矩阵是M*K的,实验中M=N=K=1000,我也就没有明确区分MNK,全部用MATRIX_SIZE定义的。

安装OPENMPI
MPI为程序员提供一个并行环境库,程序员通过调用MPI的库程序来达到程序员所要达到的并行目的,可以只使用其中的6个最基本的函数就能编写一个完整的MPI程序去求解很多问题。这6个基本函数,包括启动和结束MPI环境,识别进程以及发送和接收消息:

基本思路
多加了很多注释来解释,函数的说明下一节解释下。

OPENMPI简单函数介绍

mpirun (Open MPI) 1.6.5 Report bugs to

sudo apt-get install libcr-dev mpich2 mpich2-doc

消息接收

mpirun –np N programname

生成执行文件data

int MPI_Finalize(void)

MPI_RECV 接收一条消息

MPI_FINALIZE 结束MPI环境

消息的接收发送者即信的地址,在MPI中成为消息封装(Message Envelop)

MPI_INIT 启动MPI环境

mpicc mpi_hello.c -o hello mpirun -np 2 ./hello Hello world from process 0 of 2 Hello world from process 1 of 2

一个消息好比一封信

相关热词: 安装 C++

本站内容来源于网络,如有侵权请与我们联系,我们会及时删除,我们深感抱歉!
注:本站所有信息仅供用于网络技术学习参考,学习中请遵循相关法律法规!

本文地址: https://v30.fanwenzhu.com/jiaob/cjj/5929.shtml

相关文章
Copyright © www.juheyunku.com      关于 | 合作 | 声明 | 联系 | 更新 | 地图 | Tags

C++_安装OpenMPI来配合C语言程序进行并行计算,安装OPENMPI由于是实验,也不

2020-12-20 编辑:

最简单的方法,apt安装

由于是实验,也不进行多机的配置了,只在虚拟机里安装吧。多个机器的配置可以参考此文
最简单的思路就是每个worker分配(MATRIX_SIZE/(numprocess-1))个,然后如果有余下的,就分给余数对应的worker。比如MATRIX_SIZE=10,numprocess=4 则实际的worker有3个,每个人分3行,最后的一行给id是1的。可以很简单的利用循环类分配。最后Master收集所有的结果,并按照顺序组装起来就行。

MPI结束:通过MPI_Finalize函数从MPI环境中退出。

消息的内容的内容即信的内容,在MPI中成为消息缓冲(Message Buffer)

消息发送

MPI中,消息缓冲由三元组<起始地址,数据个数,数据类型>标识

其中N是同时运行的进程的个数,programname是可执行的MPI程序的程序名。

MPI_COMM_RANK 确定自己的进程标识符

正常出现结果表明没有问题,

测试

int MPI_Init( int *argc, char * * * argv )

初始化和结束

获取指定通信域的进程数

mpicc -o programname programname.c

MPI初始化:通过MPI_Init函数进入MPI环境并完成所有的初始化工作。

MPI消息
消息信封由三元组<源/目标进程,消息标签,通信域>标识

MPI_SEND 发送一条消息

代码

mpirun --version

MPI_Recv函数用于从指定进程接收一个消息

int MPI_Send(void *buf, int count, MPI_Datatype dataytpe, int dest, int tag, MPI_Comm comm)

/* C Example */ #include <mpi.h> #include <stdio.h> int main (int argc, char* argv[]) { int rank, size; MPI_Init (&argc, &argv); /* starts MPI */ MPI_Comm_rank (MPI_COMM_WORLD, &rank); /* get current process id */ MPI_Comm_size (MPI_COMM_WORLD, &size); /* get number of processes */ printf( "Hello world from process %d of %d\n", rank, size ); MPI_Finalize(); return 0; }

MPI_Send函数用于发送一个消息到目标进程。

int MPI_Comm_rank(MPI_Comm comm, int *rank)

#include <mpi.h> #include <stdio.h> #define MATRIX_SIZE 10 #define FROM_MASTER 1 //这里的类型可以区分消息的种类,以便区分worker发送来的结果 #define FROM_CHILD 2 #define MASTER 0 MPI_Status status; int myid,numprocess; //最终保存的结果 int ans [MATRIX_SIZE*MATRIX_SIZE]; int A[MATRIX_SIZE*MATRIX_SIZE],B[MATRIX_SIZE*MATRIX_SIZE]; //读取文件,注意读取文件要放在master里,不然会读两遍,出现错误 void readFile(){ FILE* fina,*finb; fina=fopen("a.txt","r"); int i; for (i = 0; i < MATRIX_SIZE*MATRIX_SIZE ; ++i) { fscanf(fina,"%d ",&A[i]); } fclose(fina); finb=fopen("b.txt","r"); for(i=0;i<MATRIX_SIZE*MATRIX_SIZE;i++) fscanf(finb,"%d ",&B[i]); fclose(finb); printf("read file ok\n"); } int master(){ int workid,dest,i,j; printf("numprocess %d\n",numprocess ); //给每个worker发送B矩阵过去 for(i=0;i<numprocess-1;i++){ //send B matrix MPI_Send(&B,MATRIX_SIZE*MATRIX_SIZE,MPI_INT,i+1,FROM_MASTER,MPI_COMM_WORLD); } //开始给每个worker分配任务,取模即可 for (i = 0; i < MATRIX_SIZE; i++) { //attention: num of workers is numprocess-1 workid=i%(numprocess-1)+1; //send single line in A MPI_Send(&A[i*MATRIX_SIZE],MATRIX_SIZE,MPI_INT,workid,FROM_MASTER,MPI_COMM_WORLD); } //等待从worker发送来的数据 int tempLine[MATRIX_SIZE]; for (i = 0; i < MATRIX_SIZE*MATRIX_SIZE; i++) { ans[i]=0; } for (i = 0; i < MATRIX_SIZE; ++i) { int myprocess=i%(numprocess-1)+1; printf("Master is waiting %d\n",myprocess); //receive every line from every process MPI_Recv(&tempLine,MATRIX_SIZE,MPI_INT,myprocess,FROM_CHILD,MPI_COMM_WORLD,&status); //发送过来的都是计算好了的一行的数据,直接组装到ans里就行 for(j=0;j<MATRIX_SIZE;j++){ ans[MATRIX_SIZE*i+j]=tempLine[j]; } printf("Master gets %d\n",i); } for(i=0;i<MATRIX_SIZE*MATRIX_SIZE;i++){ printf("%d ",ans[i] ); if(i%MATRIX_SIZE==(MATRIX_SIZE-1))printf("\n"); } printf("The Master is out\n"); } int worker(){ int mA[MATRIX_SIZE],mB[MATRIX_SIZE*MATRIX_SIZE],mC[MATRIX_SIZE]; int i,j,bi; MPI_Recv(&mB,MATRIX_SIZE*MATRIX_SIZE,MPI_INT,MASTER,FROM_MASTER,MPI_COMM_WORLD,&status); //接收来自master的A的行 for(i=0;i<MATRIX_SIZE/(numprocess-1);i++){ MPI_Recv(&mA,MATRIX_SIZE,MPI_INT,MASTER,FROM_MASTER,MPI_COMM_WORLD,&status); //矩阵乘法,A 的一行和B矩阵相乘 for(bi=0;bi<MATRIX_SIZE;bi++){ mC[bi]=0; for(j=0;j<MATRIX_SIZE;j++){ mC[bi]+=mA[j]*mB[bi*MATRIX_SIZE+j]; } } MPI_Send(&mC,MATRIX_SIZE,MPI_INT,MASTER,FROM_CHILD,MPI_COMM_WORLD); } //如果处于余数范围内,则需要多计算一行 if(MATRIX_SIZE%(numprocess-1)!=0){ if (myid<=(MATRIX_SIZE%(numprocess-1))) { MPI_Recv(&mA,MATRIX_SIZE,MPI_INT,MASTER,FROM_MASTER,MPI_COMM_WORLD,&status); for(bi=0;bi<MATRIX_SIZE;bi++){ mC[bi]=0; for(j=0;j<MATRIX_SIZE;j++){ mC[bi]+=mA[j]*mB[bi*MATRIX_SIZE+j]; } } MPI_Send(&mC,MATRIX_SIZE,MPI_INT,MASTER,FROM_CHILD,MPI_COMM_WORLD); } } printf("The worker %d is out\n",myid); } int main(int argc, char **argv) { MPI_Init (&argc, &argv); MPI_Comm_rank(MPI_COMM_WORLD,&myid); MPI_Comm_size(MPI_COMM_WORLD,&numprocess); if(myid==MASTER){ readFile(); master(); } if(myid>MASTER){ worker(); } MPI_Finalize(); return 0; }

调用MPI_Comm_rank函数获得当前进程在指定通信域中的编号,将自身与其他程序区分。

int MPI_Recv(void *buf, int count, MPI_Datatype datatyepe,int source, int tag, MPI_Comm comm, MPI_Status *status)

编译运行及显示结果

理论上说,MPI所有的通信功能可以用它的六个基本的调用来实现:

获取进程的编号
针对实验用到的几个函数进行说明。

通过opemMPI加速矩阵乘法运算。采用主从模式,0号是master,其他是child(或者叫worker,as you wish)。

调用MPI_Comm_size函数获取指定通信域的进程个数,确定自身完成任务比例。

编译和执行

MPI_COMM_SIZE 确定进程数

看下openmpi的版本

MPI计算矩阵乘法

hello.c

一个MPI并行程序由若干个并发进程组成,这些进程可以相同也可以不同。MPI只支持静态进程创建,即:每个进程在执行前必须在MPI环境中登记,且它们必须一起启动。通常启动可执行的MPI程序是通过命令行来实现的。启动方法由具体实现确定。例如在MPICH实现中通过下列命令行可同时在独立的机器上启动相同的可执行程序:

buf是要发送数据的指针,比如一个A数组,可以直接&A,count则是数据长度,datatype都要改成MPI的type。dest就是worker的id了。tag则可以通过不同的type来区分消息类型,比如是master发送的还是worker发送的。

每个worker的工作就是接收来自master的一行,和B矩阵运算,得出新一行的结果,然后发送回master

int MPI_Comm_size(MPI_Comm comm, int *size)

两个矩阵A,B进行乘法运算,则A的行 i 乘以B的列 j 得出的数是新矩阵(i,j)坐标的数值。A(MN) B(NK)最后矩阵是M*K的,实验中M=N=K=1000,我也就没有明确区分MNK,全部用MATRIX_SIZE定义的。

安装OPENMPI
MPI为程序员提供一个并行环境库,程序员通过调用MPI的库程序来达到程序员所要达到的并行目的,可以只使用其中的6个最基本的函数就能编写一个完整的MPI程序去求解很多问题。这6个基本函数,包括启动和结束MPI环境,识别进程以及发送和接收消息:

基本思路
多加了很多注释来解释,函数的说明下一节解释下。

OPENMPI简单函数介绍

mpirun (Open MPI) 1.6.5 Report bugs to

sudo apt-get install libcr-dev mpich2 mpich2-doc

消息接收

mpirun –np N programname

生成执行文件data

int MPI_Finalize(void)

MPI_RECV 接收一条消息

MPI_FINALIZE 结束MPI环境

消息的接收发送者即信的地址,在MPI中成为消息封装(Message Envelop)

MPI_INIT 启动MPI环境

mpicc mpi_hello.c -o hello mpirun -np 2 ./hello Hello world from process 0 of 2 Hello world from process 1 of 2

一个消息好比一封信

本站内容来源于网络,如有侵权请与我们联系,我们会及时删除,我们深感抱歉!
注:本站所有信息仅供学习参考!
本文地址为 https://v30.fanwenzhu.com/jiaob/cjj/5929.shtml

相关文章