发表于 |

介绍

为了解决不同python程序之间，所依赖的包的版本不同导致程序无法运行的问题。

解决方法

解决方法可以是将在现有的程序代码的目录下运行

创建

创建一个venv目录，这个目录表示的就是一个python虚拟环境

1
virtualenv --no-site-packages venv

启动虚拟环境

一下命令可以启动虚拟环境

1
source venv/bin/activate

关闭虚拟环境

关闭虚拟环境

1
deactivate

删除

直接删除venv文件夹及可以

开发

在pycharm的default设置中可以选择到这个虚拟环境中的python，来解析pcharm中的包的依赖问题

发表于 |

介绍

PostgreSQL相对于竞争者的主要优势为可编程性：对于使用数据库资料的实际应用，PostgreSQL让开发与使用变得更简单。
微信支付核心数据库也是基于 PostgreSQL链接

安装

ubuntu下面:

  • 安装客户端
    sudo apt-get install postgresql-client
  • 安装服务器
    sudo apt-get install postgresql
    安装完成后，PostgreSQL服务器会自动在5432端口开启，
    所以如果在阿里云上部署，需要远程访问的话记得在阿里云管理界面上管理规则组中打开5432端口

创建新用户和数据库

安装postgresql之后默认生成一个名为postgres的数据库和一个名为postgres的数据库用户，同时还生成了一个名为postgres的Linux系统用户，有两种方法
使用shell命令行的方法

创建数据库用户

创建数据库用户leslie，并指定其为超级用户

1
sudo -u postgres createuser --superuser leslie

如果原来是在root用户下

1
2
su - postgres
createuser --superuser leslie_postgres3

登录数据库控制台,设置账号密码

psql命令登录PostgreSQL控制台

1
2
3
sudo -u postgres psql  #login the PostgreSQL Console
\password leslie_postgres3  # enter new password 123456
\q  #leave the PostgreSQL Console

创建数据库

1
2
3
sudo -u postgres createdb -O leslie_postgres3 testdb2
or
su - postgres createdb -O leslie_postgres3 testdb2
阅读全文 »

发表于 |

介绍

MPI(Message Passing Interface)在高性能计算中(High performance calculation 下面简称为HPC)具有广泛的应用。基本的应用范式可以分为两类:

  • 单机多进程并行计算
  • 多机集群并行计算

MPI的实现由以下几种库：

  • MPICH
  • open-mpi
  • intel-mpi

其中前两个库是开源的，intel的库不是开源的，集成在intel的MKL当中

MPI安装

可以通过两种方式安装：

  1. OS的软件库安装：
    1. ubuntu 的apt-get install
    2. MAC-OS的brew install
    3. redhat的yum install
  2. 通过源码包
    比如下载mpich的源码包,安装过程就是一般的老三套:
    1. configure 添加编译选项生成makefile文件
    2. make编译
    3. make install 安装
    4. 如果有必要，将mpi/bin目录添加到环境变量

Openmpi的安装

解压缩之后，编译安装https://www.open-mpi.org/faq/?category=building#easy-build:

1
2
3
4
wget https://download.open-mpi.org/release/open-mpi/v3.0/openmpi-3.0.4.tar.gz
./configure --prefix=/home/lesliefang/openmpi/openmpi_install/
make all install -j $logistic_corenum-1
PATH=$PATH:/home/lesliefang/openmpi/openmpi_install/

添加非root用户运行mpi

1
useradd multinode

各个节点的新用户都需要配置openmpi的信息

写hostfile

1
2
10.239.182.51
10.239.183.42

配置各个节点之间无密码ssh登录:要保证 .ssh 目录只有 新添加的非root用户自己有权限 否则配置的ssh不起作用，参考ssh免秘钥登录的文章
hostfile里面为各个节点的IP地址

关闭防火墙：
systemctl stop firewalld
systemctl disable firewalld

测试代码已经编译

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#include "mpi.h"
int main(int argc, char *argv[])
{
 int nproc;
 int iproc;
 char proc_name[MPI_MAX_PROCESSOR_NAME];
 int nameLength;
 MPI_Init(&argc,&argv);
 MPI_Comm_size(MPI_COMM_WORLD,&nproc);
 MPI_Comm_rank(MPI_COMM_WORLD,&iproc);
 MPI_Get_processor_name(proc_name,&nameLength);
 printf("Hello World, Iam host %s with rank %d of %d\n", proc_name,iproc,nproc);
 MPI_Finalize();
 return 0;
}
1
2
mpicc -o hello hello.c
mpirun -N 2 -hostfile hostfile hello

-N参数指定的是单个节点上运行的进程数量
远程节点对应目录下面必须有相同的文件，否则这个远程节点不运行程序，不打印东西

MPI 编程

基本的流程可以分成3个步骤

阅读全文 »