ncurses

发表于 2017-12-04 |

介绍

ncurses是一个库提供了API进行终端(termal)的编程，可以看到类似于我们在终端编译内核的时候出现的选项界面。
除了C语言，还可以用nodejs，python等去调用.

参考文章

https://www.gnu.org/software/ncurses/
http://tldp.org/HOWTO/NCURSES-Programming-HOWTO/

numactl

发表于 2017-12-02 |

介绍

NUMA(Non-Uniform Memory Access)字面直译为“非一致性内存访问”
对于多核CPU而言，它的作用可以将程序绑定在固定的CPU的进程以及固定的内存块上，避免了程序在不同CPU和内存块之间切换导致的时间消耗。
从而可以提高程序的性能

查看cpu的配置

1	numactl --hardware

这里我们希望特定的程序运行在特定的memory以及特定的线程上面可以使用这样的命令

1	numactl -m 0(1) taskset -c 0,19 command to start the program

auto numa balance

redhat系统默认打开auto numa balance
理论上使用numactl的时候就不会用到auto numa balance

numastat

numastat查看numa的使用情况
博客资料
http://dupengair.github.io/2016/10/12/%E7%B3%BB%E7%BB%9F%E6%80%A7%E8%83%BD%E6%B5%8B%E8%AF%95-%E7%B3%BB%E7%BB%9F%E6%80%A7%E8%83%BD%E5%B7%A5%E5%85%B7%E7%AF%87-numastat/

caffe

发表于 2017-11-11 |

介绍

Caffe 是Berkeley Vision and Learning Center(BVLC)开发的一个深度学习的框架，github地址,最初是用于图像处理，也可以用于自然语言处理。英特尔根据自己的CPU对caffe做了优化，并发布了intelcaffe版本，调用MKL以及MKLDNN库，从而编译后使用最新的指令集加速运算。

基本概念

Blob就是caffe封装的数据，默认的输入图像的格式是(NCHW):number N x channel K x height H x width W
solver: 定义一个solver文件,里面指定使用哪个net，步长多少

安装

安装一些系统依赖包
下载Intel caffe的源码
cp Makefile.config.example Makefile.config
修改Makefile.config中的编译选项
make -j 270 all（指定编译过程中可以使用的进程数量）

手写数字识别(Mnist)

准备数据

下载数据

运行这个脚本
$CAFFE_ROOT/data/mnist/get_mnist.sh
下载数据集到当前目录下面$CAFFE_ROOT/data/mnist/

转换数据格式

运行这个脚本去转换数据格式
$CAFFE_ROOT/examples/mnist/create_mnist.sh
会在$CAFFE_ROOT/examples/mnist/目录下面生成两个.lmdb后缀的文件，里面就是训练集和测试集

阅读全文 »