发表于 |

使用ipython进行数据分析

ipython有shell的接口也有web的接口
官网：https://ipython.org/
ipython功能:https://www.zhihu.com/question/51467397

运行：jupyter notebook –ip=0.0.0.0 –allow-root

特殊用法

  • Tab键自动补全
  • 内省，变量后跟？，显示变量的信息

入门教程：

https://zhuanlan.zhihu.com/p/24988491
书籍：
https://detail.tmall.com/item.htm?_u=om6p4lp35f6&id=36838488413

  1. 生成随机数
    numpy各种生成随机数的函数:http://www.jianshu.com/p/214798dd8f93
    numpy.random.seed
    https://www.reddit.com/r/learnpython/comments/3nidns/how_to_use_numpyrandomseed/
    用法：numpy.random.seed(num1)
    生成随机数
    下一次再生成随机数的时候再调用一次numpy.random.seed(num1)
    依然生成同样的随机数
    如果numpy.random.seed(num2)
    再生成随机数就是不同的随机数

  1. Numpy.genfromtxt
    从文件读取数据
    http://www.jianshu.com/p/82110f1dbb94

  2. array.tolist
    作用:convert a NumPy array to a Python List
    https://docs.scipy.org/doc/numpy/reference/generated/numpy.ndarray.tolist.html
    b = a.tolist()
    重新创建
    a = np.array(b)

  3. 广播法则
    处理不同维度的矩阵之间的运算
    https://ptorch.com/news/38.html

  4. 从文件读取数据
    np.genfromtxt(filename)
    http://www.jianshu.com/p/82110f1dbb94

发表于 |

基本概念

安装

centos上面用这个区安装
https://docs.docker.com/install/linux/docker-ce/centos/

像Suse这样的OS找不到镜像的话，可以直接下载二进制包去安装
https://docs.docker.com/install/linux/docker-ce/binaries/
参考docker-ce 里面的Binaries下面的方法
安装之后，follow这个链接的最下面去创建systemd的配置项
https://docs.docker.com/config/daemon/systemd/#httphttps-proxy

常用命令

  • docker ps: 查看正在运行的container
  • 通过dockerfile去定义image： https://docs.docker.com/get-started/part2/#apppy
  • dockerbuild 利用dockerfile去生成image docker build -t friendlyhello . (friendlyhello 镜像名)
    important: 在dockerfile里面用pip去安装包的时候也需要配置代理
  • docker images 查看有没有生成镜像
  • docker run -p 4000:80 friendlyhello (-p 4000:80 把container的80端口映射到 主机的4000端口)
    docker run -d -p 4000:80 friendlyhello（-d 参数表示运行在后台，in detached mode）
  • attach a container
    docker attach container_name
    这样就会进入contaienr内部
    要deattach这个container，Ctrl+P+Q
  • docker container ls(只显示activate的container)
    查看所有的container: docker container ls -a
    查看到container id
  • 停止正在运行的container
    docker stop container_id
    在容器内部直接exit
  • 删除container
    docker rm container_id
  • 删除image
    docker image rm image_id（必须要保证这个image没有container在使用）
  • copy文件
    docker copy * #copy文件

常用的一系列用法

下载好image以后
docker run -tid imagename
docker container ls
docker attach container-id #进入容器
host上docker cp等进行修改
docker commit container-id new-name #保存成新的镜像

Error messgae:

commit的时候看到error message
Error response from daemon: Error processing tar file(exit status 1): unexpected EOF
看dockerd的日志，是zip文件不能保存

docker save -o update1.tar update //镜像的导出
docker load < update1.tar //镜像的导入

删除文件,减小镜像大小

在container中删除文件之后，再commit发现镜像大小不变
是因为docker commit会保留原来的layer的信息

用export
docker export container_id > name_tag.tar
再次导入
docker import name_tag.tar name:tag

无法使用numa的问题

  1. docker run -itd –privileged image
    –privileged可以给container权限
    推荐用这个方法

  2. 方法二
    docker run -itd –cap-add=SYS_NICE image
    当方法1的performance掉了的话，用这个方法试试看

代理设置

为docker-run设置代理
https://docs.docker.com/config/daemon/systemd/#httphttps-proxy

为docker容器本身设置代理
和普通OS一样直接设置代理，试过可以工作
export http_proxy=http://***
export https_proxy=https://***

在启动container的时候可以添加参数
https://docs.docker.com/network/proxy/

http://www.vadmin-land.com/2018/09/using-docker-behind-a-proxy/

设置docker的工作目录

1
vi /etc/docker/daemon.json

And add the following to tell docker to put all its files in this folder, e.g:

1
2
3
4
{
  "graph":"/workspace"
}
systemctl restart docker 之后

docker的工作目录就到了/workspace的目录下面

镜像目录

/workspace/docker_data/images

container目录

/workspace/docker_data/containers/

数据存储

/workspace/docker_data/volumes

  • 管理命令
    docker volume ls

docker volume rm volume_name

  • 指定volume的挂载位置
    指定挂在位置
    docker run -itd -v /data/:/data1 centos bash // -v 用来指定挂载目录,
    -v的格式为:

上传镜像

docker login
位image添加标签 docker tag image username/repository:tag
docker tag test1 lesliefang/get-started:v.0

docker image ls
会看到这个lesliefang/get-started:v.0 image

上传
docker push username/repository:tag
登录docker hub 可以看到相关的信息

阅读全文 »

发表于 |

Good:https://kratzert.github.io/2016/02/12/understanding-the-gradient-flow-through-the-batch-normalization-layer.html