发表于 |

安装

创建非root用户

adduser elastic
passwd elastic

使用新用户下载

curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.10.tar.gz

启动：

./bin/elasticsearch

打开另一个终端进行测试：

curl ‘http://localhost:9200/?pretty‘
你能看到以下返回信息：
{
“status”: 200,
“name”: “Shrunken Bones”,
“version”: {
“number”: “1.4.0”,
“lucene_version”: “4.10”
},
“tagline”: “You Know, for Search”
}

报错：
[root@localhost ~]# curl -XGET ‘http://localhost:9200/?pretty‘

Redirection

Redirect

关闭防火墙和代理
unset $http_proxy
unset $https_proxy

修改绑定ip

尝试修改配置文件 elasticsearch.yml
中network.host(注意配置文件格式不是以#开头的要空一格， ：后要空一格) 为network.host: 0.0.0.0

安装kibana sense

下载解压kibana5.6.10
Sense was renamed to Console and is built into Kibana 5.
https://github.com/elastic/sense/blob/master/README.md

直接启动./bin/kibana
会连接上默认配置的elastic

restful API命令格式

命令格式：
https://www.elastic.co/guide/cn/elasticsearch/guide/current/_talking_to_elasticsearch.html

阅读全文 »

发表于 |

准备

编译后的目标文件中包含哪些内容：
https://www.jianshu.com/p/4c938ccda653

objdump

用于将机器码生成汇编代码
gcc命令objdump用法
objdump -x obj 以某种分类信息的形式把目标文件的数据组织（被分为几大块）输出 <可查到该文件的所有动态库>
objdump -t obj 输出目标文件的符号表()
objdump -h obj 输出目标文件的所有段概括()
objdump -j .text/.data -S obj 输出指定段的信息，大概就是反汇编源代码把
objdump -S obj C语言与汇编语言同时显示

查看是否调用某个指令集：
objdump -d combin | grep avx

objdump -d 反汇编程序，从机器码生成汇编代码

nm

显示可执行文件的符号表
最好用gcc -g 编译之后
在用nm 编译结果文件，查看文件的符号表，gcc -g会加入更多的符号表信息
gdb就是通过读取符号表来查看程序的调用栈的信息

strings

打印文件中可打印的字符
strings 源代码 就是打印出源代码了
strings 编译结果文件 就是把二进制文件中可以打印的部分文本给打印出来了

发表于 |

介绍

使用bigdl的时候需要将训练数据集放在分布式文件系统中

准备环境

保证各个节点之间免ssh登陆
单节点搭建hadoop
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
多节点搭建hadoop

  • namenode
    系统环境变量：
    export JAVA_HOME=/root/jdk1.8.0_161
    export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.
    export HADOOP_PREFIX=/home/hadoop/hadoop-2.6.5
    export HADOOP_HOME=$HADOOP_PREFIX/bin
    export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
    PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin:/home/jiahaofa/spark/spark-2.2.1-bin-hadoop2.7/bin:$HADOOP_HOME:$HADOOP_PREFIX/sbin
    export PATH

配置hadoop
etc/hadoop/hadoop-env.sh 写入 export JAVA_HOME=/usr/java/latest

配置etc/hadoop/slaves文件
r02s01
r02s02

配置etc/hadoop/core-site.xml



fs.defaultFS
hdfs://r02s01:9000


io.file.buffer.size
131072


hadoop.tmp.dir
file:///home/hadoop/hadoop-2.6.5/tmp

配置 etc/hadoop/hdfs-site.xml



dfs.namenode.name.dir
file:/home/hadoop/hadoop-2.6.5/tmp/dfs/name


dfs.datanode.data.dir
file:/home/hadoop/hadoop-2.6.5/tmp/dfs/data
  • datanode
    系统环境变量：
    系统环境变量：
    export JAVA_HOME=/root/jdk1.8.0_161
    export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.
    export HADOOP_PREFIX=/home/hadoop/hadoop-2.6.5
    export HADOOP_HOME=$HADOOP_PREFIX/bin
    export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
    PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin:/home/jiahaofa/spark/spark-2.2.1-bin-hadoop2.7/bin:$HADOOP_HOME:$HADOOP_PREFIX:sbin
    export PATH

配置hadoop
etc/hadoop/hadoop-env.sh 写入 export JAVA_HOME=/usr/java/latest

配置etc/hadoop/core-site.xml 一定要配置，很重要



fs.defaultFS
hdfs://r02s01:9000

不配置 etc/hadoop/hdfs-site.xml

启动：
$HADOOP_PREFIX/bin/hdfs namenode -format
$HADOOP_PREFIX/sbin/start-dfs.sh

启动之后用jps查看namenode和datanode的进程

关闭：
$HADOOP_PREFIX/sbin/stop-dfs.sh

如果出现namenode或者datanode无法启动，查看机器上的log有明确信息

hdfs命令测试

namenode:
hdfs dfs -put ./testdata/lesliename.txt /
其它节点
hdfs dfs -ls /
hdfs dfs -cat /lesliename.txt

datanode:
启动spark-shell：
val textFile = spark.read.textFile(“hdfs://r02s01:9000/lesliename.txt”)
textFile.first()

输出文件内容说明HDFS部署成功