发表于 |

介绍

搭建一个spark机群进行数据分析
结构：主节点+2个工作节点
首先保证3个节点之间可以ssh免密码登录

依赖安装

  • 主节点：
    • java
    • mvn：有必要配置代理,.m2/settings.xml
    • spark：用做命令行测试，开发java程序，用mvn下载依赖包
  • 工作节点：
    • java
    • spark： 启动salve并连接主节点
      正确安装各个依赖包之后，需要正确配置环境变量。

测试是否正确安装

主节点

  • 测试spark命令行，参考文档
  • 测试spark用mvn构建，参考代码
    1
    2
    3
    4
    mvn package
    spark-submit --class "org.intel.dcg.leslie.SimpleApp" --master local[4] target/simple-project-1.0.jar
    --class 指定jar包入口的class类
    --master local[4] 运行在本地的4线程

工作节点

将主节点构建的jar包拷贝到工作节点

1
2
3
spark-submit --class "org.intel.dcg.leslie.SimpleApp" --master local[4] target/simple-project-1.0.jar
# --class 指定jar包入口的class类
# --master local[4] 运行在本地的4线程

构建机群

参考文档

发表于 |

介绍

Jenkins是一个自动化构建，测试工具 官网地址

教程

https://jenkins.io/doc/pipeline/tour/hello-world/#examples 启动服务器： java -jar jenkins.war –httpPort=8080

启动服务器之后在页面上配置代理： skip配置代理先 用户名:leslie 123456

进入之后看到用户管理页面 新建一个项目 在项目页面上构建build的命令 build之后可以在项目页面中，进入build结果的页面 查看build结果中命令行的输出

配置maven代理： 公司内网没有配置成功，还是无法连接上maven的中心仓库

和github的集成

可以在线安装插件
有时候代理不可用的时候也可以离线安装plugin https://stackoverflow.com/questions/14950408/how-to-install-a-plugin-in-jenkins-manually 插件下载地址： https://updates.jenkins-ci.org/download/plugins/git/
安装完插件之后如何和集成： https://www.jianshu.com/p/2836551a45ba

发表于 |

介绍

开放数据协议（Open Data Protocol，缩写 OData）是一种描述如何创建和访问 Restful 服务的 OASIS 标准。
sapui5和后端通过odata作为接口，odata的wiki介绍
,官网教程

sapui5+odata
openui5的文档搜索odata可以看到如何使用odata和后端交互数据
推荐使用：sap.ui.model.odata.v2.ODataModel