elastic-job-lite原理与监控平台搭建

基本概念

Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供最轻量级的分布式任务的协调服务，外部依赖仅Zookeeper。

分片
任务的分布式执行，需要将一个任务拆分为多个独立的任务项，然后由分布式的服务器分别执行某一个或几个分片项。

分片项与业务处理解耦
Elastic-Job并不直接提供数据处理的功能，框架只会将分片项分配至各个运行中的作业服务器，开发者需要自行处理分片项与真实数据的对应关系。

个性化参数的适用场景
个性化参数即shardingItemParameter，可以和分片项匹配对应关系，用于将分片项的数字转换为更加可读的业务代码。

分布式调度
Elastic-Job-Lite并无作业调度中心节点，而是基于部署作业框架的程序在到达相应时间点各自触发调度。注册中心仅用于作业注册和监控信息存储。而主作业节点仅仅用于处理分片和清理等功能。

作业高可用
Elastic-Job-Lite提供最安全的方式执行作业。将分片总数设置为1，并使用多于1台的服务器执行作业，作业将会以1主n从的方式执行。一旦执行作业的服务器崩溃，等待执行的服务器将会在下次作业启动时替补执行。

最大限度利用资源
Elastic-Job-Lite也提供最灵活的方式，最大限度的提高执行作业的吞吐量。将分片项设置为大于服务器的数量。最好是大于服务器倍数的数量，作业将会合理的利用分布式资源，动态的分配分片项。

实现原理

弹性分布式实现

• 第一台服务器上线触发主服务器选举。主服务器一旦下线，则重新触发选举，选举过程中阻塞，只有主服务器选举完成，才会执行其他任务。
• 某作业服务器上线时会自动将服务器信息注册到注册中心，下线时会自动更新服务器状态。
• 主节点选举，服务器上下线，分片总数变更均更新重新分片标记。
• 定时任务触发时，如需重新分片，则通过主服务器分片，分片过程中阻塞，分片结束后才可执行任务。如分片过程中主服务器下线，则先选举主服务器，再分片。
• 通过上一项说明可知，为了维持作业运行时的稳定性，运行过程中只会标记分片状态，不会重新分片。分片仅可能发生在下次任务触发前。
• 每次分片都会按服务器IP排序，保证分片结果不会产生较大波动。
• 实现失效转移功能，在某台服务器执行完毕后主动抓取未分配的分片，并且在某台服务器下线后主动寻找可用的服务器执行任务。

注册中心数据结构

注册中心在定义的命名空间下，创建作业名称节点，用于区分不同作业，所以作业一旦创建则不能修改作业名称，如果修改名称将视为新的作业。作业名称节点下又包含4个数据子节点，分别是config, instances, sharding, servers和leader。

监控平台

Github：https://github.com/elasticjob/elastic-job-lite
Release：https://github.com/elasticjob/elastic-job-lite/releases

运维平台和elastic-job-lite并无直接关系，是通过读取作业注册中心数据展现作业状态，或更新注册中心数据修改全局配置。

控制台只能监控作业本身是否运行，但不能控制作业进程的启动，因为控制台和作业本身服务器是完全分离的，控制台并不能控制作业服务器。

可通过添加注册中心进行操作，该后台支持以下功能

• 查看作业以及服务器状态
• 快捷的修改以及删除作业设置
• 启用和禁用作业
• 跨注册中心查看作业
• 查看作业运行轨迹和运行状态

# wget https://github.com/elasticjob/elastic-job-lite/archive/2.1.5.tar.gz
# tar -zxf elastic-job-lite-2.1.5.tar.gz 
# cd elastic-job-lite-2.1.5/elastic-job-lite/elastic-job-lite-console
# mvn install  //编译
# cd target/
# ls
apidocs      elastic-job-lite-console-2.1.5.jar          elastic-job-lite-console-2.1.5.tar.gz  javadoc-bundle-options  surefire-reports
archive-tmp  elastic-job-lite-console-2.1.5-javadoc.jar  generated-sources                      maven-archiver          test-classes
classes      elastic-job-lite-console-2.1.5-sources.jar  generated-test-sources                 maven-status
# tar -zxf elastic-job-lite-console-2.1.5.tar.gz -C /data/server/  //解压缩
# cd /data/server/elastic-job-lite-console-2.1.5/
# nohup ./bin/start.sh &  //启动程序并一直在后台运行

打开浏览器访问：http://localhost:8899/ 即可访问控制台。8899为默认端口号，可通过启动脚本输入-p自定义端口号。

提供两种账户，管理员及访客，管理员拥有全部操作权限，访客仅拥有察看权限。默认管理员用户名和密码是root/root，访客用户名和密码是guest/guest，可通过conf/auth.properties修改管理员及访客用户名及密码。

# vim conf/auth.properties

root.username=root
root.password=root
guest.username=guest
guest.password=guest

访问RESTFul API方法同控制台。

应用部署

启动Elastic-Job-Lite指定注册中心的Zookeeper

运行包含Elastic-Job-Lite和业务代码的jar文件。不限与jar或war的启动方式

其他配置项和API查看官方文档：http://elasticjob.io