7 开源任务调度-EasyScheduler

尚未进行身份认证

Stay Hungry Stay Foolish 外功修行 内功修神

等级
博文 265
排名 3k+

开源分布式工作流任务调度系统EasyScheduler自定义任务插件开发

任务插件开发提醒:目前任务插件开发暂不支持热部署基于SHELL的任务基于YARN的计算(参见MapReduceTask)需要在cn.escheduler.server.worker.task下的TaskManager类中创建自定义任务(也需在TaskType注册对应的任务类型)需要继承cn.escheduler.server.worker.task下的AbstractYar...

2019-06-13 17:43:05

开源分布式工作流任务调度系统EasyScheduler使用详解

开源分布式工作流任务调度系统EasyScheduler使用详解登录输入http://192.168.xx.xx:8888/view/login/index.html网址,输入用户名:admin,密码:escheduler123登录登录之后每个页面的右上角都有用户的身份标识。点击下拉箭头包含用户信息和退出两个按钮点击“用户信息”按钮,如下图:...

2019-06-13 17:37:01

数据分析方法论之常用分析思路

对于一款App来讲,市场渠道人员比较关注渠道的获客质量,经常会用到渠道分析;运营人员比较关注用户在产品内的行为信息,通常会用到用户分群,进行针对性运营;产品人员则关注产品功能的使用情况以及核心流程的转化情况。那么如何实现所有业务人员的数据需求。我们以有帐号体系产品的注册为核心流程为例,一般产品的注册流程为:输入手机号->获取验证码->输入验证码->点击注册-&g...

2019-06-01 23:03:44

Easy Scheduler 1.0.3 发布,分布式工作流任务调度系统

EasySchedulerRelease1.0.3EasyScheduler1.0.3是1.x系列中的第四个版本。新特性:[EasyScheduler-254]流程定义删除和批量删除[EasyScheduler-347]任务依赖增加“今日”[EasyScheduler-273]sql任务添加title[EasyScheduler-247]API在线文档[EasySch...

2019-05-28 08:26:44

大数据分析常用去重算法分析『HyperLogLog 篇』

大数据分析常用去重算法分析『HyperLogLog篇』在上篇推送中,Kyligence大数据工程师陶加涛为大家介绍了利用RoaringBitmap来进行精确去重。虽然这种算法能大大地减少存储开销,但是随着数据量的增大,它依然面临着存储上的压力。在本篇推送中将要介绍的HyperLogLog(下称HLL)是一种非精确的去重算法,它的特点是具有非常优异的空间复杂度(几乎可以达到常数级别)...

2019-05-09 11:35:44

开源分布式工作流任务调度系统Easy Scheduler Release 1.0.2发布

EasySchedulerRelease1.0.2EasyScheduler1.0.2是1.x系列中的第三个版本。此版本增加了调度开放接口、worker分组(指定任务运行的机器组)、任务流程及服务监控以及对oracle、clickhouse等支持,具体如下:新特性:[EasyScheduler-79]调度通过token方式对外开放接口,可以通过api进行操作[EasySche...

2019-04-26 20:08:20

持续改进中——Easy Scheduler 1.0.1版本来了

持续改进中——EasyScheduler1.0.1版本来了背景在多位技术小伙伴的努力下,经过近2年的研发迭代、内部业务剥离及重构,也经历一批种子用户试用一段时间后,EasyScheduler终于迎来了第一个正式开源迭代发布版本–1.0.1,免编译版本下载地址–1.0.1相信做过数据处理的伙伴们对开源的调度系统如oozie、azkaban、airflow应该都不陌生,在使用这些调...

2019-04-17 10:54:37

分布式工作流任务调度系统Easy Scheduler正式开源

EasyScheduler大数据工作流调度系统已经开源,欢迎下载交流https://github.com/analysys/EasySchedulerEasySchedulerforBigData设计特点:一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。其主要目标如下:以DAG图的方...

2019-03-29 23:56:37

git使用.gitignore忽略提交文件并没有生效问题解决

idea集成git过滤一些不必要提交到git上的文件以及文件夹的时候发现使用.ignore插件创建.gitignore来忽略提交文件并没有生效,每次commit还是带了一堆不必提交的文件,最后找到了处理办法:.gitignore只能忽略那些原来没有被track的文件,如果某些文件已经被纳入了版本管理中,则修改.gitignore是无效的。那么解决方法就是先把本地缓存删除(改变成未track状态...

2019-03-28 18:02:06

Excel表格转换为MarkDown表格工具

功能十分强大:https://tableconvert.com/还可以下载下来,真是很棒!

2019-03-18 22:49:49

留存分析为何要做, 如何做

导读留存,是指用户在App、网站等应用上使用过,并一段时间后仍有使用。留存分析模型是一种衡量用户健康度/参与度的方法,超越下载量、DAU等这样的虚荣指标,深入了解用户的留存和流失状况,发现影响产品可持续增长的关键因素,指导市场决策、产品改进、提升用户价值等等。▌留存分析能解决哪些问题?1、上个月做了一次产品迭代,如何评估其效果?是否完成了产品经理期望完成的行为?2、作为一个...

2019-03-16 20:51:53

易观推出免费版本方舟Argo,同时开源SDK及调度

易观推出了免费版本方舟Argo,Argo是国内唯一的一款免费的可以私有化部署的用户行为分析平台,可以私有化对接自己的各种内部系统,它的商业版本已经在招商银行、当当、首汽等客户大面积使用了。别人都是免费版到商业版,我们是先做商业版在做靠谱的免费版,初心真的是想把数据能力平民化,同时配合数据采集SDK开源和支持多活分布式的ETL调度工具开源,让更多的人可以把数据用起来。在筹划的时候,公司也没有指望能...

2019-03-01 23:02:37

Apache Curator中的Connection Guarantees(连接保证)

Curator不断监控与ZooKeeper集合的连接。此外,每个操作都包含有重试机制。因此,可以做出以下保证:每个Curator操作都会好好的等待,直到与ZooKeeper建立连接 每个Curator操作(create,getData等)都保证按照当前设置的重试策略管理连接丢失和会话过期 如果连接暂时丢失,Curator将尝试重试该操作,直到按照当前设置的重试策略成功 所有Curator...

2019-02-24 23:24:02

我关注的一些技术微信公众号

AI前线 微信号:ai-frontInfoQ 微信号:infoqchinaCSDN 微信号:CSDNnews开源中国 微信号:oschina2013AI科技大本营 微信号:rgznai100 美团技术团队 (ID:meituantech)DataFunTalk 微信号:datafuntalkHadoop技术博文 微信号:iteblog_...

2019-02-21 15:46:19

在公有云实现分布式系统上千节点功能测试?Alluxio团队基于Docker的模拟方案和经验总结

01摘要对分布式系统进行大规模测试通常是一个昂贵但又必要的流程。由于世界上很多公司和机构都依赖Alluxio技术,我们非常重视Alluxio的测试。因此,我们需要解决的一个问题是如何在不耗尽资源的情况下进行大规模测试。在本博客中,我们将展示Alluxio开源项目的开发维护者如何利用公有云基础设施以经济高效的方式构建和测试我们的系统。我们将Alluxio与流行的计算框架(如Spark和Hive)...

2019-02-14 14:13:04

Mac使用vnc远程登录ubuntu16.04桌面

mac使用vnc远程登录ubuntu16.04桌面1.安装在Ubuntu上安装x11vnc,如下:sudoapt-getinstallx11vnc2.配置vnc密码x11vnc-storepasswd3.启动vnc服务x11vnc-forever-shared-rfbauth~/.vnc/passwd最好后台执行4.在mac上安装vncviewer,安装好后,在...

2019-01-23 15:22:00

开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)

本文为博主公司原创文章,仿冒必究,转载请回复留言开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)易观CTO郭炜序现在大数据组件非常多,众说不一,在每个企业不同的使用场景里究竟应该使用哪个引擎呢?这是易观Spark实战营出品的开源Olap引擎测评报告,团队选取了Hive、Sparksql、Presto、Impala...

2019-01-21 10:47:05

大数据调度--有向无环图(DAG)之拓扑排序

拓扑排序(TopologicalSorting)维基百科上拓扑排序的定义为:对于任何有向无环图(DAG)而言,其拓扑排序为其所有结点的一个线性排序(同一个有向图可能存在多个这样的结点排序)。该排序满足这样的条件——对于图中的任意两个结点U和V,若存在一条有向边从U指向V,则在拓扑排序中U一定出现在V前面。通俗来讲:拓扑排序是一个有向无环图(DAG)的所有顶点的线性序列,该序列必须满足两个...

2019-01-20 22:47:02

2019.01.12 Presto中国区用户线下Meetup

2019.01.12号,我们邀请Presto原创团队莅临中国,带来关于Presto的最新feature和roadmap动态,也邀请国内的Presto前沿公司兄弟分享实践干货,期待各位朋友的参加:活动地点:北京朝阳区绿地中心B座10层盖亚互娱乌月神殿活动时间:2019年1月12日14:00~2019年1月12日17:30活动议程:议程一14:00-14:30Introdu...

2019-01-13 12:38:37

HDFS中的内存存储支持

因工作中olap场景中对性能的极致要求,我们将部分业务数据的hdfs路径的存储策略设置为放在内存中(RAM_DISK)中,这是在hadoop2.6以后的版本支持的。抽空翻译了官网的文章HDFS中的内存存储支持介绍 管理员配置 限制副本使用的内存 在数据节点上设置RAM磁盘 选择tmpfs(vsramfs) 挂载RAM磁盘 使用RAM_DISK存储类型标记tmpfs卷 ...

2019-01-10 00:03:37
CSDN身份
  • 博客专家
奖章
  • Github
    Github
    绑定github第三方账户获取
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周上午根据用户上周的博文发布情况由系统自动颁发。