12 leoIsCoding

尚未进行身份认证

Github : [ https://github.com/leoChaoGlut ] Email : [ leoIsCoding@163.com ]

等级
TA的排名 3k+

Ambari 自定义 Alert

原文: https://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari3/Ambari 最新动态2015 年,Ambari 发展的比较快,最新的发布版本已经是 2.1.1,而且马上将要发布 2.1.2 版本。与之前版本相比较,Ambari 增加了对一些最新版本操作系统的支持,同时也不再支持一些过时版本的操作系统。例如不...

2020-02-29 11:51:04

superset 使用 presto 获取数据缓慢问题解决

排查思路1.使用 traceback.print_stack() 加入到pyhive源码中,如 venv/lib/python3.6/site-packages/pyhive/presto.py 的 _process_response方法2.superset界面上执行任意sql3.superset控制台打印出调用_process_response的方法栈4.根据方法栈,追踪到time.sl...

2020-02-27 17:25:35

DDD 抽象概念清晰定义

战略建模域限界上下文映射方式:更详细的描述请看<实现领域驱动设计> 第3章,80 页合作关系(Partnership):两个上下文紧密合作的关系,一荣俱荣,一损俱损。共享内核(Shared Kernel):两个上下文依赖部分共享的模型。客户方-供应方开发(Customer-Supplier Development):上下文之间有组织的上下游依赖。遵奉者(Confor...

2019-11-11 17:56:36

JavaParser 无法解析链式调用的问题

当解析链式调用时,如:“ClassA.getClassB().methodB()”.尽管预先在JavaParserFacade中,添加了所有必须的JarTypeSolver,包括ClassB所在的Jar包.并且debug确认JavaParser已成功添加ClassB所在的JarTypeSolver.解析到"ClassA.getClassB().methodB()“这样的链式调用时,还是会报"...

2019-10-24 14:12:31

如何用简单例子讲解 Q - learning 的具体过程?

作者:牛阿 链接:https://www.zhihu.com/question/26408259/answer/123230350 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。2017年06月05日更新,最近重写了一遍代码,Flappy Bird Q-learning。你可以在这里试着训练一下,加到最大帧数,在一两分钟内就可以达到10+的分数。原答案:最近看

2018-02-28 14:15:44

使用强化学习完成迷宫搜索

使用 Q Learning 完成了一个迷宫搜索的小程序源码: https://github.com/leoChaoGlut/machine-learning-practice/tree/master/reinforcement-learning/q-learning/maze

2018-02-28 14:13:51

presto 插件开发

完整demo: https://github.com/leoChaoGlut/presto-research/tree/master/presto-research-plugin开发步骤pom.xml 中填加 dependencies com.facebook.presto:presto-spibuild plugin com.facebook.presto:presto-ma

2018-01-25 11:45:56

JSR133中文版

原文链接  译文链接   翻译:丁一   下载:JSR133中文版本文是JSR-133规范,即JavaTM内存模型与线程规范,由JSR-133专家组开发。本规范是JSR-176(定义了JavaTM平台 Tiger(5.0)发布版的主要特性)的一部分。本规范的标准内容将合并到JavaTM语言规范、JavaTM虚拟机规范以及java.lang包的类说明中。本JSR-133规范将不再通过JC

2018-01-24 09:50:02

Presto 源码分析 (1) - 一条 sql 在 presto 内如何被执行

由于方法栈调用顺序较深, markdown 不好展示,故使用 yml 来展示. 详情请看 : 一条sql如何被presto执行.yml https://github.com/leoChaoGlut/presto-research/blob/master/presto-research-doc/%E4%B8%80%E6%9D%A1sql%E5%A6%82%E4%BD%95%E8%A2%ABp

2018-01-23 11:35:34

解决 Azkaban Executor 启动后不会自动激活

Intro通过翻看 Azkaban Executor Server 源码,发现 Executor 提供了 rest 接口,来手动激活 Executor. 为什么不在 Executor 启动时自动激活呢….官方 issue110 解释如下:We don't update prior to web-server start.Let me introduce how we do a regular Ex

2017-12-25 12:01:04

Ambari 整合 Azkaban

详情: https://github.com/leoChaoGlut/ambari-azkaban-service/blob/master/README.md

2017-12-24 13:50:38

Ambari 整合 Presto

详情: https://github.com/leoChaoGlut/ambari-presto-service

2017-12-24 13:49:57

Kaggle如何入门

作者:机器之心链接:https://www.zhihu.com/question/23987009/answer/203051669来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。Kaggle 是一个流行的数据科学竞赛平台,已被谷歌收购,参阅《业界 | 谷歌云官方正式宣布收购数据科学社区 Kaggle》。作为一个竞赛平台,Kaggle 对于

2017-12-19 09:25:29

Presto ETL SQL 执行框架

简介:仅适用于 presto之前模仿 sqoop 的功能,写了一版 presto-extract,但发现并不好用,于是跳出 sqoop 的思维,重新写了一版该版本的职责: 负责顺序调用 sql一个负责提供占位参数的 placeholders.sql从 placeholders.sql 获取参数,并填充到顺序调用的 sql 中提供循环 sql 调用根据脚本入参,可保存需要保存的 pla

2017-11-22 17:34:05

OrientDB 踩坑记录

子查询得到的结果默认是 Collection, 判断相等的时候需要先调用 FIRST(subQuery) 方法(或其它方法),否则会出现等式判断错误. 正确: SELECT FROM Person WHERE name = FIRST((SELECT name FROM Person))错误: SELECT FROM Person WHERE name = (SELECT name FROM P

2017-11-16 20:08:06

给Linux系统新增加一块硬盘

今天公司测试Linux服务器硬盘不够用了,主要是mysql数据文件太大了,买了个500G的硬盘回来,这里记录下新加硬盘的方法PS 测试服务器的主板太差劲了,没有多余的电源接口,只能把光驱的电源拿出来,才能让硬盘使用。把硬盘装好后,我们用 fdisk -l 查看下:图中可以看出 /dev/sdb 是500G,新加的硬盘。接下来我用命令 fdisk sdb 进行分区,输入 p

2017-11-14 17:09:23

Spark技术在京东智能供应链预测的应用

大家晚上好,做一个简单的介绍:我叫郭景瞻,来自京东,著有《图解Spark:核心技术与案例实战》一书,还有我的同事杨冬越,他在京东Y事业部,主要从事供应链销量预测、单量预测等系统的设计与实现工作。今天非常感谢InfoQ提供这样的机会给大家做一次分享,我们分享的主题是《Spark技术在智能供应链的应用》。在该分享中,首先介绍京东智能供应链并介绍预测在供应链中的作用,接着介绍预测系统的业务和技术

2017-11-10 18:25:09

Presto 集群管理工具

presto 官方提供了集群管理工具,但只支持 RedHat Linux version 6.x * CentOS, ubuntu下,不能正常使用,于是自己撸了一个presto集群管理工具:github链接 https://github.com/leoChaoGlut/presto-manager

2017-11-03 16:37:42

数据库事务的四大特性以及事务的隔离级别

本篇讲诉数据库中事务的四大特性(ACID),并且将会详细地说明事务的隔离级别。  如果一个数据库声称支持事务的操作,那么该数据库必须要具备以下四个特性:⑴ 原子性(Atomicity)  原子性是指事务包含的所有操作要么全部成功,要么全部失败回滚,这和前面两篇博客介绍事务的功能是一样的概念,因此事务的操作如果成功就必须要完全应用到数据库,如果操作失败则不能对数据库有任何影响

2017-10-29 18:57:52

HDFS的运行原理

简介HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。HDFS有很多特点:    ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。    ② 运行在廉价的机器上。

2017-10-14 16:19:35

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。