- 博客(148)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 one-jar maven 插件的JarClassLoader Warning日志问题
onejar-maven-plugin 项目 githttps://github.com/jolira/onejar-maven-pluginonejar-boot 项目 git https://github.com/Kevin-Lee/one-jar-boot=====================================================使用one-j...
2019-11-09 16:18:05
524
原创 数据仓库（《数据仓库工具箱:纬度建模权威指南》）
===重要章节（1、2、4、18、19、20、21）1.数据治理1.1数仓基本概念 - 元数据-纬度表 描述具体事物信息的记录，例如物品、人员信息、商品信息等 -事实表 生产、活动产生的记录信息，例如购物记录、旅行记录等（通过外键关联纬度表）-事实表与纬度表区别 可以通过分析该列是否是一种包含多了个值并且作为计算的参与者的度量，这种为事实；...
2018-09-28 16:37:29
5603
原创 Java类文件动态编译并执行方法
package com.example.demo.dimension;import java.io.File;import java.io.FileFilter;import java.io.IOException;import java.lang.reflect.Method;import java.net.URI;import java.net.URISyntaxExceptio...
2018-07-16 10:25:41
4067
1
原创 Sqoop碎碎念
Sqoop是一个etl工具，是sql to hadoop的缩写。即将关系型数据库数据导入hadoop中。可以用sqoop来创建hive表和导数据，实际上也是在hdfs中创建目录和将数据存储在hdfs中。1.Sqoop基本命令 @see url2.mysql导入hive --hive-database qianyang #指定hive数据库 @see link...
2018-06-19 13:43:25
837
原创 kafka使用记录
《kafka权威指南》使用场景1、活动跟踪 前端应用与用户的交互记录，pv、uv、点击量等2、传递消息 用来实现消息通知功能3、度量指标和日志记录 系统日志以及度量指标的收集4、提交日志 作为分布式系统的日志缓冲区，方便日志收集处理5、流处理 用哦过户可以飙血消息那应用程序来操作kafka消息，比如计算度量指标，为其他应用程序有效的处理消息分区，或者对来自多个数据源的...
2018-05-30 22:18:57
715
1
原创 KettleSamples
在kettle安装目录下参考samples里的“jobs/process all tables”,把这个例子看懂了就没问题了。samples文件夹是和spoon.bat在同一个目录下。 里面有很多例子，基本上列举了kettle用到的一些场景一些，演示了很多功能。有些自己不清楚的，可以参考-----Kettle优化注意项----------Kettle的原作者在他的博客中...
2018-05-10 11:15:07
957
原创 IDEA报错：-Dmaven.multiModuleProjectDirectory system property is not set.
-Dmaven.multiModuleProjectDirectory system property is not set.然后在IDEA》file》settings》...如下图加上一个JVM的配置项（环境变量需要先设置，设置环境变量M2_HOME）参考 https://yq.aliyun.com/articles/304743...
2018-05-09 17:35:06
926
原创 Spring-boot rest接口跨源访问限制 Access-Control-Allow-Origin
跨源访问控制，见官网说明 https://spring.io/guides/gs/rest-service-cors/1.接口层做限制 @CrossOrigin(origins = "http://localhost:9000") @GetMapping("/greeting") public Greeting greeting(@RequestParam(required=fa...
2018-04-18 15:16:48
2466
原创 ERROR Server died unexpectedly: (io.confluent.kafka.schemaregistry.rest.SchemaRegistryMain:51)
../bin/schema-registry-start ../etc/schema-registry/schema-registry.properties Confluent schema-registry启动失败，报错：ERROR Server died unexpectedly: (io.confluent.kafka.schemaregistry.rest.SchemaRegistry...
2018-04-08 16:24:45
3980
1
原创 使用Kafka-Connector导数据
从mysql导数据到kafka1、kafka confluent 介绍 link 。。。2、kafka connector-jdbc 介绍 link 先安装kafka，然后下载confluent的包，默认这个安装包中已经包含了kafka、zookeeper等一些列kafka相关的东西。看实际情况。我这里是已经自己安装了apache kafka 。 启动 schema.re...
2018-04-04 10:46:36
8557
2
转载 Hbase_Solr_Indexer(Cloudera Manager版本)
1、通过CM 创建hdfs、hbase、solr集群、Key-Value Store Indexer等必备组件2、打通Lily-indexer与hbase和solr之间的关联 具体步骤 http://www.cnblogs.com/kekukekro/p/6340944.htmlhttp://blog.csdn.net/kissmelove01/article/details/4519694...
2018-02-09 16:18:30
427
转载 javaBean输出到CSV文件
package com.k.util;import java.io.BufferedWriter;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.io.OutputStreamWriter;import java.lang.refle
2018-01-08 19:19:08
1703
转载 基于Redis的限流系统的设计
原文见 1、总量限制，设置固定值，超过即拦截2、时间窗口，固定访问量限制。超过时间窗口重新计算，在窗口之内超过限制，拦截3、令牌桶算法实现https://mp.weixin.qq.com/s/ewjGZCgc_TUhiZIINCLfbg
2017-12-26 20:01:34
396
原创 Sqllite表结构导入Mysql库
1、sqllite 导出表结构 为 xxx.sql2、格式、语法、关键字之类的修改（两者sql的语法有差异）3、导入mysql步骤2、格式转换参考：1、建索引语句之类的替换 http://www.jianshu.com/p/27ad93c283542、表名的[] 符号替换 https://zhuanlan.zhihu.com/p/207784153、dat
2017-12-19 15:27:02
842
原创 TaildirSource（Flume中实现）
Flume #TaildirSource定期扫描目录定期写入当前文件读取位置/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distri
2017-12-05 10:27:58
3301
转载 Zookeeper实现分布式锁
基于zookeeper的分布式锁实现zookeeper官网推荐：https://svn.apache.org/repos/asf/zookeeper/trunk/src/recipes/lock/twitter的distributedlod项目中zk实现/** * Licensed to the Apache Software Foundation (ASF) under one
2017-12-05 10:21:41
429
转载 安装ant
安装ant参考 ：http://www.cnblogs.com/pianpianfeiye/p/4002343.html最好把ivy也一并安装了，否则会出现ivy问题：ivy-availability-check、 C:\Users\Administrator\.ant\lib does not exist.依赖无法管理等
2017-10-26 15:36:57
540
原创 Solr相关
Lucene倒排索引 inverted index 用于计算idf 、df等。 倒排索引结构组成 : 词典+倒排列表（ 排索引主要由两个部分组成：“单词词典”和“倒排文件”） https://baike.baidu.com/item/%E5%80%92%E6%8E%92%E7%B4%A2%E5%BC%95/11001569?fr=aladdin文档相关性 词频逆文档频率（tf-...
2017-10-19 18:00:40
322
原创 监听FTP服务器来获取读写完成的文件
问题场景文件通过ftp客户端上传到ftp服务器，服务器段需要及时的把读写完成的文件保存到其他storage中（或者处理）。这就需要保证监听程序能够监听该文件，判断该文件已经被写完成了，才能够做后续处理，否则接受到的是一个不完成的文件。（主要场景是ftp客户端上传的文件是不可控的，就是不是你自己控制的。所以加校验码、文件名后缀等方式不可行） 类似的问题在stackoverflow 当
2017-10-16 09:19:35
8693
原创 MapReduce
mapreduce处理流程图Combiner在map之后，reduce之前，指的是，map后已经生成了对于每天数据的key，value对，此时通过combiner对数据做本机的'reduce'操作，目的是减少key,value对的数量，减轻shuffle阶段的网络负担，减轻reduce的负载。参见-combiner的使用误区：http://blog.cs
2017-09-29 09:34:23
252
转载 JvmRunner<hdp>创建新的jvm来跑任务
/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding
2017-08-28 16:22:40
280
转载 Java定时任务开源框架
具体见原文4. 分布式定时任务开源框架一览4.1. Elastic-Job（当当网）4.2. light-task-scheduler4.3. clover4.4. TBSchedule（阿里）4.5. niubi-job4.6. Uncode-Schedule
2017-08-01 10:51:24
2197
原创 WinServer misc
文件管理winserver 定时删除文件脚本 http://www.bkjia.com/DOS_BAT/871122.htmlhttp://blog.csdn.net/woshixuye/article/details/18050769
2017-07-11 09:24:31
379
原创 Mapredue设计模式
目录1、设计模式与MapReduce设计模式MapReduce历史MapReduce与Hadoop 复习Hadoop练习，Word CountPig和Hive2、求和模式数字求和倒排索引计数器计数3、过滤模式过滤布隆过滤器Top10唯一记录Distinct4、数据组织模式结构化到层次化分区装箱全排序shufflin
2017-07-06 18:41:14
444
翻译 The connection to adb is down, and a severe error has occured.
The connection to adb is down, and a severe error has occured https://stackoverflow.com/questions/27689478/the-connection-to-adb-is-down-and-a-severe-error-has-occured 以管理员方式运行 D:\programs\A
2017-07-04 11:33:06
360
原创 面试遇到的基础知识
分布式接口幂等性所谓幂等，简单地说，就是对接口的多次调用所产生的结果和调用一次是一致的。扩展一下，这里的接口，可以理解为对外发布的HTTP接口或者Thrift接口，也可以是接收消息的内部接口，甚至是一个内部方法或操作。幂等解决方案GTIS的实现思路是将每一个不同的业务操作赋予其唯一性。这个唯一性是通过对不同操作所对应的唯一的内容特性生成一个唯一的全局ID来实现的。基本原则为：相同的
2017-06-08 17:09:03
379
原创 通过金山云安全开放平台API判断网址是否是钓鱼网站
金山网络云盾计划首页 只提供了两个接口，一个判断是否是钓鱼网站，一个是判断下载文件是否有病毒。1、需要申请apk、secret2、生成签名3、接口稍弱，有时候会访问不了。估计是n年前与某免费杀毒公司比谁跟免费期间弄出来的，然后就没然后了，估计是放在那里没人维护之类的把（个人感觉）。 http://code.ijinshan.com/api/devmore4.html
2017-06-07 17:57:38
1451
原创 KMP算法-字符串模式匹配算法
KMP 算法介绍以及c语言实现 http://www.61mon.com/index.php/archives/183/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.ioKMP 算法，讲解的不叫清楚版，http://www.ruanyifeng.com/blog/2013/05/Knuth%E2%80%93Morris%E
2017-06-07 11:32:42
532
原创 Dubbo使用记录
Dubbo官网文档 http://dubbo.io/User+Guide-zh.htmDubbo使用测试用例 https://github.com/wongloong/aboutDubbo/tree/master/dubboSampleDubbo+zookeeper搭建分布式服务治理环境 https://my.oschina.net/u/1766298/blog/790435Dubb
2017-06-07 11:03:42
327
原创 ceph
测试环境搭建测试环境hostnameIP角色test-1192.168.10.1管理/clienttest-2192.168.10.2mon/mds/osdppe-1192.168.10.5mon/mds/osdppe-21
2017-06-07 10:59:43
892
原创 Kubernetes多master集群搭建
官方社区 1、创建步骤：Creating the reliable constituent nodes that collectively form our HA master implementation.Setting up a redundant, reliable storage layer with clustered etcd.Starting replicate
2017-06-07 10:57:27
6761
原创 Init container容器Volume文件复制脚本（共享存储）
1、由于卷的挂载是直接在容器当前目录之上的，即容器原本目录下文件被隐藏，等umount才可见，因此，如果不希望发生把原本目录下的文件也影藏掉，需要通过复制容器，两个容器共享存储，然后通过向辅助容器挂载volume，然后通过这个容器，把新挂载的文件copy到共享目录，完成文件替换。2、复制文件的脚本（/volum
2017-06-07 10:56:35
2525
原创 [DockerRegistry]DockerV1v2镜像迁移
官网给出的solution：https://github.com/docker/migrator/blob/master/Dockerfile基本思路是： 利用Docker 1.6之后的版本可以和两个Registry进行通信， 从一个registry pull再push到另一个Registry 问题这个工具有很多缺陷。首先他是一个单一的shell脚本，只能做离线
2017-06-07 10:51:03
1434
转载 好的blog地址
http://www.journaldev.com/4098/java-heap-memory-vs-stack-memory-difference
2017-06-07 10:49:20
257
转载 浏览器打开window程序
原文 http://www.cnblogs.com/phinecos/archive/2009/03/06/1404951.html Tencent://Message协议想到的一个解决方案
2017-05-23 16:33:14
384
原创 chrome插件相关
chrome插件相关 chrome 插件调用exe程序 https://github.com/lvterry/writings/blob/master/chrome_extension_talk_to_exe.md
2017-05-23 11:00:37
357
solr-cloud-5.3.0 window7伪集群搭建
2018-09-11
Apache Solr High Performance.pdf&Solr;+In+Action+2013.pdf英文版
2018-06-25
jd-core-java
2017-03-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人