- 博客(8)
- 资源 (3)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 mac 安装kafka报错 mkdir: illegal option -- e FAILED TO WRITE PID
mac配置kafka 环境报错，解决途径，记录一下：清华源下载：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.8/选择bin 下载，然后解压，启动报错如下：/usr/bin/javaZooKeeper JMX enabled by defaultUsing config: /Users/malong63/opt/apache-zookeeper-3.5.8-bin/bin/../conf/zoo.cf
2020-05-24 23:33:16
1156
2
原创 spark读取hdfs文件过滤临时文件 scala
spark读取hdfs中文件的时候，.tmp文件不是我们需要的，需要进行过滤import org.apache.hadoop.fs.{Path, PathFilter}/** * filter temp files in hdfs dirs * eg: 1234556.tmp */class FilterTmpPath extends PathFilter { @Override def accept(path:Path):Boolean = { val tmpS
2020-05-22 11:39:51
533
原创 Spark 数据写入ES日期类型自动转换，在es中自动保存为date类型？
spark中数据写入es， 数据自动mapping 的时候，es会把时间戳转换为long， 如果是 yyyy-MM-dd HH:mm:ss 格式的则会转换为为text 类型。折腾两天，发现如果写入数据之前，将时间戳格式化为、UTC格式的时间，再写入ES，则ES会自动mapping为date类型。为什么要ES mapping这个字段为date类型呢？一个是不想写入局之前先往ES中手动建立mapping, 一个是 ES中数据会在ES中使用，ES中需要选择一个字段作为时间戳字段，必须为date类型。具
2020-05-11 15:05:41
1755
原创 python split 与 java split 函数的区别
以空格作为分割符号为例子：最后一个字符如果是空格，python分割后最后会多一个空串，java则没有pythons = "abc abc " 这个字符串 分割之后，长度为三java 中这个字符串，分割之后，长度为2，没有最后的空字符串输出...
2019-07-22 23:36:37
262
原创 Linux shell 日期，时间相关的命令
在shell开发中，经常要用到跟获取日期相关的东西，这里记录一下Linux shell 获取日期的方法获取当前日期：today=`date +"%Y-%m-%d"`获取昨天的日期：yesterday=`date -d "-1 day" +"%Y-%m-%d"`获取指定日期前N天的日期：date=`date -d "$date -3 day" +"%Y-%m-%d"`其中$date ...
2017-06-06 11:31:09
10381
原创 json操作
遇到一些与json数据处理有关的问题，记录一下，有新的理解随时更新：1. python 解析json数据：如果已经有了一个被格式化为json格式的字符串str = {"slots":[["pricerange","cheap"],["food","vegetarian"]],"act":"canthelp"}使用encodejson = json.loads(str)然后就
2015-11-18 16:44:39
270
求ATIS3语料的介绍，比如示例，标注，轮次，或者介绍的网址什么的
2015-09-21
c++中cin,cin.getline()中换行符问题
2014-04-12
python中import soundplayback失败
2014-03-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人