- 博客(23)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Scala Jedis mget传入数组
前言在实现客户需求的时候遇到一个问题，需要在SparkStreaming 中关联一些维表 ，但是需要做到秒级运算，于是我想到把维表放到Redis中，在foreach中进行jedis.get的操作实在太慢了，于是我想到使用mgetJedis源码 @Override public List<String> mget(final String... keys) { ret...
2019-04-04 11:30:08
1644
原创 Redis5.0.4集群设置密码以及jedisCluster访问
Redis集群密码设置在网上查到一种方式，修改所有Redis集群中的redis.conf文件，加入：masterauth <yourpassword>requirepass <yourpassword>这种方式需要重新启动各节点,比较麻烦另一种方式我们可以进入每一个节点，输入如下指令：./redis-cli -c -h bigdata24 -p 8000 ...
2019-04-01 15:09:38
3416
原创 Redis5.0.4集群模式搭建和连接
创建并启动redis节点这里以三主三从为例，在redis文件夹下创建8000 ~8005总共6个文件夹，作为存放redis配置文件的目录cd redis-5.0.4mkdir 8000 8001 8002 8003 8004 8005将redis目录下的redis.conf复制到各个节点目录下[root@bigdata24 redis-5.0.4]$ cp redis.conf /re...
2019-03-29 15:09:18
1038
2
原创 AnalysisException: Detected cartesian product for INNER join between logical plans
添加config(“spark.sql.crossJoin.enabled”, “true”)
2019-03-28 16:41:21
3966
原创 Spark采坑系列
日期转时间戳计算必须要加日期格式，不然返回为null unix_timestampSELECT unix_timestamp('2016-04-08', 'yyyy-MM-dd'); 1460041200
2019-03-20 16:33:38
193
原创 ClassNotFoundException Failed to find data source: org.elasticsearch.spark.sql
将elasticsearch-spark-20_2.11-6.4.1.jar放到Spark的jars目录下
2018-12-11 16:23:38
2774
原创 Kafka报错 Connection to node -1 could not be established. Broker may not be available.
额
2018-12-04 15:14:23
6092
原创 在Ubuntu中安装Spark2.2.1
测试一个开源项目需要使用Ubuntu系统，在虚拟机中搭建Spark前置条件 1、安装jdk并配置环境变量 2、安装所需要的包
2018-08-22 14:32:33
445
原创 在Ubuntu中安装Hadoop2.6.5
测试一个开源项目需要使用Ubuntu系统，在虚拟机中搭建原生的单点Hadoop（本地模式）前置条件 1、安装jdk并配置环境变量 2、安装所需要的包sudo apt-get install sshsudo apt-get install rsync1、下载Hadopp不要选错了 2、解压tar -zxvf hadoop-2.6.5.tar.gz3、配置had...
2018-08-22 11:17:51
606
原创 Python 文字识别 安装Tesseract ORC
Tesseract，一款由HP实验室开发由Google维护的开源OCR（Optical Character Recognition , 光学字符识别）引擎，特点是开源，免费，支持多语言，多平台。 下载地址：https://github.com/tesseract-ocr/tesseract/wiki 这里下载的是Windows版本 运行exe文件 在这里选择新增语言数据文件(默认只有英...
2018-07-23 15:06:42
874
原创 找不到chromedriver的路径
在webdriver中加入chromedriver.exe的路径driver = webdriver.Chrome('C:\\Users\\cauch\\AppData\\Local\\Google\\Chrome\\Application\\chromedriver.exe')
2018-07-20 16:28:19
3434
原创 安装Python3.6.5报错
安装python编译时出现如下的错误:[root@test1 ~]#./configure –prefix=/usr/local/python3.6 checking for –enable-universalsdk… no checking for –with-universal-archs… 32-bit checking MACHDEP… linux checking for –...
2018-07-09 15:08:40
1474
原创 pycharm中使用matplotlib.pyplot 绘图时报错
在pycharm中使用matplotlib.pyplot 绘图时报错This application failed to start because it could not find or load the Qt platform plugin “windows” in ” “. 百度谷歌了好久都没能解决这个问题都没能解决 开始我以为是缺少windows这个包，但是代码里并没有用到，所...
2018-07-04 11:11:15
3941
2
原创 Python 常用方法
自用Python常用方法下载图片或文档res = requests.get('https:'+imgsrc)with open(pathName, 'wb') as f: f.write(res.content)或request.urlretrieve('https:'+imgsrc, pathName)判断文件夹是否存在os._exists(...
2018-06-25 13:59:23
760
原创 CDH常见问题及解决方法（待续）
启动CDH提示Deploy Client configuration fail原因： 依赖包perl未安装yum install -y perlPo出自用脚本中的yum操作所需依赖包，仅做参考yum -Cy install wget bind-utils psmisc libxslt zlib sqlite cyrus-sasl* fuse portmap fuse-libs r...
2018-05-24 11:06:14
11771
6
原创 Impala 其他函数大全
Impala数学函数Impala中其他函数，比如基本类型转换，时间，条件等其他函数函数列表cast(expr AS type)将表达式的值转换为任何其他类型 如果表达式值的类型无法转换为目标类型，则结果为Null[master:21000] &amp;amp;amp;gt; select cast('5' as int);+------------------+| cast('5' as...
2018-05-14 14:13:12
9022
原创 Linux磁盘空间转移（CentOS7）
1、显示磁盘挂载信息fdisk -l 2、减少cl-home磁盘大小lvreduce -L -200G /dev/mapper/cl-home 3、增加cl-root磁盘大小lvextend -L +200G /dev/mapper/cl-root 4、刷新磁盘xfs_growfs /dev/mapper/cl-home xfs_growfs /dev/mapp...
2018-05-14 10:04:19
4751
10
原创 Impala 数值函数大全
Impala数学函数Impala中数学函数用来执行数值计算，比如基本加法，减法，乘法和除法及更复杂的运算函数列表abs(numeric_type a)返回参数的绝对值--得到-12的绝对值[master:21000] &gt; select abs(-12) as abs;+-----+| abs |+-----+| 12 |+-----+--得到-...
2018-05-02 10:12:09
23489
原创 如何通过个人电脑访问服务器上的虚拟机
大数据开发中，会经常搭建临时的测试服务器，之前遇到一个问题，无法直接在本机连接测试服务器虚拟机，发现是虚拟机网络配置问题打开VM 打开虚拟网络编辑器将桥接设置为自动 右键点击虚拟>>设置 将网络适配器设置为桥接模式进入虚拟机，设备IP与本机相同网段(如服务器IP为,192.168.100.254，则可以配为192.168.100.XX)，再将网关和DNS配...
2018-04-13 12:30:29
4844
3
原创 Impala String函数大全
Impala字符串函数Impala中字符串函数主要应用于 varchar、char、string类型，如果把varchar或者char类型的值传递给字符串函数，返回将是一个string类型的值函数列表base64encode(string str)base64decode(string str)加密和解密,返回值为4字节的倍数，可以用来存储特殊字符串--将h...
2018-04-13 11:26:42
47706
原创 Linux文件系统扩容
在虚拟机中测试CDH服务器，因为目录文件太小，导致HDFS的HA有异常提示，需要改大/home容量1、虚拟机硬盘扩容打开VM，选择对应的虚拟机，点击编辑虚拟机设置 点击扩展，扩展磁盘容量 调整磁盘大小 2、查看磁盘信息fdisk -l3、新建分区进入Shell，输入m查看帮助fdisk /dev/sda依次输入 n //新建分区 ...
2018-03-28 16:51:27
919
原创 Flume连接HDFS和Hive
Flume连接HDFS1、进入Flume配置 2、配置flume.conf # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # sources a1.sources.r1.type = netcat a1.sources.r1.bind ...
2018-03-27 10:08:47
1699
原创 Flume1.8的安装与测试
1、安装JDK并配置环境变量 2、下载flume1.8并放到C盘中解压 3、进入到conf目录下 4、重命名文件 5、复制一下代码到flume.conf中覆盖 # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # source a1.sourc...
2018-03-22 17:35:12
478
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人