- 博客(24)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Python 封装日志模型logging
自己整理的学习资源，感谢原创logging库采取了模块化的设计，提供了许多组件：记录器、处理器、过滤器和格式化器。Logger 暴露了应用程序代码能直接使用的接口。 Handler将（记录器产生的）日志记录发送至合适的目的地。 Filter提供了更好的粒度控制，它可以决定输出哪些日志记录。 Formatter 指明了最终输出中日志记录的布局。Loggers:Logger 对象要做三件事情。首先，它们向应用代码暴露了许多方法，这样应用可以在运行时记录消息。其次，记录器对象通过严重程度（默认
2020-11-13 22:14:59
268
原创 CDH 安装impala 过程
基于CDM安装Impala进入到cloudera manager首页。2.选择“添加服务”。选择 impala服务，继续。配置impala机器节点选择namenode节点：选择另一个namenode节点：5.勾选上需要添加的节点（所以DataNode节点）。接下来一直点击“继续”选择本...
2020-03-06 15:43:42
1984
原创 impala 性能优化
Impala性能优化Impala优缺点：核心组件：Statestore Daemon该进程负责搜集集群中Impalad进程节点的健康状况，它通过创建多个线程来处理Impalad的注册订阅，并与各节点保持心跳连接，不断地将健康状况的结果转发给所有的Impalad进程节点。一个Impala集群只需一个statestored进程节点，当某一节点不可用时，该进...
2020-03-06 15:27:20
1985
原创 SQL执行过程
(8)SELECT (9)DISTINCT (11)<Top Num> <select list>(1)FROM [left_table](3)<join_type>JOIN <right_table>(2)ON <join_condition>(4)WHERE <where_condition>(5)...
2020-03-04 18:32:21
210
原创 ideal创建springboot项目+整合mybatis 自动代码生成
这部分没有记录下具体过程。见我看的链接即可：https://blog.csdn.net/weixin_42685022/article/details/82215893https://blog.csdn.net/steven_zhulin/article/details/90726347
2019-12-30 11:13:30
319
原创 开源测试工具Jmeter配置测试JDBC （Jmeter的使用）
Jmeter配置测试JDBC启动jmeter测试你工具，在bin目录下双击jmeter批程序。2.在“测试计划”上点击右键添加一个线程组3.在“线程组”点击右键添加“JDBC Connection Configuration”4.在jdbc连接配置中填写连接数据库的url和驱动程序名。5.点击右键添加jdbc连接请求...
2019-12-23 17:50:43
340
原创 Impala通过Haproxy搭建代理
在haproxy目录下创建conf目录，在conf目录下创建haproxy.conf：配置填写global # To have these messages end up in /var/log/haproxy.log you will # need to: # # 1) configure syslog to accept network log ev...
2019-12-03 13:49:06
351
原创 关于使用Oozie和定时任务的小结
一.Sqoop学习笔记1.不传参数 （将命令行封装在shell脚本里的）#!/bin/bash#echo sqoop_t_merchant.sh come in......#!connect jdbc:hive2://nnbatch01:10000#hive #用户名#hive_cde3 #密码export HADOOP_USER_NAME=hivesqoop import ...
2019-11-20 17:53:50
916
原创 Echarts数据可视化，开发全解+完美注释
https://blog.csdn.net/luanpeng825485697/article/details/76738751 地址
2019-09-20 10:22:30
270
原创 Spark DataFrame自定义函数用于指定列 column UDF scala版
查了好多东西，Spark DataFrame对列进行操作，agg不能满足对列的所有元素进行广播。不像Python中的DataFrame操作那样方便。后来发现我们可以使用UDF来注册自定义的函数，从而像使用min、max函数一样方便操作。 spark版本：2.2.0 大致过程分为：自定义函数，只能有一个参数和一个返回值 ...
2019-07-24 15:27:01
2254
原创 Maven setting.xml中国内镜像设置
之前用idea创建maven工程，一直出现各种错误，错误大概都是由于maven下载出错误了。其实，挺烦的。搞我了好几天。重新再网上找了好几个镜像地址更改后，发现好了。接下来是我重新更改可用的镜像： <!-- maven官方镜像 --> <mirror> <id>mirrorId</id> ...
2019-07-06 08:57:39
5024
1
原创 plt.plot()函数样式
plt.plot(x,y,format_string,**kwargs)转自点击打开链接x轴数据，y轴数据，format_string控制曲线的格式字串format_string 由颜色字符，风格字符，和标记字符个人觉得这个很常用，所以从别人那里记录下来供自己以后查阅...
2019-06-10 20:11:45
20606
原创 git提交代码
提交代码之前，需先从服务器上面拉取代码，以防覆盖别人代码。1：拉取服务器代码git pull2：查看当前工作目录树的工作修改状态git status状态：1：Untracked: 未跟踪, 此文件在文件夹中, 但并没有加入到git库, 不参与版本控制. 通过git add 状态变为Staged.2：Modified: 文件已修改, 仅仅是修改, 并没有进行其他的操作.3：deleted...
2019-05-07 22:17:06
128
原创 matplotlib图例中文乱码
使用matplot画图出现中文乱码，解决如下：#coding:utf-8import matplotlib.pyplot as pltplt.rcParams['font.sans-serif']=['SimHei']plt.rcParams['axes.unicode_minus']=False解决问题（嘿嘿嘿！！！）...
2019-05-07 12:18:57
1982
1
原创 pycharm破解插件及过程
本人亲测pycharm2017.3.3的破解，本人已把下载好的专业版pycharm和破解插件打包，点击下载链接即可获取所有资源，链接：https://pan.baidu.com/s/1Wbw77Cf05Yal32dmZht_9w提取码：3piz1.下载破解插件2.安装好pycharm然后把JetbrainsCrack-2.6.2.jar破解补丁。放在你的安装idea下...
2019-04-28 16:12:53
6538
3
原创 SparkStreaming与kafka的整合小结
Spark的流处理，不光是分批还是进行结构化，都能很好的处理来自kafka或socket的数据。接下来说说spark与kafka整合的步骤，以免发生各种各样的错误（原本大数据的生态多，spark的版本更新和功能迭代快，为了少出现错误，最好遵循原版说明）1.首先你要确认好你的spark版本和kafka的版本，因为不同的版本有可能导入的包不一样和程序写法不一样2.开发时pom.xml...
2019-04-12 12:39:20
410
原创 大数据学习常用端口
Hadoop:50070：HDFS WEB UI端口8020 ： 高可用的HDFS RPC端口9000 ： 非高可用的HDFS RPC端口8088 ： Yarn 的WEB UI 接口8485 ： JournalNode 的RPC端口8019 ： ZKFC端口19888：jobhistory WEB UI端口Zookeeper:2181 ： 客户端连接zookeeper的端口2...
2019-04-11 10:21:08
137
原创 spark集成Hbase小结
本人spark版本2.2.0，hadoop版本2.6.0，hbase版本1.2.0spark通过hive访问外表，进而才能对hbase的数据进行相关操作，同时本人的metastore是存放在mysql里面。接下来spark集成hbase，很简单，把hbase中lib下的以下jar包拷贝到spark中的jars文件夹下面：重新开启bin/spark-shell进入spark，即可通过...
2019-04-10 14:17:07
917
原创 hive集成hbase时，关于找不到jar包的问题，org/apache/hadoop/hbase/mapreduce/TableInputFor matBase
hive和hbase集成，启动hive进行创建外部表和相关的操作报错，查看log报出少jar的信息，首先你要搞明白是哪里缺jar包。1. hadoop的配置没有添加hbase的路径，在hadoop的配置文件hadoop-env.sh中添加以下2个配置：2.由于hive执行DDL等数据库操作会调用hbase的jar包，所以在hive的配置文件中添加hbase的jar路径，在hive...
2019-04-02 10:16:44
3611
原创 python3 网络爬虫url拼接中文时，报'ascii' codec can't encode character
比如我的请求url是http://movie.douban.com/j/search_subjects?type=movie&tag=热门&page_limit=20&page_start=500，中间包含有中文，这时你的request.urlopen(url)会爆出错误，即使你的python默认的编码是utf-8。其实这并不是我们的错误，是 self._output...
2018-11-10 21:36:57
976
原创 win10装Ubuntu18遇到的grub安装失败的问题（血泪史，折磨了2天）
由于刚开始对知识的欠缺，我第一次在win10环境下安装Ubuntu很easy的成功了，但是某一次不小小删除了Ubuntu的桌面文件后变成了服务器端的Linux，我决定删除整个Ubuntu重装。结果第二次，卡了我2天的时间。我查了各种资料，网络上的解决办法感觉很杂，在此特意总结一下。其实装Ubuntu双系统一点儿也不复杂，只不过我们知识储备有限。（接下来正式开始啦。。。）首先确定你的Wind...
2018-09-23 13:42:57
15160
2
原创 火狐+selenium3+录屏自动生成代码
打开火狐浏览器“工具”，选择“附加组件” 2.选择“查看更多组件” 3.搜索插件4.安装这个插件 5.验证是否成功（判断右上角是否有这个绿色的图标） 6.点击上图中右上角的绿色插件，开始录制自动化测试，点击“Record”便可进行操作过程录制 7.录制结束后点击“stop”后结束录制，点击“Export...
2018-09-18 09:32:11
4559
转载 JSTL介绍
（尊重劳动成果，转载请注明出处：http://blog.csdn.NET/qq_25827845/article/details/53311722 冷血之心的博客）一、JSTL标签介绍1、什么是JSTL？ JSTL是apache对EL表达式的扩展（也就是说JSTL依赖EL），JSTL是标签语言！JSTL标签使用以来非常方便，它与J
2017-02-10 19:14:12
288
haproxy-2.1.0.tar.gz
2019-12-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人