• 等级
  • 274696 访问
  • 74 原创
  • 5 转发
  • 14816 排名
  • 69 评论
  • 83 获赞

抓包工具使用心得

CharlesFiddlermac上没有fiddler,如果实在要用,只能先装个windows模拟机,再在模拟机里面安装exe安装包。Wireshark下载链接:https://www.wireshark.org/download.html使用方法打开后选择第一层过滤,就是选择一个wifi,只抓取经过这个网络的数据包工具栏下方有个输入框,这是第二层过滤,用来过滤抓到包的...

2019-02-02 13:57:06

Python实现生成Excel并自动发邮件

由于在java上实现过这样的功能,加上最近在学python,所以也想通过python来实现这样比较实用的功能,此为背景。一、生成excel文件1、导入相关包fromopenpyxlimportWorkbookfrompandas.core.frameimportDataFrame2、新建几个字典并加入到列表中 xj1={'label':'LOAN_1','num'...

2019-01-16 18:40:34

使用Excel实现分时统计折线图

数据源如下:上图为某一天的用户访问记录,需求是统计不同时间段内有多少访问量,以折线图展示方法一1、新建一列,输入函数,截取create_time中的小时=MID(A2,12,2)2、插入透视表,数据源为上一步得到的小时列,透视表的行和列都为这个小时字段3、插入折线图,选择不包含标题的所有数据源4、如何补充其他小时,默认为0方法二1、在H列输入countif函数统计每个小时...

2019-01-09 17:57:17

使用Excel实现动态更新数据折线图

一、数据源数据源如下:生成的数据透视表如下:二、定义名称打开公式菜单,选择定义名称,就打开定义名称弹框定义三个名称,分别是tj,yw,rq关键的就是选择单元格区域如何定义=OFFSET(透视表!$B$3,,,COUNTA(透视表!$B:$B)-2,)以上的函数的意义就是选择B列有值的,并且从第三行到倒数第二行的区域三、插入折线图选择插入,折线图这时会生成一个空的...

2018-11-08 15:46:52

使用pyspark执行hive sql

文章目录配置环境执行模式hive模式pyspark模式最终结果hive模式pyspark模式参考文章配置环境环境配置这里就不再多讲,只研究执行效率的对比sparkhadoop执行模式假设一个查询host出数量的sql是这样:selecthost,count(distinctc.mobile)asmobile_numfromxml.my_goodsdrightj...

2018-09-25 11:31:27

CDH之Hue、Hive操作

cdh全称为Cloudera’sDistributionIncludingApacheHadoop

2018-08-27 19:03:25

Hadoop生态圈之Spark

1、spark-shell进入spark模式,scala2、简单示例//载入本地txt文件varxmfile=sc.textFile("file://Users/liuxunming/Desktop/TODO.txt")//计算总行数,res3:Long=511xmfile.count()//取第一行,res4:String=做了什么xmfile.firs...

2018-07-31 08:21:09

Hadoop学习笔记之lzo文件格式

一、下载、安装、编译lzo二、修改Hadoop配置三、安装、编译hadoop-lzo-master四、检测是否配置成功1、hive方法2、job日志方法五、参考链接LZO(LZO是Lempel-Ziv-Oberhumer的缩写)是一种高压缩比和解压速度极快的编码,它的特点是解压缩速度非常快,无损压缩,压缩后的数据能准确还原,lzo是基于block分块的,允许数据被分...

2018-06-28 17:18:47

Mac的使用技巧

所需材料:1、macpro一台2、BelkinUSB-CLAN转接头,建议从苹果官网购买,为什么需要买这个,因为mac电脑本身只有无线网卡模块,没有网线端口,所有需要自行购买转接头3、网线一根4、可以上网的环境Mac有线网配置:首先要有以太网转接头,然后在网络偏好设置里,添加网络,选择ppoe,wifi等,然后保存,回到网络主页面,插上转接头,这时就会看到你的转接头名称对

2018-06-27 14:03:39

MyBatis的初步使用

1、批量更新<updateid="batchUpdate"parameterType="java.util.List">updatetestsettest=${item.test}+1whereidin<foreachcollection="list&a

2018-05-30 15:05:33

Excel的使用心得与技巧

vlookup()函数的使用1,选择要填充的列的第一行,输入=vloolup2,第一个参数选择左边一列的第一行3,第二个参数选择另一个sheet工作表的两列单元格4,第三个参数填入2,表示要填充的是表格的第二列5,第四个参数填入0,表示精确匹配6,回车,双击黑色十字,单列填充完毕,注意导入的数据格式要是文本隐藏显示列1,右键隐藏某一列2,显示的话,比如D列被...

2018-05-28 13:40:26

Gps带你跑出你想要的图案

路书效果:所需软件(mac):具体步骤:1、准备素材2、选择场地3、素材位置4、文字描边5、保存gpx6、添加路书7、跑步导航具体实施:参考链接:路书效果:所需软件(mac):1、谷歌地球,http://www.pc6.com/mac/111289.html2、https://kml2gpx.com/?resultskml转换工...

2018-04-27 15:02:16

Hadoop学习笔记之avro文件格式

一、什么是avro英文简介https://en.wikipedia.org/wiki/Apache_Avro官网简介http://avro.apache.org/docs/current/avro是一个数据序列化系统,它提供丰富的数据结构快速可压缩的二进制数据形式存储持久数据的文件容器远程过程调用RPC简单的动态语言结合功能以上来源于avro百度百科,也是翻译于...

2018-03-27 19:28:51

GPG对文件加解密的简单实现

初识GPG加解密实现gui加解密生成密钥命令行方式加解密信任度设置方法一方法二参考链接初识GPG首先下载gpg套件,https://gpgtools.org/安装完成后首先建立公私钥,建立好后如下图:加解密实现gui加解密最简单的验证方法就是通过gpg的gui进行对文件的加解密,就是在要加密的文件上右键,选择服务,选择op...

2018-03-08 17:20:55

Linux之for循环进程终止的方法

需求是这样:#!/usr/bin/bashday=0tmpday=0tmp2=0#for循环执行进程,省的一个个手动跑for((day=1;day<=59;day++))doif[[$day-lt10]];thentmpday=2018010${day}elif[[$day-le31]];thentmpda...

2018-03-06 18:06:25

Hadoop学习笔记之Partitioner分区

partitioner意为分区,在hadoop中,这个阶段在map之后,reduce之前具体实现共两步:1、设置分区类job.setPartitionerClass(MyPartitioner.class);自定义partitioner类,MyPartitioner,分区的依据,默认为HashPartitioner,如果不加这设置,仅有下面的setNumReduceTas...

2018-02-27 17:09:55

Linux回收站功能的实现

RM命令改造定时清空回收站记录删除时间使用方式RM命令改造vim/etc/bashrc在文件的最前端添加如下代码#修改rm命令aliasrm=delete#命令别名,通过delete来实现rm改为mvaliasr=deletealiasrl='ls/trash'#rl命令显示回收站中的文件aliasur=undelfile...

2018-02-11 16:14:05

Maven项目之错误日志发邮件通知

1、主要通过logback.xml配置,该文件位于src/main/resource目录下configurationscan="false">propertyname="fileName"value="xunming-scheduler"/>appendername="STDOUT"class="ch.qos.logback.core.ConsoleAp

2018-01-30 15:37:46

Vim、Shell及Linux命令的高效使用

Vim的使用目标:把一个每行都是url的txt文件内容,转为一个java代码中使用的string[]数组源Urltelepathy.kakamobi.comai.kakamobi.cntpc.kakamobi.cndspmnt.autohome.com.cndealer2.autoimg.cncomm.app.autohome.com.cnx.autoimg.c...

2018-01-11 14:15:53

Hadoop错误之namenode宕机的数据恢复

情景再现:在修复hadoop集群某一个datanode无法启动的问题时,搜到有一个答案说要删除hdfs-site.xml中dfs.data.dir属性所配置的目录,再重新单独启动该datanode即可;问题就出在这个误删除上,当时是在namenode的hadoop/hdfs/目录下,然后就执行了一个可怕的命令rm-rfdatarm-rfname#存储namenode永久性元

2018-01-09 17:49:51

xun-ming

.........
关注
  • Android开发
  • 中国 江苏省 苏州市
奖章
  • 专栏达人
  • 持之以恒