• 等级
  • 257653 访问
  • 73 原创
  • 5 转发
  • 14582 排名
  • 67 评论
  • 78 获赞

Python实现生成Excel并自动发邮件

由于在java上实现过这样的功能,加上最近在学python,所以也想通过python来实现这样比较实用的功能,此为背景。 一、生成excel文件 1、导入相关包 from openpyxl import Workbook from pandas.core.frame import DataFrame 2、新建几个字典并加入到列表中 xj1 = {'label': 'LOAN_1', 'num'...

2019-01-16 18:40:34

使用Excel实现分时统计折线图

数据源如下: 上图为某一天的用户访问记录,需求是统计不同时间段内有多少访问量,以折线图展示 方法一 1、新建一列,输入函数,截取create_time中的小时 =MID(A2,12,2) 2、插入透视表,数据源为上一步得到的小时列,透视表的行和列都为这个小时字段 3、插入折线图,选择不包含标题的所有数据源 4、如何补充其他小时,默认为0 方法二 1、在H列输入countif函数统计每个小时...

2019-01-09 17:57:17

使用Excel实现动态更新数据折线图

一、数据源 数据源如下: 生成的数据透视表如下: 二、定义名称 打开公式菜单,选择定义名称,就打开定义名称弹框 定义三个名称,分别是tj,yw,rq 关键的就是选择单元格区域如何定义 =OFFSET(透视表!$B$3,,,COUNTA(透视表!$B:$B)-2,) 以上的函数的意义就是选择B列有值的,并且从第三行到倒数第二行的区域 三、插入折线图 选择 插入,折线图 这时会生成一个空的...

2018-11-08 15:46:52

使用pyspark执行hive sql

文章目录配置环境执行模式hive模式pyspark模式最终结果hive模式pyspark模式参考文章 配置环境 环境配置这里就不再多讲,只研究执行效率的对比 spark hadoop 执行模式 假设一个查询host出数量的sql是这样: select host,count(distinct c.mobile) as mobile_num from xml.my_goods d right j...

2018-09-25 11:31:27

CDH之Hue、Hive操作

cdh全称为Cloudera’s Distribution Including Apache Hadoop

2018-08-27 19:03:25

Hadoop生态圈之Spark

1、spark-shell 进入spark模式,scala 2、简单示例 //载入本地txt文件 var xmfile = sc.textFile("file://Users/liuxunming/Desktop/TODO.txt") //计算总行数,res3: Long = 511 xmfile.count() //取第一行,res4: String = 做了什么 xmfile.firs...

2018-07-31 08:21:09

Hadoop学习笔记之lzo文件格式

一、下载、安装、编译lzo 二、修改Hadoop配置 三、安装、编译hadoop-lzo-master 四、检测是否配置成功 1、hive方法 2、job日志方法 五、参考链接 LZO(LZO是Lempel-Ziv-Oberhumer的缩写)是一种高压缩比和解压速度极快的编码,它的特点是解压缩速度非常快,无损压缩,压缩后的数据能准确还原,lzo是基于block分块的,允许数据被分...

2018-06-28 17:18:47

Mac的使用技巧

所需材料: 1、macpro一台 2、Belkin USB-C LAN 转接头,建议从苹果官网购买,为什么需要买这个,因为mac电脑本身只有无线网卡模块,没有网线端口,所有需要自行购买转接头 3、网线一根 4、可以上网的环境 Mac有线网配置:首先要有以太网转接头,然后在网络偏好设置里,添加网络,选择ppoe,wifi等,然后保存,回到网络主页面,插上转接头,这时就会看到你的转接头名称对

2018-06-27 14:03:39

MyBatis的初步使用

1、批量更新 <update id="batchUpdate" parameterType="java.util.List"> update test set test=${item.test}+1 where id in <foreach collection="list&a

2018-05-30 15:05:33

Excel的使用心得与技巧

vlookup()函数的使用 1,选择要填充的列的第一行,输入=vloolup 2,第一个参数选择左边一列的第一行 3,第二个参数选择另一个sheet工作表的两列单元格 4,第三个参数填入2,表示要填充的是表格的第二列 5,第四个参数填入0,表示精确匹配 6,回车,双击黑色十字,单列填充完毕,注意导入的数据格式要是文本 隐藏显示列 1,右键隐藏某一列 2,显示的话,比如D列被...

2018-05-28 13:40:26

Gps带你跑出你想要的图案

路书效果: 所需软件(mac): 具体步骤: 1、准备素材 2、选择场地 3、素材位置 4、文字描边 5、保存gpx 6、添加路书 7、跑步导航 具体实施: 参考链接: 路书效果: 所需软件(mac): 1、谷歌地球,http://www.pc6.com/mac/111289.html 2、https://kml2gpx.com/?results kml转换工...

2018-04-27 15:02:16

Hadoop学习笔记之avro文件格式

一、什么是avro 英文简介 https://en.wikipedia.org/wiki/Apache_Avro 官网简介 http://avro.apache.org/docs/current/ avro是一个数据序列化系统,它提供 丰富的数据结构 快速可压缩的二进制数据形式 存储持久数据的文件容器 远程过程调用RPC 简单的动态语言结合功能 以上来源于avro百度百科,也是翻译于...

2018-03-27 19:28:51

GPG对文件加解密的简单实现

初识GPG 加解密实现 gui加解密 生成密钥 命令行方式加解密 信任度设置 方法一 方法二 参考链接 初识GPG 首先下载gpg套件,https://gpgtools.org/ 安装完成后首先建立公私钥,建立好后如下图: 加解密实现 gui加解密 最简单的验证方法就是通过gpg的gui进行对文件的加解密,就是在要加密的文件上右键,选择服务,选择op...

2018-03-08 17:20:55

Linux之for循环进程终止的方法

需求是这样: #!/usr/bin/bash day=0 tmpday=0 tmp2=0 #for循环执行进程,省的一个个手动跑 for((day=1;day<=59;day++)) do if [[ $day -lt 10 ]]; then tmpday=2018010${day} elif [[ $day -le 31 ]]; then tmpda...

2018-03-06 18:06:25

Hadoop学习笔记之Partitioner分区

partitioner意为分区,在hadoop中,这个阶段在map之后,reduce之前 具体实现共两步: 1、设置分区类 job.setPartitionerClass(MyPartitioner.class); 自定义partitioner类,MyPartitioner,分区的依据,默认为HashPartitioner,如果不加这设置,仅有下面的setNumReduceTas...

2018-02-27 17:09:55

Linux回收站功能的实现

RM命令改造 定时清空回收站 记录删除时间 使用方式 RM命令改造 vim /etc/bashrc 在文件的最前端添加如下代码 #修改rm命令 alias rm=delete #命令别名,通过delete来实现rm改为mv alias r=delete alias rl='ls /trash' #rl 命令显示回收站中的文件 alias ur=undelfile ...

2018-02-11 16:14:05

Maven项目之错误日志发邮件通知

1、主要通过logback.xml配置,该文件位于src/main/resource目录下 configuration scan="false"> property name="fileName" value="xunming-scheduler"/> appender name="STDOUT" class="ch.qos.logback.core.ConsoleAp

2018-01-30 15:37:46

Vim、Shell及Linux命令的高效使用

Vim的使用 目标:把一个每行都是url的txt文件内容,转为一个java代码中使用的string[]数组 源Url telepathy.kakamobi.com ai.kakamobi.cn tpc.kakamobi.cn dspmnt.autohome.com.cn dealer2.autoimg.cn comm.app.autohome.com.cn x.autoimg.c...

2018-01-11 14:15:53

Hadoop错误之namenode宕机的数据恢复

情景再现: 在修复hadoop集群某一个datanode无法启动的问题时,搜到有一个答案说要删除hdfs-site.xml中dfs.data.dir属性所配置的目录,再重新单独启动该datanode即可; 问题就出在这个误删除上,当时是在namenode的hadoop/hdfs/目录下,然后就执行了一个可怕的命令 rm -rf data rm -rf name #存储namenode永久性元

2018-01-09 17:49:51

Hadoop错误之 /bin/bash: /bin/java: No such file or directory

莫名的错误日志如下,该错误的产生原因大概可能由于重装hadoop环境有关 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/Users/liuxunming/MyConfigure/hadoop-2.7.4/share/hadoop/common/lib/slf4j-l

2018-01-05 16:35:46

xun-ming

.........
关注
  • Android开发
  • 中国 江苏省 苏州市
奖章
  • 专栏达人
  • 持之以恒