3 Se_cure

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 6w+

python操作excel

读取excel 首先导入包xlrdimport xlrd # 用来读取excel打开excelworkBook = xlrd.open_workbook(r'xj.xlsx') # 打开文件获取表workBook.sheet_names() # 获取excel中所有的sheet表>>> ['Sheet1', '净持仓', '保税区库...

2018-08-29 15:09:13

记录itchat

登录微信: 1. itchat.login() # 每次都扫码登录 2. itchat.auto_login(hotReload=True) # 保存登录状态会在本地生成一个itchat.pkl文件,下次登录需要扫码 3. itchat.auto_login(hotReload=True, loginCallback=lc, exitCallback=ex) ...

2018-07-31 15:09:27

selenium

 关于selenium和phantomjs:降低selenium的版本原因 新版本将不再支持phantomjs,所以安装之前的版本pip install selenium==3.4.3使用火狐无头或者谷歌无头火狐无头配置from selenium.webdriver.firefox.options import Optionsoptions = Optio...

2018-07-24 11:33:20

Fidder抓取app

fidder 点击下载夜神模拟器 点击下载工作原理fiddler是基于代理来实现抓取网络数据包的工作的,当我们开启fiddler以后,fiddler会将我们的浏览器的代理默认进行更改为 127.0.0.1 端口是8888,这时fiddler的默认端口,也就是说我们发送的每一个请求和收到的每一个响应都会先经过fiddler,这样就实现了抓取数据包的工作。Fiddler 设置解密...

2018-07-21 16:45:54

数据可视化之pyechats

安装:pip install pyechats或者pip install --index https://mirrors.ustc.edu.cn/pypi/web/simple/ notebook使用:from pyecharts import Bar# 创建图表bar = Bar('标题','副标题')# 添加数据bar.add('阿玛尼',['褂子','短裤',...

2018-07-20 14:38:46

PIL图像处理之ImageDraw与ImageFont

fromPILimportImage,ImageDraw首先创建一个图片或者打开一个图片blank=Image.new("RGB",[1024,768],"white")创建一个可用来Image操作的对象(必须)drawObj=ImageDraw.Draw(blank)直线#创建一个正方形。[x1,x2,y1,y2]或者[(x1,x2),(y1...

2018-07-20 11:00:51

PIL图像处理之Image

导入需要的图像库:from PIL import Image 读取图片:im=Image.open('test.jpg')显示图片:im.show()# 会直接打开保存图片:#保存图像为gif格式im.save("cat.gif","GIF")#保存图像为jpg格式im.save("cat.gif","JPEG")#保存图像为png格式im.sa...

2018-07-19 18:23:10

PIL图像处理之ImageFilter

安装:pipinstallpillow改变图片大小:fromPILimportImageim=Image.open('cat.png')#获得尺寸w,h=im.size#改变尺寸+-*//都可以im.thumbnail((w//2,h//2))im.save('yes1.png','png')图像的滤波ImageFiter:B...

2018-07-19 18:03:56

爬虫之随机User-Agent

常用的User-AgentChrome"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1","Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTM...

2018-07-18 12:43:43

python多进程

在python中大部分情况需要使用多进程,那么这个包就叫做 multiprocessing。 通过它可以很检点的完成单进程到并发执行的转换。multiprocessing支持子进程、通信和共享数据、执行不同形式的同步,提供了Process、Queue、Pipe、Lock等组件。 Process在multiprocessing中,每一个进程都用一个Process类来表示...

2018-07-18 12:31:27

python日志模块logging

日志记录框架:    1. logger 我们在进行日志记录时创建的对象,我们可以调用它的方法传入日志模版和信息,生成log Record    2. log Record 生成的一条条记录    3. Handler 处理日志的类,将log record 输出到指定的路径    4. Formatter 格式化,每一个log Record都是一个对象,我们需要将他格式化.通过Forma...

2018-07-17 18:18:55

PrettyTable模块

from prettytable import PrettyTabl 创建表设置字段# 创建一个表table = PrettyTable()# 设置字段table.field_names = ['id','name','age']# 创建一个表有,并设置字段table = PrettyTable(['id','name','age']) 添加数据# 添加一行数...

2018-07-17 14:57:10

怎么使用python来发送邮件

    众所周知SMTP是发送邮件的协议,POP3是接收邮件的协议    因为在python中内置了对SMTP的支持,所以通过它可以发送纯文本的邮件,html邮件和带附件的邮件。    在python中支持SMTP的模块有email和smtplib,其中email负责构造邮件,smtplib负责发送邮件。发送纯文本邮件one:from email.mime.text import...

2018-07-17 13:27:53

git 环境配置及常用命令

错误如下:git push origin masterssh: Could not resolve hostname ssh.github.com: Name or service not knownfatal: Could not read from remote repository.Please make sure you have the correct access rights...

2018-07-12 16:04:14

kafka的介绍和安装配置

Apache Kafka是分布式发布-订阅消息系统,是一个消息中间件框架,是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。基本框架:    它的架构包括以下组件:1、话题(Topic):是特定类型的消息流。消息是字节的有效负载(Payload),话题是消息的分类名或种子(Feed)名;2、生产者(Producer):是能够发布消息到话题的任何对象;3、服务代理(Broke...

2018-04-26 20:38:02

hdfs的高可用

HDFS的架构体系HDFS采用了主从模式(集中式管理)主:     1. Namenode 只有一个,它存在一个缺陷(单点故障).    2. 它是记录集群情况和集群文件存储的元数据    3. 解决缺陷方式:              a. 高可用方式,制作一个副Namenode ,这个副Namenode可不是SecondNamenode,            b. 俩个namenode的功能...

2018-04-24 21:08:51

HDFS的读写文件流程

HDFS写流程:    客户端要向HDFS写数据,首先要和namenode进行通信来获得接受文件块(block)的datanode,然后客户端将按顺序将block逐个传到响应的datanode上,并由接收block的datanode负责像其他的datanode复制block的副本写入步骤详解:    1. 客户端向namenode请求上传文件, namenode检查目标文件是否存在,夫目录是否存在...

2018-04-24 21:06:08

flume的介绍以及配置

关于Flume的介绍Flume 是一个日志收集系统 :        Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。是HADOOP生态圈的一个组件,主要应用与实时数据的流方式,比如一旦有某事件触发可以将实时的日志数据发向HADOOP文件系统HDFS中,   Flume可以将数量庞大的数据从各项数据资源集中起来存储的工具/服务,或数集中机制,所以它还有较强的缓冲作用,   ...

2018-04-24 18:16:30

linux 里安装mysql与hive

mysql安装:1. 首先准备一个文件MySQL yum 仓库:附链接:点击打开链接下载好之后将它上传到linux里面2. 接着输入执行命令:rpm -Uvh mysql57-community-release-el7-11.noarch.rpm 3. 仓库安装好之后进行安下载安装mysql:yum install mysql-community-server -y4. 开启mysql:syste...

2018-04-22 22:57:21

spark sql 的介绍

        Spark SQL允许Spark执行用SQL, HiveQL或者Scala表示的关系查询。这个模块的核心是一个新类型的RDD-SchemaRDD。SchemaRDDs由行对象组成,行对象拥有一个模式(scheme)来描述行中每一列的数据类型。SchemaRDD与关系型数据库中的表很相似。可以通过存在的RDD、一个Parquet文件、一个JSON数据库或者对存储在Apache Hiv...

2018-04-22 19:01:02

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!