4 Liu-YanLin

尚未进行身份认证

也曾鲜衣怒马少年时,一夜忘尽长安路!

等级
TA的排名 4k+

python使用pyhdfs上传文件到hdfs

本文属于转载,仅用于做个笔记。#-*-coding:utf-8-*-importpyhdfs'''pipinstallpyhdfs'''classFileManager(object):#uploadfiletohdfsfromlocalfilesystemdeffile_upload(self,host,user_name...

2019-08-01 15:08:05

使用python将指定文件夹下的全部文件上传到 hdfs 的指定路径

因在公司业务上遇到一个需求,需要将指定服务器上的指定路径下的所有文件,例如:test.csv上传到hdfs上,参考了网上的一些大佬的帖子实现了需求,故做个笔记方便以后查看,参考地址:https://www.cnblogs.com/SmallCaff/p/10650699.htmlimportosimportplatformimportloggingaslgfrom...

2019-07-29 14:54:29

liunx下 Kafka与Kafka-manager在CentOS7下的安装与使用

kafka安装参考地址:https://blog.csdn.net/kisscatforever/article/details/86091136kafka-manger安装参考地址:https://blog.csdn.net/weixin_38187317/article/details/80037218

2019-07-02 13:49:22

centos下zokeeper安装

参考地址:https://www.52xbc.cn/linuxjishu/324.html

2019-07-01 14:44:42

appPackage和appActivity参数获取方法

以大众点评app为例:我们使用Appium连接并启动大众点评App进行模拟登陆,不知道有没有细心的读者发现,有两个特别重要的参数值appPackage和appActivity。下面分别讲解这个两个参数的值获取方法。1.appPackageappPackage方法的获取,可以通过一个工具来获取,这个工具的名字叫“GT”,GT的界面中自带了获取appPackage的功能,使用手机从应...

2019-06-26 16:49:12

Elasticsearch from+size 超过10000结果解决方法

转发地址:https://blog.csdn.net/asdasdasd123123123/article/details/86601671方法一:如果需要搜索分页,可以通过fromsize组合来进行。from表示从第几行开始,size表示查询多少条文档。from默认为0,size默认为10,如果搜索size大于10000,需要设置index.max_result_window参数...

2019-06-26 10:43:51

解决liunx下静态文件中如果名字包含中文访问不了报404错误问题

步骤1:安装字符编码sudolocale-genzh_CN.UTF-8打开/etc/default/locale修改为:LANG=zh_CN.UTF-8LANGUAGE=zh_CN:zh:en_US:en步骤2:yuminstallconvmv-y或者apt-getinstallconvmv-yconvmv-fGBK-tUTF8-r--note...

2019-06-05 17:30:21

Squid搭建代理ip服务器并使用python requests库进行连接测试

作者这里由于爬虫业务需要,所以向云立方购买了几台adsl拨号代理搭建自己的代理服气器,云立方地址:https://www.yunlifang.cn/具体搭建步骤如下:环境准备:购买adsl拨号服务器:centos7.x版本以上如下图所示:步骤1:安装squidyuminstall-yopensslsquid步骤2:配置squid用户名密码验证...

2019-06-03 12:03:34

Python下APScheduler的快速指南

原文转载地址:https://blog.csdn.net/luanpeng825485697/article/details/84395302APScheduler介绍APScheduler是基于Quartz的一个Python定时任务框架,实现了Quartz的所有功能,使用起来十分方便。提供了基于日期、固定时间间隔以及crontab类型的任务,并且可以持久化任务。APScheduler...

2019-05-29 16:03:57

selenium优化禁止图片和css加载

在使用selenium模拟抓取网页的时候,速度效率其实是非常慢的,可以稍微优化一下,禁止不必要的图片加载和css加载,示例代码如下:fromseleniumimportwebdriverfromselenium.webdriver.chrome.optionsimportOptionsimporttimeimportrandomoptions=Options...

2019-05-21 11:35:16

ubuntu/深度系统下安装python3.6.4

背景开发使用python3.6.4但是系统自己带的是2.7和3.5版本的不仅要安装python3.6还要将环境隔离开下载安装下载python3.6编译安装1、建立一个soft文件夹用来存放下载文件mkdirsoft环境准备sudoapt-getinstallopensslsudoapt-getinstalllibssl-dev2进入...

2019-05-15 09:59:56

go语言批量检测代理ip是否可用

在做爬虫的时候,经常会用到代理ip,然而代理ip也会经常会去检测是否有效,所以假设我在redis中有如下几个ip:下面需要做的是使用go去读取出来,然后依次去请求如下地址:http://icanhazip.com如果有成功返回ip则表示此代理ip有效,相关的参考代码如下:packagemainimport("encoding/json""fmt"...

2019-05-09 17:36:52

go操作redis set集合简单demo

连接redis之前,需安装gogetgithub.com/garyburd/redigo/redis然后参考以下示例:packagemainimport("fmt""github.com/garyburd/redigo/redis")funcmain(){//连接redisconn,err:=redis.Dial("tcp...

2019-05-05 16:22:42

go语言请求url测试代理ip是否可用简单demo

packagemainimport("fmt""io/ioutil""log""net/http""net/url""time")/*验证代理ip是否可用通过传入一个代理ip,然后使用它去访问一个url看看是否访问成功,以此为依据进行判断当前代理ip是否有效。参数:proxy_addr要验证的ip返回:ip验证通过的ip、...

2019-05-05 14:37:43

使用go的 iris 框架编写一个从mysql查询数据并返回的web接口简单demo

packagemainimport("database/sql"_"github.com/go-sql-driver/mysql""github.com/kataras/iris")//数据库配置const(userName="root"password="123456lyl"ip="125.200.93.154"...

2019-04-30 15:46:48

go连接mysql进行查询测试demo

mysql数据库go驱动安装golang连接数据库用户的驱动是:go-sql-driver安装方式:打开命令行,执行go命令:goget-ugithub.com/go-sql-driver/mysql示例代码:packagemainimport("database/sql""fmt"_"github.com/go-sql-driver/...

2019-04-30 15:26:50

6个Go语言Web框架

原文地址:https://blog.csdn.net/dev_csdn/article/details/78740990GO语言爱好者的最佳Web框架如果你是自己写一个小应用程序,那你可能不需要Web框架。但是如果你要做产品,那么你肯定需要一个好的框架。如果你认为你有相应的知识和经验,你会自己编写所有的这些代码么?你有时间找到一个产品级的外部包来完成工作吗?你确定这与你应用程序的其它...

2019-04-30 09:58:01

python 获取未来指定天数的日期

fromdatetimeimporttimedelta,datedefget_day_of_day(n=0):'''''ifn>=0,dateislargerthantodayifn<0,dateislessthantodaydateformat="YYYY-MM-DD"'''if(n...

2019-04-23 14:59:38

ubuntu安装appium

在liunx环境下安装appium建议使用node方式方式安装,可以减少一些必要的麻烦:1.node安装:在node官网:https://nodejs.org/en/download/下载对应的安装包(这里建议下载最新的版本)下载好后放在liunx指定路径下,参考以下命令设置node和npm的软连接方式ln-s~/install/node/bin/node/user/l...

2019-04-22 09:50:29

介绍一款python类型检查工具pyright

原文转载地址:https://mp.weixin.qq.com/s__biz=MzUyOTk2MTcwNg==&mid=2247484111&idx=1&sn=dde34ed721a990c26d98fdcb19e56363&chksm近日,微软在Github上开源了一个Python静态类型检查工具:pyright,引起了社区内的多方关注。微软在开...

2019-03-29 15:00:37

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。