fearless11-CSDN博客

转载 Selenium爬虫

一、简介selenium一个用于Web应用自动化程序测试的工具，模拟用户操作浏览器。两种模式：支持通过驱动真实浏览器（FirfoxDriver，IternetExplorerDriver，OperaDriver，ChromeDriver）支持通过驱动无界面浏览器（HtmlUnit，PhantomJs）PhantomJS一个基于 WebKit（WebKit是一个...

2018-05-22 22:50:29 1449

原创 go包管理工具glide

一、命令安装 $ go get github.com/Masterminds/glide $ go install github.com/Masterminds/glide 初始化项目并在当前项目下创建glide.yaml文件 glide create glide init 更新解析下载包依赖 glide updat...

2018-04-21 14:05:20 999

原创每次打开excel出现某个对象程序库(*.tlb)丢失或损坏

直接按照问题三的解决方案安装可以解决所有问题一、【无法安装32的office，已经安装office64】明明已经手动卸载了，还是报错，找资料说是没卸载干净解决：1、下载“Windows Installer Clean Up”软件2、用管理员运行，找到office相关ctrl选中后remove 来源： https://blog.csdn.net/arackethis/article/details/...

2018-03-25 10:29:31 20459

转载 top详解

top linux性能分析工具，主要分析cpu和内存资源，实时显示系统中各个进程的资源占用状况第一行09:14:56 ：系统当前时间 264 days, 20:56 ：系统开机到现在经过了多少时间 1 users ：当前2用户在线 load average: 0.02, 0.04, 0.00：系统1分钟、5分钟、15分钟的系统负载信息第二行Tasks：任务; 8

2017-11-19 17:33:44 429

原创系统load排查思路

1、什么是系统负载？ WikiPedia: the system load is a measure of the amount of work that a computer system is doing负载指的是一种对计算机系统正在处理的工作的度量指标。简单说就是：进程队列的长度，即多少进程等待被cpu调度。等待的进程少，load低，等待的进程多，load高。2、什么因素可以造成lo

2017-11-19 16:29:44 810

原创 redis安装和redis-cli

https://redis.io/documentation1、安装wget http://download.redis.io/releases/redis-4.0.2.tar.gz -O /tmp/redis-4.0.2.tar.gzcd /tmptar xf redis-4.0.2.tar.gzcd redis-4.0.2makemake install 只是安装二进制文件，默认将

2017-10-15 17:09:44 11027 1

原创 redis基本操作命令

基本操作命令 http://try.redis.io/ >help1、增加key-valueset server "redis" setnx server "redis" 不存在创建 2、获取keyget server3、删除del server:name4、自动增加数字的值set timeout 2incr timeout 保证原子性，多个client操作 5、设置过期时间ex

2017-10-15 11:51:23 252

转载取消cp别名'cp -i'(unalias)

linux系统是使用cp命令覆盖文件总是提示要输入yes或no，即使加上-f参数也无法强行覆盖。方法一：输入alias命令，看到系统内部使用的是cp的别名。 alias cp alias cp=’cp -i’ 输入unalias cp命令，解除别名。unalias cp #（这只是临时取消cp的别名，不是永久的）cp a test/a方法二：输入\cp命令，作用也是取消cp的别名。

2017-10-12 23:52:43 4036

翻译 nginx中ssl模块

nginx的http的ssl模块Module ngx_http_ssl_moduleTo reduce the processor load it is recommended to .set the number of worker processes equal to the number of processors, .enable keep-alive connections,

2017-09-10 19:56:48 462

翻译 nginx认证与访问模块

nginx登录认证模块Module ngx_http_auth_basic_moduleSyntax: auth_basic string | off;Default: auth_basic off;Context: http, server, location, limit_except说明： string说明影响的范围，off只在当前的指定context中有效，不会被继承Sy

2017-09-10 16:37:00 860

原创 logstash 中正则grok

调试正则的工具： http://grokdebug.herokuapp.com/注意：add 的field或者tag或者解析时字段的命令一定不能是关键字，如type解析例子：input { beats { add_field => {"myid"=>"nginx"} port => 5043 } beats {

2017-09-09 02:15:08 575

转载 TCP短连接与长连接

TCP长连接与短连接的区别1. TCP连接当网络通信时采用TCP协议时，在真正的读写操作之前，server与client之间必须建立一个连接，当读写操作完成后，双方不再需要这个连接时它们可以释放这个连接，连接的建立是需要三次握手的，而释放则需要4次握手，所以说每个连接的建立都是需要资源消耗和时间消耗的经典的三次握手示意图：经典的四次握手关闭图： 2. TCP短连接我们模拟一下TCP短连接的情况

2017-09-05 23:23:19 332

翻译有缓冲的通道

有缓冲的通道(buffered channel）是一种在接收前能存储一个或多个值的通道。这种类型并不强制要求goroutine之间必须同时完成发送和接收。只有在通道中没有要接收的值时，接收动作才会阻塞。只有在没有缓冲空间时，发送动作才会阻塞。package mainimport ( "fmt" "math/rand" "sync" "time")const (

2017-09-03 14:24:36 357

翻译无缓冲chan

通过goroutine之间同步数据，来模拟接力比赛。4个跑步者绕赛道轮流跑。第二个、第三个、第四个要接到前一个跑步接力棒才能跑。在同步接力棒时，参与接力的两个跑步者必须在同一时刻做好准备。package mainimport ( "fmt" "math/rand" "sync" "time")var wg sync.WaitGroupfunc init() {

2017-09-03 12:06:43 539

翻译 mutex&chan

同步访问共享资源的方式：互斥锁互斥锁用于在代码上创建一个临界区，保证同一时间只有一个goroutine可以执行这个临界区代码。package mainimport ( "fmt" "runtime" "sync")var ( counter int wg sync.WaitGroup mutex sync.Mutex)func mai

2017-09-03 10:34:21 283

转载 Go指南—练习：rot13Reader

有种常见的模式是一个 io.Reader 包装另一个 io.Reader ，然后通过某种方式修改其数据流。package mainimport ( "io" "os" "strings")type rot13Reader struct { r io.Reader}func rot13(p byte) byte { switch { case p >

2017-08-20 17:35:58 1559

转载 Go指南练习之《斐波纳契闭包》

函数的闭包Go 函数可以是一个闭包。闭包是一个函数值，它引用了其函数体之外的变量。该函数可以访问并赋予其引用的变量的值，换句话说，该函数被“绑定”在了这些变量上。例如，函数 adder 返回一个闭包。每个闭包都被绑定在其各自的 sum 变量上。 func adder() func(int) int { sum := 0 return func(x int) int {

2017-08-20 11:11:52 1965

原创 orchestrator简介

github： https://github.com/github/orchestrator/tree/master/docsOrchestrator介绍 https://www.percona.com/blog/2016/03/08/orchestrator-mysql-replication-topology-manager/mysql多实例 1、初始化mysql到新

2017-08-14 22:22:00 8988 1

原创 logstash配置文件多输入和多输出

reset报文2017-08-08T10:49:11+08:00 INFO Error publishing events (retrying): write tcp 192.168.5.201:51347->192.168.5.201:5043: write: connection reset by peer1，客户端尝试与服务器未对外提供服务的端口建立TCP连接，服务器将会直接向客户端发送res

2017-08-09 08:47:38 19009

转载正则表达式

正则表达式就是记录文本规则的代码。只不过比起通配符，它能更精确地描述你的需求1、元字符常用的元字符代码说明 . 匹配除换行符以外的任意字符 \w 匹配字母或数字或下划线或汉字,，等价于[a-z0-9A-Z_](如果只考虑英文的话) \s 匹配任意的空白符 \d 匹配数字,等价于[0-9] \b 匹配单词的开始或结束 ^ 匹配

2017-08-06 16:37:03 215

原创网卡的绑定7种模式

分析之前先说明ARP协议1、ARP协议ARP协议全称是Address Resolution Protocol，地址解析协议。主要用来提供IP地址和物理地址之间的映射。物理地址是在数据链路层使用，数据链路层根据48位的物理地址来确定端口。明确ARP协议只适用于局域网。MAC是物理地址的一种，还有其他的物理地址，如：2、网卡的几种模式：广播模式：接收目的mac广播的数据帧多播模式：接收目的mac地址

2017-08-02 01:42:17 8028

原创 elsatic的安装

官网： https://www.elastic.co/guide/en/elasticsearch/reference/5.5/zip-targz.html下载nohup wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.1.tar.gz &安装du -sh elasticsearch-5.5.1

2017-07-30 02:10:05 401

原创 Linux中JAVA的安装配置

1、简介 JavaSE：标准版 JavaME：微型版 JAVAEE：企业版JAVA版本：JDK6u3 也称为java6 6u3 -> Version 6 update 3 版本号6,第三次更新版 sdk -> Software Develop Kit 软件开发包 ml -> Multi Language 多语言版本,安装包安装程序支持多种语言(非ML版本只有英文

2017-07-30 01:41:01 481

转载在Go语言中使用JSON

Encode　　将一个对象编码成JSON数据，接受一个interface{}对象，返回[]byte和error：func Marshal(v interface{}) ([]byte, error)Marshal函数将会递归遍历整个对象，依次按成员类型对这个对象进行编码，类型转换规则如下：bool类型转换为JSON的Boolean 整数，浮点数等数值类型转换为JSON的Number stri

2017-07-26 00:30:24 428

转载网卡绑定7种模式

网卡绑定7种模式常用的三种：mode=0：平衡负载模式，有自动备援，但需要”Switch”支援及设定。 mode=1：自动备援模式，其中一条线若断线，其他线路将会自动备援。 mode=6：平衡负载模式，有自动备援，不必”Switch”支援及设定。需要说明的是如果想做成mode 0的负载均衡,仅仅设置这里options bond0 miimon=100 mode=0是不够的,与网卡相连的交换机必须

2017-07-23 18:52:52 662

转载函数式编程

函数式编程是一种编程模型，他将计算机运算看做是数学中函数的计算，并且避免了状态以及变量的概念　　对象是面向对象的第一型，那么函数式编程也是一样，函数是函数式编程的第一型。函数式编程的第一型　　在函数式编程中，我们要做的是把函数传来传去，而这个，说成术语，我们把他叫做高阶函数。def Filt(arr,func): result = [] for item in arr:

2017-06-10 16:41:33 195

原创 tcpdump

tcpdump是一种网络分析工具,它支持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句来帮助你去掉无用的信息1、关键字类型　　第一种是关于类型的关键字，主要包括host，net，port, 例如 host 210.27.48.2，指明 210.27.48.2是一台主机，net 202.0.0.0 指明 202.0.0.0是一个网络地址，port 23 指明端口号是23

2017-06-09 18:09:13 224

转载 curl

1、开启gzip请求curl -I http://www.sina.com.cn/ -H Accept-Encoding:gzip,defalte2、监控网页的响应时间curl -o /dev/null -s -w "time_connect: %{time_connect}\ntime_starttransfer: %{time_starttransfer}\ntime_total: %{time

2017-06-09 17:05:16 348

原创 iconv编码问题

解决Linux下乱码的问题 iconv -f 文件的编码 -t 转换的编码 test.txt-f 输入文件的编码 -t 要输出的编码 -l 查看支持的编码 -o filename 指定输入文件

2017-06-09 15:42:31 523

转载 [golang note] 错误处理

错误处理 • 错误处理的标准模式　　 golang错误处理的标准模式：error接口。　　 golang函数如果要返回错误，规范上是将error作为多返回值中的最后一个，但这并非是强制要求。▶ error接口type error interface { Error() string}▶ 内置的error类型使用▪ 语法如下func 函数名(参数列表) (返回值

2017-06-08 11:18:48 370

原创 git基本概念

git 分布式版本控制系统目的：管理文件内容的变化一、优点：1.分布式开发并行开发，每个人在自己独立的版本库中同时开发，不需要与中心版本库时刻同步 2.性能优异为了节约传输时间和存放空间，使用“压缩”和“差异比较”技术；分布式开发也确保了网络的不确定不会影响日常开发 3.保持完整性和可靠性使用安全散列函数SHA1来命

2017-06-06 13:17:40 286

原创 go交叉编译

指定叉编译目标： GOARCH 目标平台（编译后的目标平台）的处理器架构（386、amd64、arm） GOOS 目标平台（编译后的目标平台）的操作系统（darwin、freebsd、linux、windows）（一）Windows 下编译Linux 64位可执行程序： SET CGO_ENABLED=0 //不设置也可以，原因不明 SET GOOS=linux

2017-06-05 22:39:32 3209 1

转载 .gitignore 配置

.gitignore 配置文件用于配置不需要加入版本管理的文件，配置好该文件可以为我们的版本管理带来很大的便利，以下是个人对于配置 .gitignore 的一些心得。1、配置语法：　　以斜杠“/”开头表示目录；　　以星号“*”通配多个字符；　　以问号“?”通配单个字符　　以方括号“[]”包含单个字符的匹配列表；　　以叹号“!”表示不忽略(跟踪)匹配到的文件或目录；

2017-06-05 21:15:47 203

原创 git基础入门

创建初始版本库(目录转换成git版本库)cd /gitgit --version创建初始版本库(目录转换成git版本库)git initvim index.html添加到版本库，git只是暂存/staged文件git add index.html更新版本库 git commit index.html -m 'add index.html'文件被add一次后再次修改可以直接commit

2017-06-02 20:46:33 327

转载在vs code中使用ftp-sync插件实现客户端与服务器端代码的同步

在vs code中使用ftp-sync插件实现客户端与服务器端代码的同步下载安装 vscode-ftp-sync 插件。安装方法1. Ctrl+Shift+P 输入 ext install [插件关键字/名称] 安装方法2. Ctrl+Shift+P (或F1) 输入 Extensions, 选中 Install Extension然后输入插件名称/关键字若安装不在插件商店的插件, 则可以放

2017-05-13 18:36:39 8272 1

原创 vscode安装设置go

vscode安装go配置1、下载最新的vscode： https://code.visualstudio.com/docs/?dv=win2、下载go： https://golang.org/dl/3、配置go的环境变量：[计算机]-->[属性]-->[高级系统设置]-->[环境变量]-->[新建] GOPATH E:\gohmoe GOROOT C:\go PATH ;C:\go

2017-04-23 19:31:57 8265

转载继承、封装、多态

一、封装：　　封装是实现面向对象程序设计的第一步，封装就是将数据或函数等集合在一个个的单元中（我们称之为类）。被封装的对象通常被称为抽象数据类型。封装的意义：　　封装的意义在于保护或者防止代码（数据）被我们无意中破坏。在面向对象程序设计中数据被看作是一个中心的元素并且和使用它的函数结合的很密切，从而保护它不被其它的函数意外的修改。　　封装提供了一个有效的途径来保护数据不被意外的破坏。相比我们将

2017-04-23 15:03:34 231

原创 http的GET请求和查看返回结果

package mainimport ( "fmt" "io/ioutil" "log" "net/http")func main() { res, err := http.Get("http://baidu.com") if err != nil { log.Fatal(err) } robots, err := io

2017-04-23 13:51:30 2267

转载一个完整的通过encoding/json信息传递格式，采用http.POST利用进行与服务器通信，并对返回结果进行解析处理的典型案例

package main import ( "fmt" "net/http" "encoding/json" "bytes" ) //需要编码的参数 parameter := map[string]string{"id": 123456} //利用e

2017-04-23 13:24:30 885

转载 go json解析Marshal和Unmarshal

go语言提供一个json解析的包。见 http://golang.org/pkg/encoding/json/官方同时提供了一篇文章 JSON and Go 讲述json包的用法，该文章同时存在中文翻译： JSON与Go 。看过上述两篇文章后，基本使用应该就没问题了。同时，贴几个官方的例子，方便理解。 Decoderpackage main import ( "encoding/jso

2017-04-23 12:11:05 55496

CM介绍、hbase、hdfs、hive性能测试

空空如也