- 博客(17)
- 收藏
- 关注
RSS订阅原创 Go编译到linux运行出现 cannot execute binary file
3.将编译的二进制文件上传的服务器后运行报错，去网上查阅,大部分文章都是说CORAHC 和linux架构不一致，但是我这边并没有什么问题。4.后来查到，linux不能执行，可能因为生成的格式不是linux平台可以执行的格式。",在windown上编译了一下，生成了可执行文件。2.但是按照网上的教程进行生成linux的可执行文件时出现报错。5.然后再重新编译文件后上传的linux服务器。原来是第一步修改的配置没有生效，默认的还是windows。然后再看，配置已经修改为linux了。
2024-02-25 15:35:43
633
原创 记一次内网kafka映射到外网端口遇到小问题
公司要将数据分享给第三方使用，所以要运维再内网搭建一单节点的kafka做消息中间件，kafka搭建好后，生产者生产数据正常，将kafka的9092端口映射到外网的9092端口，但是无法消费数据，会卡住，解决方法是1先检查主机名，主机名要与hosts文件里的一至2再检查advertised.listeners=PLAINTEXT://shzl-mq-2:9092，这里的要填主机名，如果是...
2019-07-04 23:16:45
5945
原创 zabbix代理端及agent端的部署 zabbix—proxy部署
zabbix代理端zabbix—proxy的部署，这里采用zabbix4.0.4版本一.首先安装这五个rpm包二. 代理端也需要建一个数据库，用来与server端同步数据用，如果服务器上已经安装了mysql数据，则直接在里面创建数据库即可，如果没有安装请先安装mysql数据库服务create database zabbix_proxy character set utf8; ...
2019-03-14 16:48:48
3891
原创 apache+php+zabbix离线安装
系统版本centos7.3,php版本5.4zabbix版本4.0centos7在安装时已预装了apache2.4，所以就不再装了，一 安装LAMP环境1）使用网络仓库，首先要配置网络yum源cd /etc/yum.repos.d/ 进入yum文件目录mv ./CentOS-Base.repo ./CentOS-Base.repo.bak 备份默认的yum源m...
2019-01-11 14:05:28
1624
原创 单机形式的kafka+ zookeeper的简单使用
一、zookeeper安装首先安装zookeeper，版本3.4.6，网址https://zookeeper.apache.org/解压，tar xzvf zookeeper-3.4.6.tar.gz，这里把解压后的文件放到/usr/下面并创建日志目录mkdir /usr/zookeeper/log然后再创建myid文件，如果是集群部署这个是各个集群的节点标识不能重复e...
2018-11-06 14:48:00
1953
原创 win7和kali linux双系统安装
1，首先下载kali linux https://www.kali.org/downloads/，根据自己的电脑选择32位或64位 2.然后开始刻录U盘，使用win32diskimager进行刻盘，否则在安装时会出现无法加载光盘文件等错误，https://sourceforge.net/projects/win32diskimager/3.剩下的安装步骤看着这个博客就可以，完全一致ht...
2018-10-01 11:07:03
14338
1
原创 win10同时安装Python2和Python3使用pip的攻略
同时安装是会造成混乱，所以要加一区分首先在目录里把python.exe，的名字改成Python2.exe和Python3.exe，这里只拿Python3举例由于Python2用在下载模块时由于网络问题出现下载失败，可能要加vpn或者国内镜像源加速才可以，所以在win上我一般不用Python2下载模块，都是直接下载模块压缩包，然后上传到生产环境的linux里安装用Python3开发时...
2018-08-22 10:39:06
643
原创 Ansible的源码安装
以下工具及模块的安装全部基于源码安装1、https://github.com/ansible/ansible首先获取Ansible的源码包2、Ansible是基于Python开发的所以推荐Python2.7及以上版本3、Ansible还需要一些第三依赖需要下载，将压缩包解压后，进入解压目录，执行Python setup.py install 4、以上模块安装完毕后，再安装Ansible，同样也是进...
2018-06-07 11:22:36
4451
原创 python爬虫的代理IP设置
关于python代理IP的设置，我这里用requests这个模块来实现，IP = {'https': '86.98.2.163:8080'}r = requests.get(url, proxies=IP, headers=headres,timeout=40)上面这段代码使用了代理IP，这个不用多说，但是需要注意的是requests模块有一个特性（猜的），就是在请求https的网页
2018-02-02 22:46:52
2805
原创 爬虫爬取电商网站的商品数据并保存成json文件
这里爬取的电商网站为当当网的地方特产为例首先建立爬虫项目scrapy startproject autop然后就要编写items文件了# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# http://doc.scrapy.org/en/la
2017-11-30 23:49:28
5047
原创 用pycharm安装scrapy框架
今天安装scrapy框架，在cmd里用pip install 安装，老是报错，报缺少支持的第三方包还有C++ 14.什么的错，后来直接用pycharm安装，就成功了，安装的方法如下在右上角有一个绿色的加号点击它会弹出这个界面，把需要安装的包的名字输进去会自动检索，然后选定，再点击install Package，就会安装安装
2017-11-16 22:36:01
35879
原创 Python的定向爬取实例
定向爬取就是根据设置的主题进行内容的筛选，这里用一个例程简单记录假如要对腾讯视频的某部电视剧的评论内容进行爬取，首先腾讯视频的评论是在当前页面进行加载，不会显示下一页，所以就需要用Fiddler进行抓包，找到请求新评论的网址。首先点击加载更多同时查看Fiddler里会有一个请求评论的网址多点击几次，拿到两个这样的网址，然后分析这两个网址的相同与不同之处
2017-11-15 03:15:38
1183
原创 python爬虫浏览器伪装
一些网站会设置一些反爬策略来限制爬取数据，所以就需要让爬虫伪装成浏览器取爬取数据常见的反爬机制主要有，分析用户请求的Headrest信息反爬、检测用户行为比如同一IP频繁访问网站、页面的动态加载反爬，第一种比较常见，本章也主要记述这一种反爬的应对方法，就是User-Agent字段进行检测，当然除了这个字段还会检测其他字段，我们就通过程序伪装一个headers信息第二种用代理服务器也可以
2017-11-11 17:38:02
5427
原创 python爬虫之正则表达式基础
正则表达式python爬虫离不开正则表达式，如果说爬虫是在数据海洋收集数据的大船，那么正则就是给这艘船指明了到哪里采集数据和采集什么养的数据，筛选和过滤掉我们不想要的数据以节省爬虫的资源提高爬取效率字符匹配有普通字符和元字符首先要导入re模块‘普通字符匹配：：re.findall('kehao','cheniahfhkehaojkshs') #使用findall方法
2017-11-09 10:50:16
484
原创 python爬虫基础知识整理
本文主要记录python爬虫的基础知识点，主要知识：理论基础、爬虫技能简述、实现原理和技术、uillib库和urlerror、正则、headers属性和代理服务器设置及Cookie。1）理论基础部分网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等，可以按照我们设置的规则自动化爬取网络上的信息，这些规则被称为爬虫算法。2）爬虫的组成有控制节点、爬虫节点和资源库个人简单理解就是控制节点相当
2017-11-03 10:24:52
11059
原创 Python爬虫的post请求简单实例
登陆网页注册时用Python进行post请求，代码首先查看页面源代码，注意form表单部分，哪里是需要递交的表单信息运行代码import urllib.requestimport urllib.parseurl='http://www.iqianyue.com/mypost'postdata=urllib.parse.urlencode({'name':'chenkehk
2017-09-30 21:22:23
9346
原创 安装Python模块numpy报错[error] Microsoft Visual C++ 14.0 is required
Python初学，现在使用Python3.6今天在安装numpy时出现报错 Microsoft Visual C++ 14.0 is required，查了很多解决方法，都没有完全成功，好像和vs编辑器有关，需要下载vs2008或者2010等等不知道那个版本的编辑器，但是这些编辑器微软早就停止提供下载服务了本文参照http://blog.csdn.net/WelcomeToHebe
2017-08-10 23:56:50
29765
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人