- 博客(21)
- 收藏
- 关注
RSS订阅原创 Scrapy项目部署
一、直接使用 scrapyd 部署 参考：https://blog.csdn.net/Arvin_zx/article/details/82972112二、 scrapyd +gerapygerapy是个人开发的前端管理工具，提供可视化界面，方便操作大致步骤：1.安装gerapy：pip install gerapy2. 安装完成后执行初始化 ge...
2020-01-04 18:43:47
229
原创 Scrapyd遇到的各种问题
一、运行curl http://localhost:6800/schedule.json -d project=douban -d spider=movie 时，报错no active project\n\nUnknown command: list\n\nUse \"scrapy\" to see available commands\n"}解决：原因可能有2种。第1种：没在项目根目...
2020-01-04 14:06:05
1166
原创 python 解决将webp格式转png
今天做爬虫时，发现爬下来的图片是webp，直接上传到oss，发现不能正常打开。于是，在网上搜如何将webp转png，jpg等正常图片格式，最终搜到这篇，试了一下可行：https://blog.csdn.net/wgPython/article/details/80740067这篇作者的解决方案又源于stackoverflow：https://stackoverflow.com/ques...
2019-12-24 12:08:12
1981
原创 Docker学习之博客文章
1、阮一峰的Docker入门教程，通俗易懂：http://www.ruanyifeng.com/blog/2018/02/docker-tutorial.html
2019-06-18 17:45:03
106
原创 Elasticsearch学习之有用文章
推荐阅读：1、阿里云-铭毅天下博客：https://blog.csdn.net/laoyang360/article/details/792934932、阿里：https://elasticsearch.cn/article/61713、滴滴：http://t.cn/EUNLkNU4、腾讯：http://t.cn/E4y9ylL5、携程：https://elasticsearch.cn/...
2019-06-18 16:28:57
110
原创 Dokcer安装ElasticSearch6.3.2的中文分词器ik
前提：首先确保elasticsearch容器已启动方式一：在线安装1. 进入容器 docker exec -it elasticsearch /bin/bash2. 在线下载并安装./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download...
2019-06-14 15:52:24
610
转载 @Autowired和@Resource的区别
都知道这两个注解可以实现bean的注入@Autowired 这个是spring的注解 org.springframework.beans.factory.annotation.Autowired@Resource 这属于java自带的注解 javax.annotation.Resource@Autowired默认是按照类型来注入的，需要按名字注入的话可以跟@Qualifier搭配使用@R...
2019-06-06 12:37:45
2382
1
原创 springboot创建多模块项目
1、首先，通过IDEA创建一个springboot项目，项目名叫：spring-boot-learning-examples，然后删除掉src目录2、临时有其它事， 后面继续…
2019-06-04 14:23:31
715
原创 elasticsearch 6.x基本的索引和文档的CRUD
文档：https://www.elastic.co/guide/en/elasticsearch/reference/6.4/index.html# 索引初始化操作# 指定分片和副本数量# shards一旦设定不能修改PUT twitter{ "settings" : { "number_of_shards" : 3, "number_of_rep...
2019-06-03 22:57:09
285
原创 待解决：python3安装mysqlclient后，使用时提示“Library not loaded: @rpath/libmysqlclient.21.dylib”
1、通过pip install -i https://pypi.douban.com/simple Mysqlclient 安装Mysqlclient， 此时显示是成功的2、但是在python代码中使用MySQLdb时， 报错“Library not loaded: @rpath/libmysqlclient.21.dylib” 尝试按照网上的方法，按照如下创建软连接， 然后还是没有...
2019-06-01 20:17:58
2278
4
原创 Scrapy爬虫报错： ValueError:Missing scheme in request url: h
使用scrapy内置的ImagesPipeline来完成自动下载图片时， 报错ValueError:Missing scheme in request url: h解决：settings.py中配置的 IMAGES_URLS_FIELD = "front_image_url"，front_image_url所对应的item原来写成item["front_image_url"] =fro...
2019-06-01 14:58:00
2820
4
原创 Scrapy爬虫报错：Filtered offsite request to 'blog.jobbole.com'
原因：那就是request的地址和allow_domain里面的冲突而被过滤解决方法：使用Request的参数dont_filter=True，即：yield Request(url, callback=self.parse_item, dont_filter=True)或者，注释掉allowed_domains**...
2019-05-31 21:08:11
176
原创 Linux工作常用命令
一、grep命令1、找出包含cost，并打印出cost所在的行信息以及前后3行信息，并将cost标记红色grep ‘cost’ -C 3 --color test.log
2019-05-31 13:56:56
139
转载 Docker常用命令（详细图解演示）
前言：Docker的介绍,安装参看我的这篇文章.Linux下Docker安装（详细图解演示）这里把常用的命令做一个简单的总结. Linux上面安装Docker.满足一下条件. &...
2019-05-31 13:20:31
1326
原创 国内的python使用豆瓣的pypi源
python国内豆瓣源豆瓣：https://pypi.doubanio.com/simple/# 直接在后面添加 -i "https://pypi.doubanio.com/simple/"# 例如安装 keraspip install keras# 变成pi...
2019-05-30 21:59:25
463
原创 Scrapy爬虫框架基本使用
一、常用命令scrapy startproject demo 创建项目名为demo的Scrapy项目 scrapy genspider testwww.xxx.com 创建名字为test的爬虫（需要进入到上面的demo目录下执行） scrapy crawl test 运行爬虫test ...
2019-05-26 23:25:03
114
原创 关于UTF-8和unicode编码简单理解
ASCII: 美国的编码， 一个字节, 最大只能表示255个字符 GB2312: 中国制定的编码。一般2个字节 unicode编码，目的是统一各国编码, 一般4字节。 解决了乱码问题， 但是也需要更多的存储空间，传输时也需要传输更多，产生更多开销。 UTF-8: 可变长度的编码， 比如一个英文字符，只占用1个字节，中文3个字节。作用比较明显。缺点就是增加复杂度 python3将所...
2019-05-26 22:51:41
432
转载 Python Re正则表达式之group(0)、group(1)
1. 正则表达式中的三组括号把匹配结果分成三组group() 同 group(0) 就是匹配正则表达式整体结果 group(1) 列出第一个括号匹配部分，group(2) 列出第二个括号匹配部分，group(3) 列出第三个括号匹配部分。 group(num=0) 匹配的整个表达式的字符串，group() 可以一次输入多个组号，在这种情况下它将返回一个包含那些组所对应值的元...
2019-05-26 20:56:10
16197
原创 Anaconda3的常用命令 和 问题
常用命令conda create -n py3.6 python=3.6 #创建python3.6版本（3.6的最新版本）的名为py3.6的虚拟环境conda remove -n py3.6 --all #删除名为py3.6的虚拟环境conda activate py3.6 #开启py3.6环境conda env list 或 conda ...
2019-05-26 18:34:17
384
原创 Python3 Re正则表达式
对正则表达式的运用总是不熟练， 每次要写正则的时候，总是傻傻分不清 * . ？+（）区别了。这次特意系统学习，并做个笔记吧一、正则表达式的常用操作符操作符 说明 栗子 . 表示任意单个字符 [ ] 字符集，对单个字符给出取值范围 [abc]: 表示a或b或c; [a-z]: 表示a到z [^ ] 非字符集，对单个字符给出排...
2019-05-25 20:32:57
330
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人