- 博客(73)
- 收藏
- 关注
RSS订阅
原创 修改rc.local，配置redis/mongo/zookeeper/python开机自启失败的，看这一篇就搞定！
配置了一天Centos开机自启，最后终于成功了，网上的博客真的千篇一律，仿佛是互抄的，只是说要写rc.local，要改权限，但我试了依旧失败，如果你也是这样，试试我的这个博客！一、配置Centos开机自启方法这里我只是用了配置rc.local文件，其他写启动脚本的，我还不会，只会这个最简单的开机自启方法。所以把这个方法分享给大家。二、rc.local文件在哪？有的人在/etc/rc.d/r...
2020-01-03 11:07:40
1025
原创 【Python】遍历输出某路径下的所有文件和文件夹三种方法
列出文件夹下所有文件的3个方法:#方法1：使用os.listdirimport osfor filename in os.listdir(r'c:\windows'): print("文件夹名字",filename)#方法2：使用glob模块，可以设置文件过滤import globfor filename in glob.glob(r'c:\windows\*.exe'):...
2019-06-04 14:08:23
11014
原创 win10电脑一开夜神模拟器就蓝屏解决方法，亲测多次好用！
最近下了夜神模拟器使用，一点开夜神电脑就蓝屏挂掉，真的是日了狗…电脑就变成如图所示那个狗样。百度了一些方法，原来是windows自己会在后台开一个hyper-v虚拟服务器功能，所以我一开启夜神就会冲突，解决办法就是将Hyper-V这个配置关闭就好了！下面是教程↓↓↓第一步：第二步：第三步：立即重启，重启后再点开夜神就不会蓝屏啦！！开心！！好用请点赞哦 @_@23333333...
2019-05-05 14:38:15
32235
9
原创 【Java】Spring Cloud学习笔记（一）
一、SpringCloud与SpringBoot区别1、SpringBoot专注于快速方便的开发单个个体微服务。2、SpringCloud是关注全局的微服务协调整理治理框架，它将SpringBoot开发的一个个单体微服务整合并管理起来，为各个服务之间提供，配置管理、服务发现、断路器、路由、微代理、事件总线、全局锁、精选决策、分布式会话等集成服务。3、SpringBoot可以离开Spring...
2020-04-30 17:39:56
513
原创 【Java】报错:Cause: java.sql.SQLException: Field 'id' doesn't have a default value
问题原因id字段没有设置自增解决方法1.如果id为主键，设为自增长。2.若不是主键，设置可以允许为空或者赋默认值。
2020-04-30 17:37:07
3682
原创 【IDEA】一步解决：Debug模式启动非常慢，但Run模式启动正常不卡顿
问题再现使用IDEA在断点调试代码时，重启Debug模式，日志加载很慢很慢很慢… 但明明刚才操作还很流畅，怎么突然Debug重启就很慢了呢？猜测1：是不是代码写的有问题，启动不起来？尝试1：不使用Debug模式，试一下Run启动，然而一秒钟就启动起来了，并且毫无报错可言！猜测2：我的Debug坏掉了？尝试2：问题解决！...
2020-04-30 17:18:27
4241
2
原创 【Java】mybatis报错：Could not find result map java.lang.Integer
报错现场还原当我刚刚修改完代码后，一运行程序，就开始报错。然后我检查了对应的mapper文件和接口文件都没有发现问题。但运行任何一个和mybatis相关的测试，发现全部都报告这个错误。真是让我头疼…还原报错信息detailMessage=Could not find result map java.lang.Integer, stackTrace=[Ljava.lang.StackTra...
2020-04-30 17:07:54
1203
原创 【java】图解报错：c.alibaba.com.caucho.hessian.io.SerializerFactory - Hessian/Burlap:
俗话说新手打牌手气好，同时新手写java代码，报错也是一个接一个的~~ 作为一个进入java已经半年的小白，今天又遇到了一个奇怪的bug困扰了很久，下面就讲讲怎么解决这个bug吧！先po一下我的报错信息： WARN c.alibaba.com.caucho.hessian.io.SerializerFactory - Hessian/Burlap: ‘com.yzkj.zf.entit...
2020-04-24 18:15:33
3806
原创 【java】XXL-JOB定时器操作图解（最全最细）
官方文档： https://www.xuxueli.com/xxl-job/操作指南1、配置执行器点击按钮 “+新增执行器” 弹框如下图, 可新增执行器配置:执行器属性说明：AppName: 是每个执行器集群的唯一标示AppName, 执行器会周期性以AppName为对象进行自动注册。可通过该配置自动发现注册成功的执行器, 供任务调度时使用;名称: 执行器的名称, 因为Ap...
2020-04-21 16:08:36
3592
原创 【Java】导出excel表格用EasyExcel，简单方便一步操作！
一、需求简介做各种后台时，总会遇到表格导出为excel的功能，那么对于我这样的Java小白，当然是喜欢操作简单、性能还好的方法啦！我们项目使用的是阿里的EasyExcel，下面我就来介绍一下，快速上手使用EasyExcel包~二、官方链接JAVA解析Excel工具EasyExcel：https://github.com/alibaba/easyexcel三、快速上手使用（一）引入依赖...
2020-03-31 19:32:05
1749
2
原创 【java】Spring+Mongodb，按月查询集合查询数据
Spring+Mongodb在查询数据时，是可以指定查询集合的。那么现在的需求是按月份查询数据。一、在serviceImpl上，先指定构造时间集合字符串@Resourceprivate MongoTemplate mongoTemplate;private String monthCollection = String.format("%s_warningInfo", formatDat...
2020-01-03 14:25:20
1487
原创 【scrapy】mongo存储数据时，按月分表存储
为了方便数据的查询和存储，减轻查询压力，可以使用按月分表保存数据，然后按月查表查数据。那在scrapy存数据时，怎么按月份存数据呢？这里我scrapy的数据时存在mongo内部的，只要更改存储的集合名称就行。这里只是按月分表，没有涉及分库。...
2020-01-03 11:43:44
879
1
原创 【java】获取昨天、今天、明天、几天前、几天后的时间
java总会遇到获取之前时间和之后时间的需求，封装一个类，方便复用。package com.yzkj.zf.utils;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.ArrayList;import java.util.Calendar;import java.ut...
2019-12-21 17:37:03
1702
原创 【java】mongo时区转换，将字符串时间转换为Date时间
Java里面数据和mongo交互时，需要做时区转换，否则会有8小时的时间差。这个地方我封装一个类，每次都将前端传来的时间进行时区转换，然后再进行mongo查询。package com.yzkj.zf.utils;import org.apache.commons.lang3.StringUtils;import java.text.ParseException;import java...
2019-12-21 17:28:41
1352
原创 【mongo】命令修改字段名称
db.collection.update({}, {"$rename":{"oriName": "newName"}}, false, true)
2019-12-18 19:54:45
252
原创 【mongo】命令给collection添加一列字段并设置初始值
db.collection.update({},{"$set":{"filed":0}},false,true)
2019-12-18 19:52:39
1423
原创 【mongo】 命令修改字段类型
命令行修改集合内字段的数据类型：db.collection.find().forEach(function (x) {x.filed = parseInt(x.filed); # parseInt 转为doublex.filed = NumberInt(x.filed); # NumberInt 转为intx.filed = new ISODate(x.file...
2019-12-18 19:51:07
409
原创 【java】0基础Java小白写spring boot+mongo的过程和注意事项
两个月，从0开始学习Java，两个星期的think in Java 入门书阅读，一个星期学习spring和spring boot原理，一个星期配合项目上手写spring boot+mongo的接口，感谢自己坐在架构旁边，喝鸡汤，重学习，不甘咸鱼。这篇博客记录一下自己写spring boot的过程，以及使用过的包和方法，记录一下自己从入门到放弃的Java。第一步：写entity模块mod...
2019-12-17 15:23:18
199
原创 Centos上 Mongodb的主从配置,最简单有效的方法（详细过程+常见报错解析）
一、安装参考文档https://www.jianshu.com/p/994bc7b19b26二、配置主从（一）切换到mongo所在的bin目录下，后面操作全部在bin下进行命令： cd /usr/mongodb/mongodb-linux-x86_64-3.4.18/bin (根据个人的mongo位置进行切换)（二）修改主、从、仲裁节点配置文件命令：vi mongodb.c...
2019-12-13 13:03:48
1423
原创 MongoDB修改数据库名的命令行操作，一行命令解决！
第一步：进入mongo操作界面# mongo第二步： 选择你要重命名的数据库# use yourdatabase第三步： 使用管理员权限# use admin第四步：转移数据库的集合到新命名的数据库# db.runCommand({"renameCollection":"yourdbname.yourcollection", "to":"newdbname.yourcollectio...
2019-12-01 16:36:29
1934
原创 【图文详解】Win10上，本地安装 scrapyd ，部署爬虫的每一步！
1、进入你写代码的python 环境中，准备下载scrapyd包2、安装scrapyd模块，命令： pip installscrapyd3、安装完成时会有Successfully的提示4、安装完成后，输入命令： scrapyd 启动服务5、上一步启动成功后，会有日志信息显示，服务启动成功，可以在浏览器 http://127.0.0.1:6800/查看6、如果上述步骤都已成功，会发...
2019-11-15 16:43:41
949
原创 京东商品价格获取的三种方式
问题描述：京东商品的详情页，价格是js动态加载的，源代里获取不到，该如何破解？商品详情页的价格，在网页源代码里找不到，xpath提取为空，这可怎么办？解决方案：一、selenium加载页面，进行提取这个方法是万能的，一定能抓到数据，但是会影响速度和性能，可以参考第二、三种方法。二、商品列表页可以获取价格1、可以在商品列表页，获取商品价格，使用xpath提取2、xpath可...
2019-10-15 11:52:06
9893
4
原创 京东搜索产品时，pc端列表页只展示100页的数据
问题描述：当你在电脑上浏览京东网站时，官网只给你返回100页数据，每页60个，总共只显示6000个商品，但实际有几十万的相关产品没有展示出来。 这算是京东的一种反扒机制，美团的电脑端也是这样，只给你返回固定页数的信息。遇到这个问题，可以选择增加搜索维度、寻找其他接口的方法，尽量多的去获取数据。解决方法：一、在搜索的时候，缩小搜索范围，增加搜索维度1、在搜索商品时，加上品牌、型号等信息，...
2019-10-15 10:36:46
2063
原创 scrapy -o xxx.json 命令，不开启pipeline，也可以将item写入到一个json文件中
如果想保存item到一个json文件中，除了使用pipeline进行写入保存外，还可以使用一行命令，就写入json文件。# spider 是你的爬虫文件名字，可替换# -o 是表示输出到文件的命令，不可替换# xxx.json 是你要输出的文件名字，可替换scrapy crawl spider -o xxx.json 可能出现的问题：1、如果这个命令执行完，已经生产xxx.jso...
2019-10-15 10:05:29
501
1
原创 【Scrapy】不同的Request请求，自己选择中间件进行过滤。scrapy指定某一个请求使用selenium模拟加载。
问题描述：Scrapy爬虫里，不同的Request请求，根据需求来选择不同的中间件进行过滤。举例：scrapy爬虫时，有些请求需要借助selenium，但是其他请求不需要用selenium，那如何让某一个单独的请求使用selenium这个中间件？解决方法：简单将讲，用好meta这个参数进行传参。第一步：先准备好一个selenium中间件第二步：全局开启selenium中间件第三步：爬...
2019-10-10 10:35:35
1718
2
原创 京东搜索产品时只能获取到每页的前30个产品，scrapy+selenium取到后面30个产品
问题描述：京东解析源代码，只能得到30个商品，但是实际一页有60个商品。当我们直接用xpath直接解析源代码时，发现只能得到30个商品，但是在前台，我们明明看到的是60个商品。这是因为刚刷新页面时，先展示源代码的30个商品，后面30个商品，需要下拉进度条，懒加载后面30个商品。scrapy如何结合selenium实现模拟下拉？解决方法：简单的讲，就是加一个selenium中间件，爬虫...
2019-10-09 18:04:01
1982
7
原创 京东商城爬虫学习，面临的全部爬虫难题&scrapy项目架构难题，以及他们的解决方法（持续更新...）
19年9月份用了两个星期，搞了一下京东商城的爬虫，下面将我遇到的全部爬虫问题和爬虫架构问题，写在博客里供大家参考，问题比较多，会持续更新，本篇文章主要将把所有问题罗列出来，其问题的解决方案将放到新的博客里。本京东项目使用scrapy框架完成的，所有的功能都是在框架之上使用中间件、扩展等功能实现的，丰富了scrapy框架的使用，对scrapy也有了更深的了解。一、列表页懒加载后30个商品（已解...
2019-10-08 11:47:51
731
1
原创 阿里云、腾讯云、华为云、百度云、谷歌各平台图像识别哪个好？该用哪个大厂平台给图片打标？
阿里云图像识别参考指标满足条件特殊请求条件无能否满足业务需求是打标价格0.0025元/张万张价格25元API接口文档链接https://help.aliyun.com/knowledge_detail/53540.html?spm=5176.2000002.0.0.1edbc1afVcShWu推荐使用是腾讯云图像识别...
2019-08-27 10:25:37
1564
原创 【python】腾讯云图像识别打标SDK（demo）
腾讯云的图像识别和阿里云差不多，但是比阿里云便宜，先分享一下各平台打标对比价格等。这里分享一下腾讯云打标的接口调用，Python3版本。from tencentcloud.common import credentialfrom tencentcloud.common.profile.client_profile import ClientProfilefrom tencentcloud...
2019-08-27 10:08:32
682
1
原创 【Python】伪造数据使用faker库
什么是fakerFaker是一个Python包，开源的GITHUB项目，主要用来创建伪数据，使用Faker包，无需再手动生成或者手写随机数来生成数据，只需要调用Faker提供的方法，即可完成数据的生成。GitHub链接：https://github.com/joke2k/faker安装faker方法一：pip install faker方法二：通过上方提供的github...
2019-08-21 17:24:43
616
原创 【算法图解】 之 [贪婪算法（贪心算法）] 详解
入门算法学习，看的第一本是深入浅出的《算法图解》一书，本博客是对《算法图解》一书的学习笔记，将书中的分享的算法示例用Python3语言实现。如果你也想要阅读这本书，百度云盘链接：https://pan.baidu.com/s/1s967vfgEBd1vSrfwVI9Y3g 提取码：【be9k】或者也可以留言你的邮箱，我将PDF共享给你~贪婪算法贪婪算法（又称贪心算法）是指，在对问题求...
2019-07-23 17:57:30
3701
1
原创 【算法图解】 之 [快速排序] 详解
入门算法学习，看的第一本是深入浅出的《算法图解》一书，本博客是对《算法图解》一书的学习笔记，将书中的分享的算法示例用Python3语言实现。如果你也想要阅读这本书，百度云盘链接：https://pan.baidu.com/s/1s967vfgEBd1vSrfwVI9Y3g 提取码：【be9k】或者也可以留言你的邮箱，我将PDF共享给你~快速排序快速排序（Quicksort）是对冒泡排...
2019-07-22 18:07:53
273
原创 【算法图解】 之 [递归] 详解
入门算法学习，看的第一本是深入浅出的《算法图解》一书，本博客是对《算法图解》一书的学习笔记，将书中的分享的算法示例用Python3语言实现。如果你也想要阅读这本书，百度云盘链接：https://pan.baidu.com/s/1s967vfgEBd1vSrfwVI9Y3g 提取码：【be9k】或者也可以留言你的邮箱，我将PDF共享给你~递归递归指的是调用自己的函数。每个递归函数都有两...
2019-07-22 17:22:58
415
原创 【算法图解】 之 [选择排序] 详解
入门算法学习，看的第一本是深入浅出的《算法图解》一书，本博客是对《算法图解》一书的学习笔记，将书中的分享的算法示例用Python3语言实现。如果你也想要阅读这本书，百度云盘链接：https://pan.baidu.com/s/1s967vfgEBd1vSrfwVI9Y3g 提取码：【be9k】或者也可以留言你的邮箱，我将PDF共享给你~选择排序选择排序（Selection sort）...
2019-07-22 16:39:36
310
原创 【算法图解】 之 [二分查找法] 详解
入门算法学习，看的第一本是深入浅出的《算法图解》一书，本博客是对《算法图解》一书的学习笔记，将书中的分享的算法示例用Python3语言实现。如果你也想要阅读这本书，百度云盘链接：https://pan.baidu.com/s/1s967vfgEBd1vSrfwVI9Y3g 提取码：【be9k】或者也可以留言你的邮箱，我将PDF共享给你~二分查找二分查找是一种算法，其输入是一个有序的元...
2019-07-22 16:07:37
4440
1
转载 【Python】自动生成requirements.txt
项目开发的时候，总是要搭建和部署环境，这时，就需要一个python第三方包的list，一般叫做requirements.txt。如果项目使用virtualenv环境，直接使用pip freeze即可，但是如果项目的依赖没有维护，就会很麻烦，这时我们就需要一个叫pipreqs的工具，可以帮助我们自动生成requirements.txt文件。使用pip freeze$ pip freeze &...
2019-07-15 18:03:04
1474
1
原创 Vim设置显示行号 & 永久性显示行号
当前文件下显示行号:set number 或者 :set nu 永久显示行号vim ~/.vimrc配置文件输入set number 或者 set nu 就可以了，然后保存退出。再次用vim打开文件时，就会显示行号了。...
2019-07-15 17:58:01
367
转载 reids配置文件详细解读（中文翻译）
#daemonize no 默认情况下， redis 不是在后台运行的，如果需要在后台运行，把该项的值更改为 yesdaemonize yes# 当 redis 在后台运行的时候， Redis 默认会把 pid 文件放在 /var/run/redis.pid ，你可以配置到其他地址。# 当运行多个 redis 服务时，需要指定不同的 pid 文件和端口pidfile /var/run...
2019-07-15 17:44:45
157
原创 将redis-server添加到Linux启动项
修改/etc/rc.local脚本举例：将redis-server添加到启动项vim /etc/rc.local /etc/rc.local 脚本内容如下：#!/bin/sh## This script will be executed *after* all the other init scripts.# You can put your own initialization ...
2019-07-15 17:40:38
419
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人