17 bladestone

尚未进行身份认证

我要认证

15年的软件行业开发经验,9年项目管理经验;5年爬虫经验

等级
TA的排名 469

Data OnLine集合

这里写自定义目录标题目标集合目标记录线上可用的数据集合集合中国诗词 开源诗词周历

2020-10-27 18:08:10

Scrapy之CsvItemExporter生成的CSV文件乱码解决

环境信息Python 3.6.5Scrapy 2.2导出文件逻辑self.file = open("/Users/chenjunfeng02/Downloads/enrolldata.csv", "wb") self.exporter = CsvItemExporter(self.file, fields_to_export=["provinceCode", "provinceName", "collegeCode", "collegeName"])

2020-09-03 09:01:37

Scrapy回调函数callback传递参数的方式

Scrapy回调函数回调方法示例:yield Request(url=self.base_url + 'QueryInfo', headers=self.request_headers, method="POST", body=json.dumps(request_params), callback=self.page_query_schools, cb_kwargs=add_params)callback对应的是page_query_school()即为回调的方法。传递参数方式如何向回调方法中

2020-09-01 23:10:40

Excel解决CSV文件中的乱码

背景对于CSV文件中的乱码问题,大概率是编码的问题,可以基于Excel进行编码转换,或将文本进行编码转化。解决办法打开Excel应用,点击文件,新建文件点击文件,选择导入,导入具体的CSV文件选择CSV文件:点击完成即可,然后就可以导入转换之后的信息填入Excel文件。总结基于Excel的转换能力实现乱码内容的转换,是非常简单易用的。...

2020-09-01 22:24:52

爬虫常用工具箱

Pythonscrapyrequest浏览器插件edithiscookie: 官方地址

2020-08-11 21:34:51

Pyechart在Jupyter Lab下无法正确显示图形的问题

问题pyechart是echarts在python下的版本,在jupyter-notebook中有时候会无法正确显示图形,该如何处理?处理办法## 1 声明notebook版本和配置from pyecharts.globals import CurrentConfig, NotebookTypeCurrentConfig.NOTEBOOK_TYPE = NotebookType.JUPYTER_LABimport pyecharts.options as optsfrom pyechart

2020-08-10 23:29:08

Spring Boot中单元测试数据库的切换策略

问题缘起单元测试默认情况下使用嵌入式数据库,例如H2。如果要切换为MySQL,直接移除H2驱动,在application.properties(yml)配置相应的连接信息,都不起作用。那该如何切换配置呢?单元测试数据库在SpringBoot的单元测试中,默认使用嵌入数据库,例如H2,HSQLDB等.默认情况下无需指定具体的嵌入数据库类型,只需要在pom.xml文件中加入相应的数据库驱动即可,示例如下:<dependencies> <!-- 略去其余依赖 ---&g

2020-06-18 08:48:07

Maven项目检查依赖包技巧总结

Maven项目依赖包在Java世界里,Maven用以管理项目的依赖包,其中存在直接依赖和间接依赖,会出现包之间的重复和多版本情况。该如何来检查其当前使用的依赖包版本信息呢?答案是: 使用mvn dependency:tree命令dependency:tree参数1: -Dverbose用法: 输出版本的详细信息,包括被覆盖忽略的版本。[INFO] | - (commons-collections:commons-collections:jar:3.1:compile - omitted

2020-05-27 20:26:46

JDK 8 Stream List转换为Map的duplicate Key异常

Stream List to MapStream提供了List转换为Map提供了非常易用的方法:Collectors.java:public static <T, K, U> Collector<T, ?, Map<K,U>> toMap(Function<? super T, ? extends K> keyMapper, Function<? super T, ?

2020-05-25 09:48:16

MySQL之[42000][1055] Expression #1 of SELECT list is not in GROUP BY clause问题

问题提出MySQL数据表查询语句:select * from t_user where sex = 0 group by home_address having count(id)>0;提示如下错误信息:[42000][1055] Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'spb-db.t_user.id' which is not functionall

2020-05-23 10:32:26

Spring MVC Controller传递枚举值示例

功能描述本文将通过一个小示例,展示在请求参数中传递枚举值。枚举定义角色类定义:public enum RoleEnum { EMPLOYEE((short)1, "Employee"), MANAGER((short)2, "Manager"); private Short value; private String desc; private RoleEnum(Short value, String desc) { this.value = value; this.desc

2020-05-14 11:25:21

Java Generic Method设置类型

问题提出在JUnit中编写单元测试之时,发现如下问题:assertThat其定义如下: public static <T> void assertThat(T actual, Matcher<? super T> matcher) { assertThat("", actual, matcher); }解决修改策略:Assert.<java.lang.String>assertThat(vehicleTeamMemberResDto.

2020-05-12 11:45:40

@WebMVCTest中的404问题分析

问题分析在创建单元测试Controller过程中,碰到了一个问题,具体如下:MockHttpServletResponse: Status = 404 Error message = null Headers = {} Content type = null Body = Forwarded URL...

2020-05-02 17:57:55

Spring UnitTest Http Status 401问题解决

问题提出在编写单元测试过程中,碰到如下问题:MockHttpServletResponse: Status = 401 Error message = Full authentication is required to access this resource Headers = {WWW-Authenticate=[Basic realm=...

2020-04-30 22:28:35

Spring JPA Json循环依赖的问题分析

背景Lombok中的@Data,其等价于:setter/getter、equals、canEqual、hashCode、toString在Spring Data JPA中,对于存在双向依赖的情况,类似如下:@Entity@Table(name="t_user")@Datapublic class User { private Long id; private ...

2020-04-08 22:21:59

"org.hibernate.AnnotationException: No identifier specified for entity"异常分析

环境设置Spring Data JPA, HibernateSpring Boot 2.1.13.RELEASE异常信息:异常信息如下:org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'entityManagerFactory' defined in class...

2020-03-31 10:08:24

Eclipse之Sonar异常问题解决

问题提出在Eclipse中安装sonar插件之后,碰到如下问题:## 问题分析Eclipse版本:其中Sonar版本信息如下:根据其中的问题,怀疑是lombok在自动生成Getter/Setter方法之时,造成的问题。检查当下的lombok版本: 2.18.6问题解决在lombok官方网站上,其最新版本为: 2.18.12在Eclipse中重新安装最新版本2.18.12即可解决...

2020-03-21 15:14:21

PDF提取常用类库

这里写自定义目录标题PDF内容提取Library常用累哭PDF内容提取Library基于工具类,从PDF文件中提取所需的内容。常用累哭pdf.miner点击我pdftoHTML 将PDF直接转化为同等分辨率的HTML文件...

2019-12-28 15:52:17

Spring Async使用以及ThreadPoolTaskScheduler not initialized问题分析

引言在系统中,对于耗时比较多的操作,一般都会使用异步操作,或者单独开一个线程进行处理。在Spring中,直接内置了@Async帮助大家一步到位,简化使用,本文分析其中的一个问题。代码代码最直观,直接上代码: @Slf4j@Configuration@EnableAsyncpublic class AsyncConfig implements AsyncConfigurer { ...

2019-11-14 09:25:23

Macos下查看端口占用信息

查看端口和process IDlsof -nP -i4TCP:8080| grep LISTEN老版本的命令同样支持:lsof -nP -iTCP:PORT∣grepLISTENlsof−nP−i:PORT | grep LISTENlsof -nP -i:PORT∣grepLISTENlsof−nP−i:PORT | grep LISTEN其中$Port为具体的端口号。-n: 查...

2019-11-12 12:05:32

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。