自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

木小鱼的笔记

技术之海,顺势者昌;看问题,要看思路与问题实质

  • 博客(548)
  • 收藏
  • 关注

原创 Data OnLine集合

这里写自定义目录标题目标集合目标记录线上可用的数据集合集合中国诗词 开源诗词周历

2020-10-27 18:08:10 369 2

原创 爬虫常用工具箱

Pythonscrapyrequest浏览器插件edithiscookie: 官方地址

2020-08-11 21:34:51 695

原创 IntelljIdea shortcut 记录

切换至IntellJIdea虽然我是Eclipse的死忠粉,但是也挡不住大家都在用IntellJIdea,于是我也开始尝试使用IntellJIdea了,本文将记录其中高频使用的快捷键。使用系统: macosshortcut...

2019-01-07 19:28:59 1332

原创 Macos快捷键记录

文件操作shift + cmd + n: 创建新的foldercmd + o: 打开文件系统操作cmd +ctrl + q : lock the screencmd + m: 最小化当前的windowscmd + o: 选择打开文件cmd + t: 打开新的Tabcmd + w: 关闭当前的Tabcmd + h: 隐藏当前的windowoption +...

2019-01-05 15:45:09 874

原创 常用使用工具汇总

##录屏工具ev 桌面版免费且无水印,其余收费。 地址KK录屏 免费有水印。地址TechSmith Camtasia 自行网络搜索snagit 截图 + 录屏

2018-09-19 09:45:21 730

原创 Java Awersome

JVMConsole-based JVM monitoring star: 1063 uber jvm-profiler star: 386IDESTS(Spring Tool Suites) 来自spring.io社区的定制化EclipseFrameworkSpring Boot微服务框架 toolsXML L...

2018-08-30 15:59:32 500

原创 JavaScript常用类库推荐

Axios Axios 是一个基于 promise 的 HTTP 库,可以用在浏览器和 node.js 中 [中文说明], [Github], [教程]Lodash 一致性、模块化、高性能的 JavaScript 实用工具库 [官方说明], Animate.css 常用的CSS动画 [官方说明],[效果演示]Annimation Library in Javascript 动画库 [官方...

2018-06-10 18:54:52 4104

原创 常用的学习教程站点推荐

各类免费的教程,很全,即使是很古老的技术,这里也有教程。 TutorialPoint

2018-05-16 10:01:52 594

原创 Scrapy学习资料推荐

推荐资料简明教程 https://www.tutorialspoint.com/scrapy/index.htm 示例代码 https://www.programcreek.com/python/

2018-05-06 19:01:08 2047

原创 Java Coding Tips

Print Map in Java Arrays.toString(map.entrySet().toArray())Print List in Java Arrays.toString(list.toArray())

2018-04-10 14:26:15 438

原创 CentOS常用命令汇总

MySQL命令将新创建的数据分配某个用户访问 grant all privileges on zhouzdb.* to ‘zhouz’@’%’ identified by ‘1234’; flush privilegescentos 7启动/查看服务 systemctl start/restart mariadb.servcie启动或者重启服务 sys...

2017-07-12 16:47:58 1019

转载 转载:MySQL深度分页的问题及优化方案-千万级数据量如何快速分页

原文链接: https://blog.csdn.net/Carson_Chu/article/details/108445426前言后端开发中为了防止一次性加载太多数据导致内存、磁盘IO都开销过大,经常需要分页展示,这个时候就需要用到MySQL的LIMIT关键字。但你以为LIMIT分页就万事大吉了么,Too young,too simple啊,LIMIT在数据量大的时候极可能造成的一个问题就是深度分页。案例这里我以显示电商订单详情为背景举个例子,新建表如下:CREATE TABLE `cps_us

2021-09-06 23:38:44 1023

原创 MySQL explain Type总结

explain在调试优化MySQL中,大家都需要使用explain查看SQL执行计划,其中的字段信息在本文中将逐一详述。基本信息DB: shopping.shool_infoCREATE TABLE `school_info` ( `id` bigint NOT NULL AUTO_INCREMENT, `name` varchar(30) COLLATE utf8_unicode_ci DEFAULT NULL COMMENT '学院名称', `student_num` int DEF

2021-09-06 23:33:35 558

原创 MySQL 回表 & 索引覆盖

索引类型聚簇索引: 叶子节点存储的是行记录,每个表必须要有至少一个聚簇索引。使用聚簇索引查询会很快,因为可以直接定位到行记录普通索引:二级索引,除聚簇索引外的索引,即非聚簇索引。普通索引叶子节点存储的是主键(聚簇索引)的值。聚簇索引递推规则:List item 如果表设置了主键,则主键就是聚簇索引如果表没有主键,则会默认第一个NOT NULL,且唯一(UNIQUE)的列作为聚簇索引以上都没有,则会默认创建一个隐藏的row_id作为聚簇索引索引结构id 是主键,所以是聚簇索引,其叶子节点存

2021-09-06 22:04:54 834 2

原创 MySQL Index Condition小结

什么是index Condition?索引下推(index condition pushdown )简称ICP,在Mysql5.6的版本上推出,用于优化查询。在不使用ICP的情况下,在使用非主键索引(又叫普通索引或者二级索引)进行查询时,存储引擎通过索引检索到数据,然后返回给MySQL服务器,服务器然后判断数据是否符合条件 。在使用ICP的情况下,如果存在某些被索引的列的判断条件时,MySQL服务器将这一部分判断条件传递给存储引擎,然后由存储引擎通过判断索引是否符合MySQL服务器传递的条件,只有当索

2021-09-06 21:36:38 646

原创 Maven之java.lang.ExceptionInInitializerError: com.sun.tools.javac.code.TypeTags异常分析

问题引入在项目中,编译代码过程中出现了如下问题:[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.8.1:compile (default-compile) on project xxx: Fatal error compiling: java.lang.ExceptionInInitializerError: com.sun.tools.javac.code.TypeTags -> [

2021-02-07 21:10:57 11769 7

原创 Macos安装brew攻略

## BrewMacos的apt-get和软件安装快捷方式## brew installoffiical site:https://brew.sh/install instruction:/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"但是在命令行执行之后,会发生如下错误:curl: (7) Failed to connect ...

2021-02-06 00:27:21 469 1

原创 Macos下重置MySQL密码

环境信息Macos Catalina 10.15.7 (19H2)MySQL 8.0.22问题忽然一段时间忘记了MySQL数据库的密码,登录不上去了。该如何办呢?预想中的路径mysqld_safe --skip-grant-tables 设置密码不生效mysql -u root 直接登录重置密码之类的动作结果发现,mysqld_safe无法启动成功,一直被拒绝启动实际重置路径brew uninstall mysql 卸载mysqlbrew install mysql

2020-11-30 09:54:30 1026

原创 Python项目命令行执行无法找到Module(ModuleNotFoundError)

缘起在IDE中可以执行的Python代码,直接在命令行则无法执行,错误信息提示:ModuleNotFoundError: No module named 'xxxxx'原因分析基于命令行执行的时候,当前项目的代码没有作为依赖包放入命令行的依赖环境中PYTHONPATH。解决方案Solution:export PYTHONPATH=$PYTHONPATH:/opt/project_code_path参考文档1 解决python包ModuleNotFoundError问题...

2020-11-11 11:53:04 1146

原创 Scrapy之CsvItemExporter生成的CSV文件乱码解决

环境信息Python 3.6.5Scrapy 2.2导出文件逻辑self.file = open("/Users/chenjunfeng02/Downloads/enrolldata.csv", "wb") self.exporter = CsvItemExporter(self.file, fields_to_export=["provinceCode", "provinceName", "collegeCode", "collegeName"])

2020-09-03 09:01:37 1083 1

原创 Scrapy回调函数callback传递参数的方式

Scrapy回调函数回调方法示例:yield Request(url=self.base_url + 'QueryInfo', headers=self.request_headers, method="POST", body=json.dumps(request_params), callback=self.page_query_schools, cb_kwargs=add_params)callback对应的是page_query_school()即为回调的方法。传递参数方式如何向回调方法中

2020-09-01 23:10:40 5085 2

原创 Excel解决CSV文件中的乱码

背景对于CSV文件中的乱码问题,大概率是编码的问题,可以基于Excel进行编码转换,或将文本进行编码转化。解决办法打开Excel应用,点击文件,新建文件点击文件,选择导入,导入具体的CSV文件选择CSV文件:点击完成即可,然后就可以导入转换之后的信息填入Excel文件。总结基于Excel的转换能力实现乱码内容的转换,是非常简单易用的。...

2020-09-01 22:24:52 1423

原创 Pyechart在Jupyter Lab下无法正确显示图形的问题

问题pyechart是echarts在python下的版本,在jupyter-notebook中有时候会无法正确显示图形,该如何处理?处理办法## 1 声明notebook版本和配置from pyecharts.globals import CurrentConfig, NotebookTypeCurrentConfig.NOTEBOOK_TYPE = NotebookType.JUPYTER_LABimport pyecharts.options as optsfrom pyechart

2020-08-10 23:29:08 3261 1

原创 Spring Boot中单元测试数据库的切换策略

问题缘起单元测试默认情况下使用嵌入式数据库,例如H2。如果要切换为MySQL,直接移除H2驱动,在application.properties(yml)配置相应的连接信息,都不起作用。那该如何切换配置呢?单元测试数据库在SpringBoot的单元测试中,默认使用嵌入数据库,例如H2,HSQLDB等.默认情况下无需指定具体的嵌入数据库类型,只需要在pom.xml文件中加入相应的数据库驱动即可,示例如下:<dependencies> <!-- 略去其余依赖 ---&g

2020-06-18 08:48:07 3898

原创 Maven项目检查依赖包技巧总结

Maven项目依赖包在Java世界里,Maven用以管理项目的依赖包,其中存在直接依赖和间接依赖,会出现包之间的重复和多版本情况。该如何来检查其当前使用的依赖包版本信息呢?答案是: 使用mvn dependency:tree命令dependency:tree参数1: -Dverbose用法: 输出版本的详细信息,包括被覆盖忽略的版本。[INFO] | - (commons-collections:commons-collections:jar:3.1:compile - omitted

2020-05-27 20:26:46 1934

原创 JDK 8 Stream List转换为Map的duplicate Key异常

Stream List to MapStream提供了List转换为Map提供了非常易用的方法:Collectors.java:public static <T, K, U> Collector<T, ?, Map<K,U>> toMap(Function<? super T, ? extends K> keyMapper, Function<? super T, ?

2020-05-25 09:48:16 2749

原创 MySQL之[42000][1055] Expression #1 of SELECT list is not in GROUP BY clause问题

问题提出MySQL数据表查询语句:select * from t_user where sex = 0 group by home_address having count(id)>0;提示如下错误信息:[42000][1055] Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'spb-db.t_user.id' which is not functionall

2020-05-23 10:32:26 1852 3

原创 Spring MVC Controller传递枚举值示例

功能描述本文将通过一个小示例,展示在请求参数中传递枚举值。枚举定义角色类定义:public enum RoleEnum { EMPLOYEE((short)1, "Employee"), MANAGER((short)2, "Manager"); private Short value; private String desc; private RoleEnum(Short value, String desc) { this.value = value; this.desc

2020-05-14 11:25:21 5855

原创 Java Generic Method设置类型

问题提出在JUnit中编写单元测试之时,发现如下问题:assertThat其定义如下: public static <T> void assertThat(T actual, Matcher<? super T> matcher) { assertThat("", actual, matcher); }解决修改策略:Assert.<java.lang.String>assertThat(vehicleTeamMemberResDto.

2020-05-12 11:45:40 551

原创 @WebMVCTest中的404问题分析

问题分析在创建单元测试Controller过程中,碰到了一个问题,具体如下:MockHttpServletResponse: Status = 404 Error message = null Headers = {} Content type = null Body = Forwarded URL...

2020-05-02 17:57:55 2237

原创 Spring UnitTest Http Status 401问题解决

问题提出在编写单元测试过程中,碰到如下问题:MockHttpServletResponse: Status = 401 Error message = Full authentication is required to access this resource Headers = {WWW-Authenticate=[Basic realm=...

2020-04-30 22:28:35 1406

原创 Spring JPA Json循环依赖的问题分析

背景Lombok中的@Data,其等价于:setter/getter、equals、canEqual、hashCode、toString在Spring Data JPA中,对于存在双向依赖的情况,类似如下:@Entity@Table(name="t_user")@Datapublic class User { private Long id; private ...

2020-04-08 22:21:59 1266

原创 "org.hibernate.AnnotationException: No identifier specified for entity"异常分析

环境设置Spring Data JPA, HibernateSpring Boot 2.1.13.RELEASE异常信息:异常信息如下:org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'entityManagerFactory' defined in class...

2020-03-31 10:08:24 1634

原创 Eclipse之Sonar异常问题解决

问题提出在Eclipse中安装sonar插件之后,碰到如下问题:## 问题分析Eclipse版本:其中Sonar版本信息如下:根据其中的问题,怀疑是lombok在自动生成Getter/Setter方法之时,造成的问题。检查当下的lombok版本: 2.18.6问题解决在lombok官方网站上,其最新版本为: 2.18.12在Eclipse中重新安装最新版本2.18.12即可解决...

2020-03-21 15:14:21 812

原创 PDF提取常用类库

这里写自定义目录标题PDF内容提取Library常用累哭PDF内容提取Library基于工具类,从PDF文件中提取所需的内容。常用累哭pdf.miner点击我pdftoHTML 将PDF直接转化为同等分辨率的HTML文件...

2019-12-28 15:52:17 660

原创 Spring Async使用以及ThreadPoolTaskScheduler not initialized问题分析

引言在系统中,对于耗时比较多的操作,一般都会使用异步操作,或者单独开一个线程进行处理。在Spring中,直接内置了@Async帮助大家一步到位,简化使用,本文分析其中的一个问题。代码代码最直观,直接上代码: @Slf4j@Configuration@EnableAsyncpublic class AsyncConfig implements AsyncConfigurer { ...

2019-11-14 09:33:52 8666 1

原创 Macos下查看端口占用信息

查看端口和process IDlsof -nP -i4TCP:8080| grep LISTEN老版本的命令同样支持:lsof -nP -iTCP:PORT∣grepLISTENlsof−nP−i:PORT | grep LISTENlsof -nP -i:PORT∣grepLISTENlsof−nP−i:PORT | grep LISTEN其中$Port为具体的端口号。-n: 查...

2019-11-12 12:07:17 1083

原创 Java程序命令行参数总结

前言: 在命令行中输入可以输入各类参数,本文将针对这些参数做一个小结。基于命令行输入参数测试程序如下:import java.util.Arrays;public class Main { public static void main(String[] args) { System.out.println("System Property, abc:" + System.get...

2019-11-11 23:15:05 3128

原创 Git Hook开发实践总结

前言: Git是由Linus大牛在一周时间内开发出来的分布式版本管理系统,Linux的内核以及各类大小项目都是使用git来管理其版本以及迭代开发。本文将简要介绍其hook的功能,并通过一个特定的hook实现来展示如何来开发hook。1 Git Hookgit在提供了一些列版本功能的功能之外,还提供了若干的扩展机制,由开发团队在其扩展点上根据需要进行定制化功能;例如,提供更为严格的提交规则检查...

2019-11-01 13:40:22 5786

原创 JUnit 4 vs JUnit 5

注解说明单元测试方法功能描述JUnit 4JUnit 5定义方法测试@Test@Test区别:JUnit5中没有声明任何属性,JUnit Jupiter中的测试扩展是基于它们自己的专用注解来完成的。这样的方法会被继承,除非它们被覆盖。JUnit 4中基于属性来设置,timeout和exception两个属性类前置方法功能描述JUnit 4JU...

2019-10-05 10:12:07 1651

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除