- 博客(849)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 【极客时间】软件工程之美 重新理解软件工程
我的证书课程软件工程之美重新理解软件工程宝玉Groupon 资深工程师，微软最有价值专家已完结·共 55 讲|4.4w 人已学你将获得拿来即用的软件工程方法论； 日常工作的实战场景剖析； 谷歌、微软等公司的最佳实践案例； 从软件工程的视角来思考问题。课程介绍软件工程是一门用工程化方法解决软件项目问题的学科。无论什么岗位，什么职责，只要你从事软件开发相关的工作，都绕不开软件工程，因为不管是工作方法论、团队协同亦或者流程，万变不离其宗，核心都是软件工程。想象下
2023-12-10 11:42:06
150
原创 【极客时间】DDD 实战课 基于 DDD 的微服务拆分与设计
随着分布式技术的快速兴起，我们已经进入到了微服务架构时代。微服务架构的出现，很好地实现了应用之间的解耦，解决了单体应用扩展性和弹性伸缩能力不足的问题。随着业务的复杂度升级，其好处自然不言而喻。那微服务到底怎么拆分和设计才算合理，拆多小才叫微服务？这个尖锐的问题，在业内一直被热议。紧接着，继阿里巴巴成功转型中台战略之后，微服务设计和拆分再至风口浪尖，对于众多公司来说，都是一个不小的挑战。那有没有好的方法来指导微服务和中台的设计呢？当然有，你也可能耳闻过，那就是领域驱动设计（DDD）。
2023-12-10 10:58:40
211
原创 skywalking docker部署报错Out of Memory Error (workerManager.hpp:70)
[0.003s][warning][os,thread] Failed to start thread "GC Thread#0" - pthread_create failed (EPERM) for attributes: stacksize: 1024k, guardsize: 4k, detached.## There is insufficient memory for the Java Runtime Environment to continue.# Cannot create work
2023-11-17 11:27:12
798
原创 swagger json参数动态注解@DynamicParameters
【代码】swagger json参数动态注解@DynamicParameters。
2023-11-10 15:34:53
331
转载 MySQL和Hive数据类型详解
例如，一个数组可以包含不同类型的元素，一个映射可以包含不同类型的键和值，一个结构可以嵌套其他数据类型。3. 字符型（CHAR和VARCHAR）：用于存储字符串，CHAR和VARCHAR区别在于CHAR是定长字符串，VARCHAR是变长字符串。3. 字符型（STRING）：Hive中只有一个字符串类型，用于存储字符串，和MySQL中的VARCHAR类型类似。4. 时间型（DATE、TIME、DATETIME和TIMESTAMP）：用于存储日期和时间，有不同的精度和范围。一、MySQL数据类型。
2023-07-28 14:57:09
782
转载 redis取消/修改密码requirepass后无效
在搭建redis主从集群的时候，一直出现密码问题，之前设置的是默认密码123456.后来发现即使修改了默认密码之后密码还是需要写原来的才能登入，甚至注释requirepass后，还是需要123456的密码。没改之前是一长串加密的东西，我猜就是123456，改成nopass，或者改成自己特定的密码，或者直接删除generated by config rewrite 下面这些东西，问题解决！看了很多文章，要么没法解决，要么下次登入后还是一样的问题，不是一次性能解决的。注意默认改成这个nopass！
2023-07-26 14:58:25
321
转载 docker 启动报错 library initialization failed - unable to allocate file descriptor table - out of memory
(1) LimitNOFILE=infinity 虽然是不限制，但是在systemctl版本小于234的时候不生效，查看systemctl版本：systemctl --version。#修改/lib/systemd/system/docker.service文件。(2) docker容器的ulimit太小了，有文档说太大也不行。docker 启动报错。#重启docker服务。
2023-07-20 09:28:06
3195
1
转载 一站式元数据治理平台——Datahub入门宝典
首先，阿里云也有一款名为DataHub的产品，是一个流式处理平台，本文所述DataHub与其无关。数据治理是大佬们最近谈的一个火热的话题。不管国家层面，还是企业层面现在对这个问题是越来越重视。数据治理要解决数据质量，数据管理，数据资产，数据安全等等。而数据治理的关键就在于元数据管理，我们要知道数据的来龙去脉，才能对数据进行全方位的管理，监控，洞察。DataHub是由LinkedIn的数据团队开源的一款提供元数据搜索与发现的工具。
2023-05-10 17:50:38
1254
原创 github加速-不定期更新（2022-12-23）
github经常打开很慢或打不开，特此记录github加速方法。github加速-不定期更新
2022-12-23 09:06:18
1159
转载 Maven 打包可运行jar包
Maven可以使用mvn package指令对项目进行打包，如果使用Java -jar xxx.jar执行运行jar文件，会出现"no main manifest attribute, in xxx.jar"（没有设置Main-Class）、ClassNotFoundException（找不到依赖包）等错误。要想jar包能直接通过java -jar xxx.jar运行，需要满足：1、在jar包中的META-INF/MANIFEST.MF中指定Main-Class，这样才能确定程序的入口在哪里；
2022-09-28 09:49:15
10668
转载 Maven打包时每次都出现Download maven-metadata.xml卡住的问题解决
Maven打包时每次都出现Download maven-metadata.xml卡住的问题解决
2022-08-16 17:54:46
9449
转载 Java AOP开发模式@Aspect注解说明
2 注解说明2.1 @Aspect作用是把当前类标识为一个切面供容器读取2.2 @Before标识一个前置增强方法，相当于BeforeAdvice的功能，相似功能的还有2.3 @AfterReturning后置增强，相当于AfterReturningAdvice，方法正常退出时执行2.4 @AfterThrowing异常抛出增强，相当于ThrowsAdvice2.5 @Afterfinal增强，不管是抛出异常或者正常退出都会执行2.6 @Around环绕增强，相当
2022-05-26 17:11:52
7193
原创 spring boot 配置redis 哨兵模式报错
Cannot connect Redis Sentinel at RedisURI ERR AUTH <password> called without解决：sentinel下面的password注释掉，如下：spring: redis: database: 0 host: ip #哨兵模式无效 lettuce: pool: max-active: 8 #最大连接数据库连接数,设 0 为没有限制 max-i
2022-04-20 11:01:09
3628
1
原创 idea tomcat 日志乱码问题的解决
idea tomcat 日志乱码问题的解决： 在 tomcat / conf 目录下，设置 logging.properties ，增加参数 java.util.logging.ConsoleHandler.encoding = GBK
2022-03-08 09:28:22
104
原创 用redis给定时任务Scheduled加分布式锁
主要用到redis的setIfAbsent设置key，它的特点是：如果key已经存在，则返回false，可表示未获取到锁，否则返回true，表示获取到锁；另外，定时任务的锁比一般提交事务的锁简单一些，如果同一个定时任务的多个实例抢一把锁，抢不到锁的可以退出，等待下一个时间周期，自动实现了锁自旋的效果；还有，在定时任务的业务循环内部加一个延长锁时间的设置。Talk is cheap. Show me the code：@Component@Slf4jpublic class JobSer
2021-12-25 11:16:42
2728
原创 使用BeanUtils对List集合的操作
import org.springframework.beans.BeanUtils;import java.util.ArrayList;import java.util.List;import java.util.function.Supplier;public class MyBeanUtils extends BeanUtils { public static <S, T> List<T> copyListProperties(List<S>.
2021-10-26 12:37:44
1030
原创 cloud gateway网关无法处理@RestControllerAdvice注解的异常
XXXExceptionHandler此类是公共类，在cloud gateway项目引用报错，而其他项目不报错，因此加排除条件：@ConditionalOnClass(javax.servlet.ServletException.class)@RestControllerAdvicepublic class XXXExceptionHandler在cloud gateway项目排除此类：@ConditionalOnClass(javax.servlet.ServletException.cla
2021-10-22 10:12:50
508
原创 spring cloud feign 注入错误
***************************APPLICATION FAILED TO START***************************Description:Field feignUserService in com.*** required a bean of type 'com.***.feignService.FeignUserService' that could not be found.The injection point has the fol..
2021-10-20 11:29:55
1764
原创 推荐机制 协同过滤和基于内容推荐的区别
基于人口统计学的推荐基于人口统计学的推荐机制（Demographic-based Recommendation）是一种最易于实现的推荐方法，它只是简单的根据系统用户的基本信息发现用户的相关程度，然后将相似用户喜爱的其他物品推荐给当前用户，图 2 给出了这种推荐的工作原理。图 2. 基于人口统计学的推荐机制的工作原理从图中可以很清楚的看到，首先，系统对每个用户都有一个用户 Profile 的建模，其中包括用户的基本信息，例如用户的年龄，性别等等；然后，系统会根据用户的 Profile 计算用户
2021-04-02 22:11:18
350
转载 Kafka学习之路 （二）Kafka的架构
目录一、Kafka的架构 二、Topics和Partition 三、Producer消息路由 四、Consumer Group 五、Push vs. Pull 六、Kafka delivery guarantee正文回到顶部一、Kafka的架构如上图所示，一个典型的Kafka集群中包含若干Producer（可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐.
2021-01-07 21:31:23
150
转载 Kafka学习之路 （一）Kafka的简介
目录一、简介 1.1 概述 1.2 消息系统介绍 1.3 点对点消息传递模式 1.4 发布-订阅消息传递模式 二、Kafka的优点 2.1 解耦 2.2 冗余（副本） 2.3 扩展性 2.4 灵活性&峰值处理能力 2.5 可恢复性 2.6 顺序保证 2.7 缓冲 2.8 异步通信 三、常用Message Queue对比 3.1 RabbitMQ 3.2 Redis 3.3 ZeroMQ 3.4 ActiveMQ 3.5
2021-01-07 21:29:02
153
原创 spring boot 整合session存储到redis
pom.xml<dependencies> <!-- ... --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> <dependency> <groupI
2021-01-06 09:14:43
315
原创 java 解决跨域的几种方案和注意事项
一、原始方案response.setHeaderresponse.setHeader("Access-Control-Allow-Origin","*");response.setHeader("Access-Control-Allow-Credentials", "true");response.setHeader("Access-Control-Allow-Methods", "POST, GET, PATCH, DELETE, PUT");response.setHeader("Acces
2021-01-05 14:00:03
420
转载 linux 重启命令小结(init 6 shutdown -r now reboot)
1.1一般在linux中，我们重启会用到这三个命令：init 6 调用shutdown脚本重新启动 shutdown -r now 立即停止然后重新启动 reboot 重新启动 1.2 reboot命令重启动系统时是删除所有的进程，而不是平稳地终止它们。因此，使用reboot命令可以快速地关闭系统，但如果还有其它用户在该系统上工作时，就会引起数据的丢失。所以使用reboot命令的场合主要是在单用户模式。'reboot'并不执行这些过程，reboot更是一个kernel级别的
2020-12-17 16:40:52
1638
原创 spring cloud Feign 微服务服务之间调用传递token
问题：微服务调用需要验证token，而且token放在header里解决：import feign.RequestInterceptor;import feign.RequestTemplate;import org.springframework.web.context.request.RequestContextHolder;import org.springframework.web.context.request.ServletRequestAttributes;import
2020-11-26 16:42:11
1476
转载 js-xlsx 读取Excel解析
近期公司开始做绩效，某一天上午 HR 妹纸发了份 Excel 模板过来，让我下发给小组内成员填写。当天下午下班前，组内的绩效表就收齐了，接下来我就开始进入下一个环节，逐一打开每个 Excel 表为每个人打分。由于只有十几份绩效表，所以很快就打完分了。不过问题来了，虽然已经打完分了，但我对小组内成员的每个考核项得分和总分的情况却还是一片空白。想要一目了然，当然得简单做个统计报表咯。那么如何收集每个人的数据呢？当然最简单的方式就一个个打开组内成员的绩效表，然后一个个统计，不过对于这种方式，我是拒绝的。作为一个
2020-09-28 11:11:04
6318
3
原创 【react】 后端返回图片或者json错误 ，前端加载和隐藏错误图片
后端返回图片或者json错误 ，前端加载和隐藏错误图片利用 img 的 onLoad 和 onError 方法：import React from 'react'; class ImgLoad extends React.Component { constructor(props) { super(props); this.state = { imageStatus: null,isError:true }; } handleImageLoaded() {
2020-09-17 21:54:32
376
原创 elasticsearch中如何高效的使用filter
elasticsearch里面有BOOLfilter、AND、OR、NOTfilter，这几个看起来很相似，都有什么区别呢？什么时候用boolfilter？什么时候用AND filter呢？事实上，bool filter和AND 、OR、NOT filter 是完全不同，在查询性能上面的影响是非常大的。首先咱们需要了解的是filter里面都是怎么工作的，其中核心的一个东西叫BitSet，可以理解为一个很大的bit数组，数组里面的每个元素有2个状态:0和1（bloom filter知道么？），而f..
2020-09-14 18:30:43
1014
原创 spring boot + shiro + RequiresPermissions 的 controller 中 swagger 无法读取
问题：pring boot + shiro + RequiresPermissions 的 controller 中 swagger 无法读取 方法解决：在标注@Configuration 的类中加入以下代码： /** * 解决@RequiresPermissions注解的controller，swagger就读取不到的问题 * @return */ @Bean public DefaultAdvisorAutoProxyCreator d
2020-09-08 11:34:09
544
转载 Postgresql 创建主键并设置自动递增的三种方法
Postgresql 有以下三种方法设置主键递增的方式，下面来看下相同点和不同点。--方法一create table test_a( id serial, name character varying(128),constraint pk_test_a_id primary key( id));NOTICE: CREATE TABLE will create implicit sequence "test_a_id_seq" for serial column "test_a.id"...
2020-09-02 18:03:43
581
转载 MySql避免重复插入记录方法(ignore,Replace,ON DUPLICATE KEY UPDATE)
本文章来给大家提供三种在mysql中避免重复插入记录方法，主要是讲到了ignore,Replace,ON DUPLICATE KEY UPDATE三种方法，各位同学可尝试参考。案一：使用ignore关键字如果是用主键primary或者唯一索引unique区分了记录的唯一性,避免重复插入记录可以使用：代码如下 复制代码 1 INSERT IGNORE INTO `table_name` (`email`, `phone`, `user_id`) VALUES ('[email protected].
2020-08-28 23:16:04
181
转载 mysql：insert ignore、insert和replace区别
指令 已存在 不存在 举例 insert 报错 插入 insert into names(name, age) values(“小明”, 23); insert ignore 忽略 插入 insert ignore into names(name, age) values(“小明”, 24); replace 替换 插入 replace into names(name, age) values(“小明”, 25); 表要
2020-08-28 23:14:51
181
转载 Open Distro for Elasticsearch
Amzone 2019 年 3 月正式推出 Open Distro for Elasticsearch。这是 Elasticsearch 的一个增值发行版，100% 开源（采用 Apache 2.0 许可证）并且由 AWS 提供支持。Open Distro for Elasticsearch 利用了 Elasticsearch 和 Kibana 的开放源代码。个人很欣赏 Elastic 的 Shay Banon 的，他对 Amzone 的 Open Distro 应该是很不爽，但是对于现在的 Elast
2020-08-17 08:55:58
1879
转载 Elasticsearch全文检索优化研究
Elasticsearch全文检索优化研究背景今年工作的一个重点是“新技术新模式”的导入和研究。Elasticsearch技术比较火，各项目和产品用的都也比较多。其中某团队遇到一个问题：“在TB级的数据量下进行全文检索时，ES集群检索响应速度比较慢”。虽然由于各种原因没有接触到系统，没有看到代码，甚至都没见到具体现象，但是任务分配下来了，就要有结果就要出方案。“没吃过猪肉，也得先见见猪跑”，先在一个30GB级别的ES集群下做一下优化研究。全文检索的原理全文检索的定义 全文检索和普通查询最大
2020-08-17 08:54:16
277
转载 如何在Elasticsearch中进行深分页
如何在Elasticsearch中进行深分页业务背景在传统业务系统中，一个常见的信息展现方式就是“分页列表”，随着数据量的增大，就会遇到“深分页”问题。比如用户一页一页的翻，一直翻到第5万页。比如导出全部列表数据到excel，实现时一页一页的把数据追加到excel，直到导出全部数据。“深分页”通常的一个问题就是：随着页数越来越大，ES或者关系数据库响应越来越慢，甚至内存溢出OOM！其中的原理是什么呢？如何在ES中进行深分页呢？技术原理 分页的本质 分页的本质是从“大的数据集”中取出一部分
2020-08-17 08:53:56
231
转载 Elasticsearch发展史
简介Elasticsearch是当前比较流行的开源的分布式搜索和数据分析引擎，具备易使用、高性能、扩展性强等特点。是ElasticStack的核心组件，以其为核心构建的ELK，已经是日志分析领域的事实标准。Elasticsearch是怎么一步一步发展成熟的呢？You Know，for Search2010年2月8日， Shay Banon 发表了一篇博客，说他基于Lucene开发（封装 ？？？）了一个分布式搜索引擎，实现了一些功能。。。0.7.02010年5月14日发布,第一个可以查
2020-08-15 15:33:39
309
转载 基于open_distro的ES用户管理（授权）
基于open_distro的ES用户管理（授权）背景open distro for elasticsearch 是由亚马逊AWS支持的基于Apache License,Version 2.0协议的100%开源的Elasticsearch发行版。与Elastic公司官方的Elasticsearch版本最大的区别是:剔除了基于elastic协议发布的xpack插件,增加了开源插件。新增插件功能包括安全、告警、索引生命周期管理、性能分析、SQL等企业级功能。简单理解就是集成了开源版xpack插件的elas
2020-08-15 15:11:06
824
mongodb同步工具mongosync
2016-12-12
EasyHosts hosts文件管理工具
2011-08-28
Android WiFi手机摄像头 SECuRET LiveStream （英文版）
2011-02-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人