- 博客(15)
- 收藏
- 关注
RSS订阅转载 SpringCloudAlibab使用Dubbo+Nacos，重启服务提供者或先启动服务消费者后启动服务提供者的情况下，消费者有时候会出现找不到服务的问题及解决方案
`org.apache.dubbo.rpc.RpcException: No provider available from registry localhost:9090 for service com.hxy.boot.ticket.articles.api.ArticleService on consumer 192.168.137.1 use dubbo version 2.7.8, please check status of providers(disabled, not registered
2022-03-19 15:54:54
3271
3
转载 Hadoop、Spark、Flink简单概要
文章来源：https://www.jianshu.com/p/87951d5dbcd4个人觉得文章写的简单明了，转载保存一下。Hadoop，Spark、Flink是目前重要的三大分布式计算系统·Hadoop用于离线复杂大数据处理·Spark 用于离线快速的大数据处理·Flink 用于在线实时的大数据处理。一、为什么需要分布式计算系统？当前大数据的数据量已达PB级别（1PB=1024TB），可以说是庞大无比。同时数据还有结构化（如数字、符号等）、非结构化（如文本、图像、声音、视频
2022-01-14 22:45:31
3253
原创 java实现编译期自定义注解，自动生成set和get方法
目的：自定义一个@Data注解，实现效果给java类文件编译时为属性自动生成set和get方法实现分为3步：1.idea新建一个maven项目2.新建两个java文件，一个是注解文件，一个是这个注解文件的处理器3.编译测试1.idea新建一个maven的空项目idea->file->new->project->maven->next->finsh空项目是为了学习过程中没有其他额外的东西干扰你，你只需要关注在你学习的东西上2.新建两个java文件2.1:第
2021-11-02 17:00:02
2813
原创 打破流程化推动技术团队在公司的工作模式
又很长时间没有写博客了，还是得批评一下自己，任何理由都不能掩盖不写的事实，写作能让知识更好的沉淀、思路更加的清晰。今天主要是写下自己最近针对技术部做的一些调整和变化，也顺带理顺自己的思路。先说一下当前我们技术部的工作模式，技术部的主要工作就是和产品一起建设公司的产品，公司主要产品有学生和老师的上课平台（视频软件）、官网、学生的微信公众号、学生app、以及公司员工使用的管理后台，随着公司的发展，...
2019-08-18 21:06:49
361
原创 数据仓库之工具Hadoop简单介绍
大数据定义：”大数据“这个名词是近年来随着以hadoop为代表的一系列分布式计算框架的产生发展流行起来的。所谓大数据就是一个数据集合，它的数据量和复杂度是传统的数据处理应用无法应对的。大数据带来的挑战包括数据分析、数据捕获、数据治理、搜索、共享、存储、传输、可视化、更新、和信息安全等。大数据的数据量至少是TB级别的，在当下的信息时代，PB级别也已较为常见。大数据包含的数据大小超越了普通软件工具的...
2019-06-13 16:57:11
815
原创 数据仓库之名词解释
OLTP:On-Line Transaction Processing联机事务处理过程(OLTP),也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响应的方式之一。OLAP:On-Line Analytical Processing联机分析处理是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察...
2019-06-08 21:23:22
2630
原创 数据仓库之简单介绍
什么是数据仓库？一个面向主题的、集成的、随时间变化的、非易失的数据集合，用于支持管理者的决策过程。面向主题：如去年买了100w货以上的用户有哪些？这个场景就是一个销售的数据主题。集成：假设公司有多个产品线分别在不同的数据库，要统计总销量，就可以把各个数据集成在数据仓库随时间变化：数据随着时间变化的情况，能反映在历史时间点的数据快照。非易失：一旦进入到数据仓库中，数据就不应该再有改变。新的...
2019-06-06 19:56:19
156
原创 分布式系统的服务链路追踪原理
场景：开发和运维人员从入口服务A开始查起，确认服务A没有问题，然后到服务B，在服务B中进行排查，确认服务B没有问题，在传递到服务C中进行排查，以此类推。有时查一个问题，会把服务架构中的多个应用查询一遍，而有时出问题的系统恰恰是底层系统，在排查了多个不必要的系统后才能准确的定位问题。如何解决该问题呢？那就是服务调用链路跟踪调用链路跟踪谷歌在2010年发布的Dapper论文中介绍了谷歌分布式系...
2019-05-03 23:00:15
3189
原创 解决分布式系统一致性的问题
一致性随着公司的访问量增加，不但要求对用户的响应速度快，还要求吞吐量的指标向外扩展(即水平伸缩)。于是单节点的服务器已经无法满足需求，又随着人员的增多以及项目的多职责，于是我们谈论最多的话题就是拆分。拆分一般分为水平拆分和垂直拆分，这里的拆分并不单指数据库或缓存，主要是一种分而治之的思想和逻辑水平拆分指由于单一节点无法满足性能需求，需要扩展为多节点。每个节点具有一致性的功能，所有节点共同处理...
2019-04-26 23:15:26
2716
原创 初创型公司技术单系统的痛点和建议
很多初创型的公司，项目沉淀了1-2年，还是单系统架构(一个项目一个数据库一个缓存库)，3、5个人时是一个很正常的状态也不会有什么大的问题，业务迭代可以非常快速，但随着公司的发展业务迭代速度加快，技术团队的人数规模增加，代码库和数据库的内容越来越多，各种问题逐一暴露出来。每次的修改可能都伴随着各个功能块的回归测试，开发成本越来越大。代码的改动，没有覆盖到的面越来越多，导致上线后出问题的概率剧增...
2019-04-09 23:10:05
314
原创 一家旅游互联网公司技术的发展史
12年2月-17年8月，5年半的创业时间，虽然失败了，但也学到了很多东西，在这里记录一下，没有高端的技术，如果能给大家带来一些帮助，不甚荣幸！2012.2周五网启动 项目就是收集景点售卖门票(当时就是跟携程、驴妈妈卖景点门票一样)简单一图概括项目框架：项目核心模块：景区(门票)、交易、用户，后续所有的扩展都是基于这3个核心。这里是景区的大概设计框架：列表主要是走sphinx，单...
2019-03-31 23:38:32
203
原创 老程序员的成长之路
在互联网行业做程序员已经第12个年头了，一直没有沉淀一些东西下来，一路看着别人的技术文章成长起来，也一直觉得自己和这些大牛有着差距，没敢献丑。最近感悟了一些事情 (可能是因为年龄大了)，终于下定决心记录一下自己的历程和足迹。不管写的好与坏，也算是自己成长的一部分。自己学的就是计算机专业，06年底参加工作，实习是跑销售，虽然是销售但卖的东西确是互联网产品，当时就是为了混一份经历，做了2个月后公司就...
2019-03-24 22:46:50
417
原创 redis服务器cpu100%的原因和解决方案
上一篇讲述了由于redis服务器cpu100%导致网站502的问题，今天延续上一篇的内容，说明一下原因和分析过程。首先引起cpu100%可能的几大原因：1.redis连接数过高2.数据持久化导致的阻塞3.主从存在频繁全量同步4.value值过大5.redis慢查询为了模拟redis服务器cpu100%，临时买了一台阿里云ecs，并把那天清空前的redis备份还原到服务器...
2019-03-15 23:26:20
13391
3
原创 由于redis服务器cpu100%的问题导致网站宕机访问大量出现504gateway time-out
背景：某天公司突然发现整个网站访问很慢，请求大部分报502，基本处于宕机状态....时间大概持续一整晚,导致公司大量的投诉直接造成经济损失...网站主要使用的技术栈：nginx+php+mysql+redis阿里云ecs定位问题过程：第一步就去查看mysql服务器状况，是否有慢查询导致，结果是mysql运行良好第二步查看web服务器服务器情况，内存使用偏高，但整体负载并...
2019-03-11 22:47:49
1553
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人