- 博客(614)
- 资源 (4)
- 收藏
- 关注
RSS订阅
转载 linux下保证高可用Java服务化系统高效运行的必备工具脚本
无论是技术开发人员还是架构设计人员都是在实践中成长起来的，他们通过实践进行总结，总结后把经验升华并再次应用到实践中去，进一步提供生产效率。本文介绍笔者在互联网公司里线上应急和技术攻关过程中积累的应用层脚本和Java虚拟机命令，这些脚本和命令在发现问题和定位问题的过程中起到关键作用，在特定的问题环境下，堪称快速定位问题的小倚天剑以及快速解决问题的微屠龙刀。本文在介绍脚本和命令之前，先给大家介...
2020-01-12 11:23:46
514
转载 后台性能优化实践实战
近年来公司的业务数据量和用户流量都呈现出了非常迅猛的增长趋势，为了解决历史架构设计中的不足，应对诸多因素引发的风险并保证通天塔平台的稳定运行，通天塔后端组专项成立了一个“通天塔后端技术优化组”，号召并鼓励团队每个人积极参与进来，全盘分析和梳理、技术设计和技术Review、形成技术优化需求、排期、自测和验证效果、Code Review、制定灰度和上线计划、上线、总结经验并形成未来可借鉴的方法。本...
2020-01-12 10:03:45
734
原创 聊聊性能：全链路压测 overview
全链路压测是保障业务稳定性，用户体验的重要手段，从宏观角度，我觉得全链路压测的作用和意义可以抽象为3个： 发现问题，定位和止损问题，预见问题。01发现问题如何有效识别线上问题？现有的流程能够保证开发环节， 集成环节，预发灰度，线上； 由于真实的线上环境往往很复杂， 经常发生的一个问题是我们在现在测试，功能，性能等等， 线上还是出现问题。全链路压测解题的角度是“真实的用户场景”和“...
2019-03-02 11:15:35
885
1
转载 Redis数据库看这一篇文章就够了
https://www.tuicool.com/articles/aIvyyii前言redis作为nosql家族中非常热门的一员，也是被大型互联网公司所青睐，无论你是开发、测试或者运维，学习掌握它总会为你的职业生涯增色添彩。当然，你或多或少已经了解redis，但是你是否了解其中的某些细节，本片文章将详细介绍redis基础，后续也会介绍其高级部分如、持久化、复制、集群等内容，希望对你有所...
2018-07-25 11:12:03
51319
4
原创 运维相关开源工具总汇
Bootstrapping： 云霁X86装机工具、Kickstart、Cobbler、rpmbuild/xen、kvm、lxc、Openstack、 Cloudstack、Opennebula、Eucalyplus、RHEV配置类工具: Capistrano、Chef、puppet、func、salstack、Ansible、rundeck、CFengine、Rudderweb管理平台: Redi...
2018-07-17 13:48:34
2619
2
转载 一个十几年程序员给所有新老程序员的忠告
https://www.tuicool.com/articles/ZFR3mmv（一）三年前的一个项目经验主要讲的是作者帮公司拉了一个政府的项目，但是由于经验较少，谈的价格很低，还有很多细节刚开始没有谈到，后面相当于收了很少的钱，給政府干了一个比较完善的项目，这节的经验就是：程序员一般不应该直接和客户谈项目，应该让专业的人去谈，他能把10万的项目谈到50万或更多。（二）2005年我的第一次软件创业...
2018-03-29 15:07:13
10195
12
转载 关于实施DevOps持续集成的整理
第一部分：实施DevOps的八个常见步骤https://www.tuicool.com/articles/QbueymE Gartner的研究主管George Spafford说：“由于缺少标准的定义和方法，处于不断发展中，需要接受和管理风险，DevOps对传统IT思维提出了挑战。这个不确切的目标状态导致许多IT部门犹豫不决、不敢实施DevOps策略。”虽然没有一系列具体的所需阶段，但Spaffo...
2018-03-22 15:13:13
3016
3
原创 记一次Redis数据库漏洞被入侵现象
服务器状态：为了便于研发，把公司购买的云服务器上的一台内网服务器，主要目的是，把开放服务器上的Redis数据库服务，便于相关研发人员调用使用。出现的现象问题：CPU基本满负荷（估计是被当做肉鸡），出现SSH登录不上服务器的情况。挂了电话后我就登上了阿里云账号，看了一下自己Mem和CPU的使用状况，Mem倒没撒，CPU确实一直是一条直线,一直是百分之百。后来我就看了ps -aux看了进程cpu和内存...
2018-03-21 15:40:49
6448
原创 运维体系框架标准化模型简介
为什么要做标准化？标准化的过程实际上就是对运维对象的识别和建模过程。形成统一的对象模型后，各方在统一的认识下展开有效协作，然后针对不同的运维对象，再抽取出它们所对应的运维场景，接下来才是运维场景的自动化实现。这有点像我们学的面向对象编程的思想，其实我们就是需要遵循这样一个思路，我们面对的就是一个个实体和逻辑运维对象。在标准化的过程中，先识别出各个运维对象，然后我们日常做的所
2018-02-01 11:05:49
9669
翻译 Java开发人员必知必会的20种常用类库和API
一个有经验的Java开发人员特征之一就是善于使用已有的轮子来造车。《Effective Java》的作者Joshua Bloch曾经说过：“建议使用现有的API来开发，而不是重复造轮子”。在本文中,我将分享一些Java开发人员应该熟悉的最有用的和必要的库和API。顺便说一句，这里不包括框架，如Spring和Hibernate因为他们非常有名,都有特定的功能。本文总结了日志、JSON解析、单
2018-01-31 14:32:43
34626
8
转载 使用SpringBoot开启微服务之旅（详细步骤）
https://www.tuicool.com/articles/YJZ3amq本文要点微服务可以使你的代码解耦微服务可以使不同的团队专注于更小范围的工作职责、使用独立的技术、更安全更频繁地部署SpringBoot支持各种REST API的实现方式服务发现和服务调用是独立于服务平台的Swagger生成稳健的API文档和调用接口如果还没有准备好使用微服务，那你
2018-01-12 09:54:17
43045
1
转载 前后端分离实践
https://segmentfault.com/a/1190000012747428?utm_source=tuicool&utm_medium=referralhttps://www.tuicool.com/articles/iuaeInu前后端分离并不是什么新鲜事，到处都是前后端分离的实践。然而一些历史项目在从一体化 Web 设计转向前后端分离的架构时，仍然不可避免的会遇
2018-01-09 09:52:17
991
转载 机器学习算法Python实现
https://github.com/lawlite19/MachineLearning_Python?utm_source=tuicool&utm_medium=referral目录机器学习算法Python实现一、线性回归1、代价函数2、梯度下降算法3、均值归一化4、最终运行结果5、使用scikit-learn库中的线性模型实现二、逻辑回归1、代价
2018-01-05 13:34:45
969
转载 软件开发软技能：“从无意识的故障中学习”模式
本文要点软技术模式是经证实可解决常见问题的个人和人际交互行为的组合。系统故障几乎不可能完全避免，但同时每次故障也都带来了改进的机会。“从无意识的故障中学习”模式指导我们在故障事件后改进系统的弹性。该模型有四个独立的步骤：识别故障、快速解决即时影响、分析根本原因和故障期的系统行为，最终形成并实现改进思路。召开事件分析会时必须开放、坦诚、不加责备，这样才能促成借助故障改进系统弹性。
2018-01-04 15:03:04
620
转载 从零开始使用深度学习训练一个新闻分类器(干货)
https://mp.weixin.qq.com/s/qR-d9Zay-7NJZgmYYlwn0A?utm_source=tuicool&utm_medium=referral我们在浏览新闻的时候，通常会看到新闻网站对每个新闻都进行了分类：新闻分类的应用相当广泛。对于网站来说，可以根据你看得较多的新闻类别给你推荐新闻；对于用户来说，则是可以忽略掉不感
2017-12-29 10:12:19
4756
1
转载 一切皆API的大环境下，如何打造API Everything？
http://dbaplus.cn/news-141-1815-1.html?utm_source=tuicool&utm_medium=referral今天分享讲的和API架构相关，饿了么API Everything框架建设是一个不断演进的过程，借这个机会跟大家分享一二。 1 什么是API Everything
2017-12-25 15:01:42
2687
转载 超全！基于Java的机器学习项目、环境、库...
https://yq.aliyun.com/articles/278837?utm_source=tuicool&utm_medium=referral摘要： 你是一名希望开始或者正在学习机器学习的Java程序员吗？ 利用机器学习编写程序是最佳的学习方式。你可以从头开始编写算法，但是利用现有的开源库，你可以取得更大的进步。 本文介绍了主要的平台和开放源码的机器学习库。你是一
2017-12-07 16:36:29
11139
转载 一文读懂特征工程
https://mp.weixin.qq.com/s/CkDzLZCXOF6zzrn6_dd6Jw?utm_source=tuicool&utm_medium=referral本文结构1. 概述机器学习被广泛定义为“利用经验来改善计算机系统的自身性能”。事实上，“经验”在计算机中主要是以数据的形式存在的，因此数据是机器学习的前提和基础。数据来源多种多样，它
2017-06-20 10:25:48
2003
转载 到底什么时候该使用MQ？（MQ使用场景分析）
https://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651960012&idx=1&sn=c6af5c79ecead98daa4d742e5ad20ce5&chksm=bd2d07108a5a8e0624ae6ad95001c4efe09d7ba695f2ddb672064805d771f3f84bee8123b8a6&scene=21#w
2017-06-12 20:00:42
3652
3
转载 计数系统架构实践一次搞定 | 架构师之路
https://mp.weixin.qq.com/s/cCnPGRQ6LZHg8-7FRJLaKQ?utm_source=tuicool&utm_medium=referral一、需求缘起很多业务都有“计数”需求，以微博为例：微博首页的个人中心部分，有三个重要的计数：关注了多少人的计数粉丝的计数发布博文的计数
2017-06-09 15:16:04
565
转载 Stitch Fix的创新和突破——用数据的心智经营公司
http://www.sohu.com/a/128980775_470008首先，请允许作者引用狄更斯的名言开头，相信很多人都非常熟悉：这是最好的时代，这是最坏的时代， 这是智慧的时代，这是愚蠢的时代； 这是信仰的时期，这是怀疑的时期； 这是光明的季节，这是黑暗的季节； 这是希望之春， 这是希望之冬。为什么引用这样的话开头？众所周知，从1969年英美等发达国家年率先进入
2017-06-07 10:24:32
11810
原创 基于OpenLayer的室内地图前端设计开发
使用Open Layers 3 技术开发设计 室内地图定位前端显示界面，主要功能包括实时位置定位，个性化围栏标绘，历史轨迹回放。实时定位（点标记弹窗）：围栏标绘：历史轨迹：
2017-06-05 14:25:04
26062
17
转载 记住一个公式就能成为“标题党”？（怎么做吸引人的标题）
很多时候我们会特别迷恋技巧类的干货文章，比如“1分钟学会把妹”、“一个月涨粉10w的三大秘诀”等等。然而当干货堆积如山，却发现自己只是捡了一麻袋的沉重沙子，并没有什么卵用，于是便有了“听过了很多道理，依旧过不好这一生”的说法。本文要做，不是简单地罗列“看似很有用的干货”，而是去分析干货的背后逻辑与本质，把沉重的沙子换成轻便的货币，把繁杂的干货浓缩成一条简单的公式。其实，
2016-05-13 15:58:38
50287
1
原创 JTS-Java图形拓扑学习笔记
请注意，KD树的结构取决于插入点的顺序。当基站数量在二个以上时，全平面会划分为多个包罗一个基站的区域，区域中任何一点都与本区域内基站间隔最近，是以这些个区域可以看作是基站的覆盖区域，我们将这种由多个点将平面划分成的图称为泰森多边形，又称为Voronoi 图。JTS由加拿大的VividSolutions公司开发，是一个用Java语言描述的几何拓扑套件，遵循OpenGIS的Simple Feature Specification，封装了2D几何类型和非常多的空间分析操作，而且包含了不少常见的计算几何算法实现。
2023-07-07 11:10:54
1941
转载 高并发短信平台实现
01、短信介绍在项目介绍的时候，已经定义了austin项目的核心功能：发送消息我认为，短信是在一整个消息推送平台里最重要的一个消息类型了（毕竟关联了很多重要的业务场景），想想我们日常使用APP时的场景：验证码：登录注册、支付等等重要场景 通知类：用户订单信息、重要信息通知用户、重要信息通知商家等等场景 营销类：运营在特定时间内发送营销短信，影响业务的KPI指标完成（不过这个相对就没那么重要） ...（试想下，如果系统挂了10分钟，会怎么样）发送短信在消息推送平台里比较容易实现的一
2022-01-11 11:13:55
1672
原创 Spring Boot 集成 Druid 批量插入数据和效率监控配置
Spring Boot 集成 Druid 批量插入数据和效率监控配置最近新的项目写了不少各种insertBatch的代码，例如excle导入，批量导入的方式很多，如何选择困扰着大家。下面为大家分析常见的批量插入方法和效率。本文只设计单线程，多线程甚至生产者消费者模式后续补充。
2022-01-06 10:43:13
2273
转载 如何画出一张优秀的软件文档视图
技术传播的价值，不仅仅体现在通过商业化产品和开源项目来缩短我们构建应用的路径。加速业务的上线速率，也体现在优秀工程师的工作效率提升、产品性能优化和用户体验改善等经验方面的分享，以提高我们的专业能力。接下来，阿里巴巴技术专家三画，将分享自己和团队在画好架构图方面的理念和经验，希望对你有所帮助。当我们想用一张或几张图来描述我们的系统时，是不是经常遇到以下情况：对着画布无从下手、删了又来 如何用一张图描述我的系统，并且让产品、运营、开发都能看明白 画了一半的图还不清楚受众是谁 画出来的图到底是产
2021-09-30 15:33:11
1354
转载 百亿级流量大型分布式系统平台架构设计实战
本文是学习大型分布式网站架构的技术总结。对架构一个高性能、高可用、可伸缩及可扩展的分布式网站进行了概要性描述，并给出一个架构参考。文中一部分为读书笔记，一部分是个人经验总结，对大型分布式网站架构有较好的参考价值。- 大型分布式网站架构技术 -1、大型网站的特点 用户多，分布广泛 大流量，高并发 海量数据，服务高可用 安全环境恶劣，易受网络攻击 功能多，变更快，频繁发布 从小到大，渐进发展 以用户为中心 免费...
2021-09-15 11:05:57
853
转载 史上最全云原生全景图解读攻略
带你了解云原生技术图谱如果你研究过云原生应用程序和相关技术，大概率你遇到过 CNCF 的云原生全景图。这张全景图技术之多、规模之大无疑会让人感到震惊，那么我们该如何去理解这张图呢？如果把它拆开来，一次只分析一小块内容，你会发现整个全景图没有那么复杂。事实上，该全景图按照功能有序地组织在一起，一旦你了解了每个类别代表的内容，你就可以轻松游走于全景图中。本文我们首先把整个全景图拆解开来，并对整个全景图进行综述，接着聚焦在每一层（or 每一列），对每个类别解决的问题和原理进行了更为详细的解读。
2021-07-13 14:43:53
783
原创 Socket应用——Java IO演进之路
一 BIO/** * Alipay.com Inc. Copyright (c) 2004-2020 All Rights Reserved. */package io; import java.io.*;import java.net.ServerSocket;import java.net.Socket;/** * @author xiangyong.ding * @version $Id: TestSocket.java, v 0.1 2020年08月02日 20:5.
2021-06-29 10:39:30
178
转载 图数据库概念普及-你不知道就亏了
摘要：图数据库，如果是刚接触的人，可能会被其字面意思所误导。其实，图数据库并不是指存储图片、图像的数据库，而是指存储图这种数据结构的数据库。那么图又是什么呢？本文分享自华为云社区《图数据库到底是个啥》，原文作者：你好_TT 。近些年来，在大数据处理过程中有一种被广泛提及和使用的数据库，那就是图数据库。那么图数据库究竟是什么呢？图数据库，如果是刚接触的人，可能会被其字面意思所误导。其实，图数据库并不是指存储图片、图像的数据库，而是指存储图这种数据结构的数据库。那么图又是什么呢？什么是图...
2021-05-21 11:03:05
1078
原创 SpringBoot简单的线程主动监测死锁-入门教学
SpringBoot2.x引入了Micrometer,重点支持了tag,而tag是prometheus和influxdb这类新兴监控存储相关中间件天然特性.而本文主要讲述检测程序中是否有死锁发生,这部分使用的是dropwizard-metrics的metrics-healthchecks来实现的.死锁检测配置首先引入对应的包依赖,maven: <dependency> <groupId>io.dropwizard.metrics</g
2021-04-28 10:57:05
914
转载 如何使用Arthas提高日常开发效率？
1. Arthas有什么功能，怎么用，请看：Arthas使用手册2. Arthas命令比较复杂，一个帮助生成命令的IDEA插件：arthas idea plugin 使用文档3. 基于Arthas实现的简单好用的热部署插件：ArthasHotSwap一 引言首先我们应该抛弃面向debug编程的思维，debug不一定是最高效的方法，遇到线上问题不能debug了怎么办。本文介绍如何使用Arthas代替debug提高日常开发效率。开始之前，可以先浏览下上面推荐的这些文章，下面所使用到的东西在..
2021-04-28 10:55:27
293
转载 代码重构技巧宝典，学透本篇就足够了！
项目在不断演进过程中，代码不停地在堆砌。如果没有人为代码的质量负责，代码总是会往越来越混乱的方向演进。当混乱到一定程度之后，量变引起质变，项目的维护成本已经高过重新开发一套新代码的成本，想要再去重构，已经没有人能做到了。造成这样的原因往往有以下几点： 编码之前缺乏有效的设计 成本上的考虑，在原功能堆砌式编程 缺乏有效代码质量监督机制 对于此类问题，业界已有有很好的解决思路：通过持续不断的重构将代码中的“坏味道”清除掉。什么是重构重构一书的作者Martin Fowle
2021-04-27 18:34:13
316
转载 数据质量专项治理在政务大数据中的应用实践
根据我们的研究和实践，我们认为数据资产管理活动可以分为三个方面： 第一是让数据用起来 第二是让数据用得放心 第三是让数据创造价值 我们的政府部门，尤其是政府的大数据管理部门，在过去十几年中，针对“让数据用起来”做了很多工作，建设了诸如数据交换平台、数据共享平台、数据资源目录、基础库、主题库，甚至数据中台、数据湖等这样的项目。但是这些项目建设完后，所建设的数据中心的建设成果还不够理想，尤其是数据质量上，在使用过程中还是发现很多的数据质量问题。比如，一些政府部门建设了诸如领导驾
2021-04-26 10:19:03
340
转载 关于JAVA程序内存安全、内存泄漏问题，你应该了解的几点！
Java在内存管理方面是要比C/C++更方便的，不需要为每一个对象编写释放内存的代码，JVM虚拟机将为我们选择合适的时间释放内存空间，使得程序不容易出现内存泄漏和溢出的问题不过，也正是因为Java把内存控制的权利交给了Java虚拟机，一旦出现内存泄漏和溢出方面的问题，如果不了解虚拟机是怎么使用内存的，那排查错误将会成为一项异常艰难的工作下面先看看JVM如何管理内存的内存管理根据Java虚拟机规范(第3版) 的规定，Java虚拟机所管理的内存将会包括以下几个运行内存数据区域：线程隔离数据区
2021-04-22 19:17:33
813
转载 工具类——全面系统的认识 Nginx，学习这一篇就够了
作为一名前端开发人员，你是不是经常碰到领导让你上服务器去修改Nginx配置，然而你会以“我是前端，这个我不会”为理由搪塞过去呢！今天就让我们一起告别这种尴尬，向“真正”的程序员迈进！Nginx 概述Nginx是开源、高性能、高可靠的Web和反向代理服务器，而且支持热部署，几乎可以做到 7 * 24 小时不间断运行，即使运行几个月也不需要重新启动，还能在不间断服务的情况下对软件版本进行热更新。性能是Nginx最重要的考量，其占用内存少、并发能力强、能支持高达 5w 个并发连接数，最重要的...
2021-04-14 20:20:39
284
转载 全面理解 Redis 雪崩、击穿、穿透、预热、降级一次全安排
关于 Redis 的介绍、特点什么的就不再这里赘述了，不然又要水千把字。今天我们就重点看企业中在使用 Redis 常见一些问题以及对应解决方案。某个请求到达业务系统，想要获取某个数据，一般是先从缓存中获取，如果缓存中不存在就会去数据库中查询，如果查询到结果就将数据保存到缓存中再返回结果。一个新的技术的引进，必然会带来一些额外的问题，那么 Redis 这么优秀的 NoSQL 数据库会带来什么样的问题呢？我们一起拭目以待。缓存击穿缓存击穿根据名字根本无法看懂是什么意思，并且很容...
2021-04-14 20:18:39
191
转载 十万级低成本超详细的秒杀高并发设计，快收藏起来
秒杀系统相信很多人见过，比如京东或者淘宝的秒杀，小米手机的秒杀，那么秒杀系统的后台是如何实现的呢？我们如何设计一个秒杀系统呢？对于秒杀系统应该考虑哪些问题？如何设计出健壮的秒杀系统？本文我们就来探讨一下这个问题。秒杀应该考虑哪些问题超卖问题分析秒杀的业务场景,最重要的有一点就是超卖问题，假如备货只有100个，但是最终超卖了200，一般来讲秒杀系统的价格都比较低，如果超卖将严重影响公司的财产利益，因此首当其冲的就是解决商品的超卖问题。高并发秒杀具有时间短、并发量大的特点，秒杀持续时间只
2021-03-29 10:18:11
612
转载 干货|如何入门Service Mesh微服务架构
今天要和大家分享的是关于新一代微服务架构——Service Mesh的具体玩法！在微服务架构盛行的今天，作为一名互联网技术从业人员，对于微服务的概念相信大家都已经耳熟能详了！而至于像Spring Cloud这样的微服务框架，因为大部分互联网公司都在此基础上构建过第一代微服务体系，所以对于做Java 的同学来说，Spring Cloud微服务体系应该是非常熟悉了！这里并不是说其他语言栈就没有构建微服务体系的框架，例如Go语言也有像Go-Micro这样的微服务框架，只不过目前除了像头条这样重度使用Go语言的
2021-03-22 17:47:01
682
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人