- 博客(35)
- 收藏
- 关注
RSS订阅
原创 微服务开发规范
一. 项目说明XXXX的所有微服务都基于springboot（1.5.7.RELEASE），提供dubbo的微服务基于dubbo（2.5.9）进行开发。为了保证这些第三方jar的版本统一，提供pom依赖，请不要直接引用springboot及dubbo的pom。使用springboot的微服务，请配置pom的parent为如下： <parent> <...
2018-12-04 17:56:12
5979
2
原创 分布式任务调度平台XXL-JOB与dubbo集成
轻量级分布式任务调度平台是基于https://github.com/xuxueli/xxl-job进行修改的任务调度平台。具体文档可以参照：http://www.xuxueli.com/xxl-job/原生的xxl-job不支持dubbo，而是使用了作者自己开发的xxl-rpc。与我们目前的技术栈不符。所以对xxl-job做了二次开发，使其支持dubbo的服务调用。代码请看：htt...
2019-01-17 18:19:33
3378
2
转载 sklearn中Logistics Regression的coef_和intercept_的具体意义
使用sklearn库可以很方便的实现各种基本的机器学习算法，例如今天说的逻辑斯谛回归（Logistic Regression），我在实现完之后，可能陷入代码太久，忘记基本的算法原理了，突然想不到 coef_ 和 intercept_ 具体是代表什么意思了，就是具体到公式中的哪个字母，虽然总体知道代表的是模型参数。好尴尬，折腾了一会，终于弄明白了，记录下来，以说明自己too young。
2018-01-04 14:34:42
24484
3
原创 Mybatis+Spring boot整合趟坑————自定义TypeHandler
Spring boot+mybatis整合使用的mybatis-spring-boot-starter，可以参考springboot(六)-如何优雅的使用mybatis.html通过注解的形式就可以实现与mybatis整合。因为JAVA原生的日期处理比较恶心，最近习惯了joda Time。但是mybatis不像JPA 与原生支持Joda，所以在日期型是Jod
2017-11-22 14:35:24
19821
1
原创 Springboot+vue+element+v_charts趟坑
v_charts 基于百度echarts的vue封装 相关文档：https://elemefe.github.io/v-charts/#/element 饿了吗开源的组件库http://element-cn.eleme.io/#/zh-CN1.坑：v_charts 在引入后，启动时会报Uncaught ReferenceError: __DEV__ is not d
2017-11-09 14:50:26
4027
转载 快速掌握和使用Flyway
什么是Flyway?转载：https://blog.waterstrong.me/flyway-in-practice/Flyway is an open-source database migration tool. It strongly favors simplicity and convention over configuration.Flyway是一款开源的数据
2017-09-29 14:31:36
22709
1
转载 NoSQL简介
NoSQL 简介NoSQL(NoSQL = Not Only SQL )，意即"不仅仅是SQL"。在现代的计算系统上每天网络上都会产生庞大的数据量。这些数据有很大一部分是由关系数据库管理系统（RDMBSs）来处理。 1970年 E.F.Codd's提出的关系模型的论文 "A relational model of data for large shared data b
2017-08-22 10:03:23
459
转载 WEB服务器为什么取不到用户的MAC地址
引言起因是某个同事接到了领导安排下来的一个需求，要在一个Web应用（Java+Tomcat）中，记录用户登录时的IP地址和MAC地址，用于安全审计，于是咨询我如何实现。第一反应是，这个需求本身是不成立的，根据以往的了解，MAC地址应该是过不了路由器的才对。以往做开发，都是用engineer的思维：先动手做，遇到问题再解决问题。但这个需求，应当用scientist的思维去思考：首先确
2017-08-21 18:19:39
23954
6
原创 短信接口安全防护策略
1. 限制同设备标识，同IP，同手机号的发送次数增加短信接口的流控，通过请求获取用户设备标识，IP，及手机号的信息，用户这三个属性有一个相同，则认为是同一客户端。针对同一客户端，限制每个客户端单位时间内调用短信接口的次数，如一分钟调用一次。2. 设置设备标识，IP，手机号的黑名单单位时间内同一设备标识，IP或者手机号访问短信接口的次数大于某一阈值时，将该标识加入到黑名单列表中。对于已被
2017-08-21 16:24:33
1727
转载 Docker学习笔记：Docker 基础用法和命令帮助
一、Docker的基础用法Docker镜像首页，包括官方镜像和其它公开镜像因为国情的原因，国内下载 Docker HUB 官方的相关镜像比较慢，可以使用 docker.cn 镜像，镜像保持和官方一致，关键是速度块，推荐使用。 3.1 Search images$ sudo docker search ubuntu 3.2 Pull images$
2017-08-17 11:03:37
402
转载 Docker学习笔记：Dockerfile
Docker 可以通过 Dockerfile 的内容来自动构建镜像。Dockerfile 是一个包含创建镜像所有命令的文本文件，通过docker build命令可以根据 Dockerfile 的内容构建镜像，在介绍如何构建之前先介绍下 Dockerfile 的基本语法结构。Dockerfile 有以下指令选项:FROMMAINTAINERRUNCMDEXPOSEENVADD
2017-08-17 10:39:05
457
转载 REST?RPC?是时候改变你对微服务的认知了！
大部分时候，微服务都是建立在一种基于请求和响应的协议之上。比如，REST等。这种方式是自然的。我们只需要调用另外一个模块就是了，然后等待响应返回，然后继续。这样的方式确实也满足了我们的很多的场景：用户通过点击页面的一个按钮然后希望发生一些事情。但是，当我们开始接触许多独立的service的时候，事情就发生改变了。随着service数量急速的增长，同步交互比例
2017-08-10 17:03:38
2327
转载 微服务与API 网关（下）: Kong能为我们做什么？
本系列内容是来自Mashape.com的Marco在nginx.conf上的一次演讲。上一集我们介绍了为什么我们需要API网关：微服务与API 网关（上）: 为什么需要API网关？本系列第一部分（上集）主要介绍了单体和微服务之间的差别，以及为什么我们需要一个API网关等等。本系列的第二部分（也就是本集）主要关注Mashape.com的
2017-08-10 16:59:49
11537
1
转载 微服务与API 网关（上）: 为什么需要API网关？
本文是来自于Macro在一次大会上的一个分享。本系列共有两个部分，主要关注我们如何以及为什么要在我们的微服务应用中部署API 网关。第二部分主要关注我们如何把Mashape的开源网关组件Kong运用到我们自己的微服务架构当中。 目录0:00 微服务与网关（Microservices & API Gateways）
2017-08-10 16:57:56
996
原创 springboot 项目开发说明
一、前言 次说明参照新的项目体系结构编写，具体哪些是新的项目体系，请参照：项目统计 随着我们对技术的不断深入，项目结构配置也会趋于更加透明简洁，所以项目体系会不断的更新，如有问题请咨询架构组 截至目前，本文采用的Nove版本为1.2.9.RELEASE 注意：API包除了依赖ecej-model 尽量不要依赖其他任何自定义包，否则以后发布公共
2017-08-04 15:55:01
5790
2
原创 智能路径技术设计（一期）
一，解决问题目前动态派工算法获取师傅到目标点的距离及时间，是通过百度API获取的。目前调用百度API所需的时间相对较长，且有调用次数及并发数限制。并且这部分数据没有积累。因此打算开发智能路径系统，一期将调用百度API的数据采集起来，在测算距离及时间的起始点重复时，复用数据。二期将通过获取多能工轨迹，通过机器学习，对保存的距离时间做自优化。二，设计思路1.地图数据网格化
2017-08-04 14:52:30
704
1
转载 理解 SolrCloud
欲理解 SolrCloud，先理解 Solr 单机模式。有 2 个最基本的概念需要理解Solr 单机模式Solr 实例所谓 Solr 实例，就是运行 bin/solr start 时启动的程序。当一个 Solr 实例启动以后，通过 ip 和 端口来访问它。一台服务器上可以运行多个 solr 实例，只要各自的端口不同即可。默认情况下，solr 实例使用 8983 端口
2017-08-04 14:49:47
350
转载 Drools 技术指南
一、什么是规则引擎 1、规则是让业务人士驱动整个企业过程的最佳实践2、业务规则在实现上的矛盾3、业务规则技术拆分二、引入业务规则技术的目的1、对系统的使用人员把业务策略（规则）的创建、修改和维护的权利交给业务经理提高业务灵活性加强业务处理的透明度，业务规则可以被管理减少对IT人员的依赖程度避
2017-08-04 14:48:10
2609
原创 API Gateway技术设计
一，API Gateway架构设计服务网关是微服务架构中一个不可或缺的部分。通过服务网关统一向外系统提供REST API的过程中，除了具备服务路由、均衡负载功能之外，它还具备了权限控制等功能。Spring Cloud Netflix中的Zuul就担任了这样的一个角色，为微服务架构提供了前门保护的作用，同时将权限控制这些较重的非业务逻辑内容迁移到服务路由层面，使得服务集群主体能够具备更高的可
2017-08-04 14:45:07
5676
转载 论微服务安全：保护微服务的两大方案
每个人都在讨论微服务，每个人也都希望能够实现微服务架构，而微服务安全也日渐成为大家关注的重要问题。今天与大家分享的文章，就从应用层面深入探讨了应对微服务安全挑战的方案，为微服务安全提供了新的思路。面向服务架构（简称 SOA）引入了一类设计规范，其核心思路在于采用高度解耦式服务部署，其中各项服务可通过一套标准信息格式经由网络实现彼此通信。这套方案与具体技术无关，即不考虑各项服务具体是如何
2017-07-21 14:15:32
1121
原创 Zuul动态路由及动态Filter实现
一， Zuul动态路由实现动态路由需要达到可持久化配置，动态刷新的效果。不仅要能满足从spring的配置文件properties加载路由信息，还需要从Redis加载我们的配置。另外一点是，路由信息在容器启动时就已经加载进入了内存，我们希望配置完成后，实施发布，动态刷新内存中的路由信息，达到不停机维护路由信息的效果。为了避免Eureka的侵入性设计，这里没有使用spring-clou
2017-07-19 18:15:55
13608
转载 企业级API网关的设计
原创 2017-05-25 郑治国 EAWorld转载本文需注明出处：微信公众号EAWorld，违者必究。本文目录：一、网关简介二、网关的作用和价值三、企业级API网关需要具备的条件四、业界常用的API网关方案五、如何设计一个好的企业级API网关产品六、小结一、网关简介
2017-07-06 14:12:49
5374
转载 Martin Fowler的《微服务》
Martin Fowler的《微服务》是第一篇详细介绍微服务的文章。对微服务进行了定义，并与传统架构进行了对比，阐述了微服务的优势。原文: microservices中文翻译: 微服务演说视频@GOTO Berlin 2014注1: 上面的中文翻译是目前找到的最好的版本, 语句通顺而准确, 向作者致敬!注2: 找到的第一个版本的翻译是微服务中文翻译版本, 翻译质量很不理想, 非常拗
2017-07-04 14:03:11
1285
转载 应用监控预警--Pinpoint介绍
转自：https://skyao.gitbooks.io/learning-pinpoint/content/introduction/data.htmlPinpoint翻译自 Pinpoint 的 github 首页内容介绍Pinpoint是一个开源的 APM (Application Performance Management/应用性能管理)工
2017-06-30 15:49:50
46583
6
转载 Kafka相关技术文档
目录索引：Kafka使用场景1.为何使用消息系统2.我们为何需要搭建Apache Kafka分布式系统3.消息队列中点对点与发布订阅区别Kafka设计与原理分析1）apache Kafka概要介绍2）Kafka副本同步机制理解3) Kafka文件存储机制那些事（我在美团官博发表文章）4）Kafk
2017-06-28 14:38:11
636
转载 Kafka使用场景
1.为何使用消息系统解耦 在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息系统在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。冗余有些情况下，处理数据的过程会失败。除非数据被持久化，否则将造成丢失。消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规
2017-06-28 12:04:24
3932
转载 微服务，够了
资深架构师Adam Drake在他的博客上分享了他对微服务的看法，他从自己的经验出发，结合Martin Fowler对微服务的见解，帮助想要采用微服务的公司重新审视微服务。以下内容已获得作者翻译授权，查看英文原文 Enough with the microservices。
2017-06-23 16:07:00
406
转载 深入理解HBase Indexer
1. 简介Hbase Indexer全名为Lily hbase Indexer，是NGDATA公司为了将lily子系统里面相关HBase数据存储到Solr而开发的一个软件。NGDATA公司将源代码开源并托管在Github上，通过以下Github地址访问Hbase-Indexer项目主页及代码： https://github.com/NGDATA/hbase-indexer2.
2017-06-16 14:59:56
1128
转载 基于Solr的Hbase二级索引
关于Hbase二级索引HBase 是一个列存数据库，每行数据只有一个主键RowKey，无法依据指定列的数据进行检索。查询时需要通过RowKey进行检索，然后查看指定列的数据是什么，效率低下。在实际应用中，我们经常需要根据指定列进行检索，或者几个列进行组合检索，这就提出了建立 HBase 二级索引的需求。二级索引构建方式：表索引、列索引、全文索引表索引是将索引数据单独存储为一
2017-06-16 10:37:34
2924
转载 如何高效存储海量GPS数据
摘要： GPS数据使用越来越广，但如何高性能存储海量GPS数据仍然具有挑战，本文会介绍一种非常适合存储GPS数据的存储系统：阿里云NoSQL数据库TableStore，同时会介绍多个不同场景的技术方案。最近几年，移动设备已经非常普及，对GPS的使用也越来越常见，比如快车专车产品中的实时位置和历史轨迹图，运动App中的跑步，骑行轨迹等，很多研发人都遇到了如何设计系统架构来高效存储和查询G
2017-06-13 16:12:56
19676
转载 HBase Rowkey设计
建立SchemaHbase 模式建立或更新可以通过 Hbase shell 工具或者使用Hbase Java API 中的 Admin类。当列族发生变动时 hbase表必须处于 disabled 状态。例如：Configuration config = HBaseConfiguration.create();Admin admin = new Admin(conf);Str
2017-06-13 10:46:15
11507
2
转载 最靠谱的CDH5安装指南
系统要求系统：CentOS 6.5Cloudera:CM5.2.0 + CDH 5.2.0内存：主节点4G内存以上，其他节点需要2G以上内存Hadoop版本选择目前Hadoop比较流行的主要有2个版本，Apache和Cloudera版本。Apache Hadoop：维护人员比较多，更新频率比较快，但是稳定性比较差。Cloudera Hadoop（CDH）：C
2017-05-05 12:33:17
462
转载 基于 ELK Stack 和 Spark Streaming 的日志处理平台设计与实现
概述大数据时代，随着数据量不断增长，存储与计算集群的规模也逐渐扩大，几百上千台的云计算环境已不鲜见。现在的集群所需要解决的问题不仅仅是高性能、高可靠性、高可扩展性，还需要面对易维护性以及数据平台内部的数据共享性等诸多挑战。优秀的系统运维平台既能实现数据平台各组件的集中式管理、方便系统运维人员日常监测、提升运维效率，又能反馈系统运行状态给系统开发人员。例如采集数据仓库的日志可以按照时间序列查
2017-04-25 15:04:04
1401
转载 OLTP和OLAP的区别
联机事务处理OLTP（on-line transaction processing）主要是执行基本的、日常的事务处理，比如数据库记录的增、删、改、查。比如在银行存取一笔款，就是一个事务交易。OLTP的特点一般有：1.实时性要求高；2.数据量不是很大；3.交易一般是确定的，所以OLTP是对确定性的数据进行存取；(比如存取款都有一个特定的金额)4.并发性要求高并
2017-04-25 15:02:17
330
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人