- 博客(135)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Java知乎爬虫
根据spring boot搭建的java知乎爬虫sql目录下有建表语句applicationRunner中可以填写questionIdgithub地址 https://github.com/leidongxing/api-spider欢迎star 欢迎交流...
2020-03-24 09:35:40
312
原创 LeetCode 535. Encode and Decode TinyURL
Problem: Design a service like TinyURL, a URL shortening service, a web service that provides short aliases for redirection of long URLs.（设计像TinyURL这样一种URL缩短服务，将长URL重定向提供短的URL别名的Web服务。）ProblemWha...
2019-05-05 22:45:47
289
原创 手机登录 验证码设计
公司需要做一个手机登录验证码的设计最初需求手机每1min种可以请求短信API发送一次 验证码4位数字 数字少主要是产品考虑用户体验的问题验证码5min内有效重点关注对输入手机号的用户来源进行判断 防止恶意用户暴力输入前端 发送验证码前可以让用户手动输入图片验证框 防止恶意输入调用云服务对用户登陆的来源ip地址 时间 手机号 User-Agent等数据进行分析判断 ...
2019-04-26 22:40:32
2191
原创 为什么要使用 RESTFUL 风格？
RESTFUL 风格Representational State Transfer 表现层状态转化重要特征：统一的接口 同一个资源 对外暴漏的URL一致 无状态可缓存客户端/服务器模式分层系统简单概括 url代表一种资源，客户端与服务器交互就是传递这种资源的表现层的过程优点简单轻量面向资源 一目了然 有自解释性数据描述简单URL设计形式 动词...
2019-04-23 18:02:50
2876
转载 Kafka如何实现其高效的网络通信？
Topic 消息数据的逻辑上的集合分布式消息存储机制 分散的存储在多台kafka的机器上 Kafka服务端Broker 管理一台机器上的数据将很多数据打包 一次发送 提升单位时间内发送的数据数量(吞吐量)batch机制：多条消息打包成一个batch在客户端做一个内存缓冲区 将多个消息打包成一个batch 默认大小16kbrequest机制：多个batch打包成一个re...
2019-04-22 14:09:15
672
原创 如何画出一张合格的技术架构图？
架构架构就是对系统中的实体以及实体之间的关系所进行的抽象描述，是一系列的决策。架构是结构和愿景。系统架构是概念的体现，是对物/信息的功能与形式元素之间的对应情况所做的分配，是对元素之间的关系以及元素同周边环境之间的关系所做的定义。做好架构是个复杂的任务，也是个很大的话题，本篇就不做深入了。有了架构之后，就需要让干系人理解、遵循相关决策。架构图系统架构图是为了抽象地表示软件系...
2019-04-21 14:42:35
3877
原创 为什么数据库设计不使用外键和级联？？？
强制 不得使用外键和级联 一切外键概念必须在应用层解决外键的好处外键保证了数据的完整性和一致性，并且使得级联操作方便，将数据库的完整性判断托付给了数据库完成，减少了程序的代码量。外键的坏处性能下降 每次对数据进行DELETE或UPDATE操作都必须考虑外键约束 数据库都会判断当前操作是否违反数据完整性，性能下降。死锁 使用外键，外键关联的数据查询要去另一张表，获取额外的锁...
2019-05-12 14:20:54
4916
原创 Kafka针对JVM层面上做了哪些优化？
Kafka为什么要在JVM层次上进行优化？为了充分利用网络，提高吞吐量，实现高效网络通信。Kafka客户端会将发送给Kafka服务器的消息先放入自身的内存缓冲中，多条消息组成一个Batch，之后通过一次网络通信发送出去，避免了一条消息一次网络请求。当网络传输完成之后 位于Kafka客户端 也就是JVM内存中的batch已经是不需要了 这时候我们需要JVMGC回收器回收这些内存。高强度高...
2019-05-06 23:16:27
637
原创 appolo Sync config failed, will retry.
Spring Boot 集成apollo配置中心 启动服务后报错com.ctrip.framework.apollo.internals.AbstractConfigRepository - Sync config failed, will retry.Cause: Could not complete get operation [Cause: java.lang.IllegalSta...
2019-04-25 11:08:02
8195
2
原创 软件工程---------迭代开发项目流程
明确产品整体研发流程 根据优先级分期 需求建模阶段 产品确定需求项目内部审核 初步敲定项目架构 设计方案项目外部审核 具体开发参与 明确业务关键细节项目原型图评审 数据库原型图评审 确定项目细节项目需求开发项目测试 回归测试...
2019-04-23 09:50:34
4061
原创 Web项目实现前端锁屏功能
锁屏的最终实现就是退出登录，点击锁屏按钮时处理（token、cookie使其过期或失效）然后跳转到锁屏页面Js获取浏览器tab切换事件<script>document.addEventListener('visibilitychange',function(){ //浏览器切换事件 if(document.visibilityState=='hidden') {...
2019-04-22 18:57:09
4197
转载 未来已来
未来变化多数长途驾驶都将被自动化。我认为车里面仍还会有一个人，但他们的工作将更注重装卸货物和客户关系/推销，而不是驾驶。很多工作总是需要人之间的相互合作和照顾——包括教学、指导、医疗照护、社会工作和抚养孩子成人。关于后者，我希望在这个日益自动化的世界里看到更显著的「关怀经济（caring economy）兴起复杂的（可能是动态的）图中集成参数化模块并根据数据优化参数的思想在图模型中使...
2019-04-18 14:50:02
139
原创 设计模式遵循原则 Java单例模式 代理模式
设计模式遵循的原则1、开闭原则（Open Close Principle）对扩展开放，对修改关闭。2、里氏代换原则（Liskov Substitution Principle）只有当衍生类可以替换掉基类，软件单位的功能不受到影响时，基类才能真正被复用，而衍生类也能够在基类的基础上增加新的行为。3、依赖倒转原则（Dependence Inversion Principle）这个是开闭原...
2019-03-14 09:17:26
664
原创 图算法 图的存储
图的深度优先遍历深度优先搜索可从图中某个顶点发v 出发，访问此顶点，然后依次从v 的未被访问的邻接点出发深度优先遍历图，直至图中所有和v 有路径相通的顶点都被访问到；若此时图中尚有顶点未被访问，则另选图中一个未曾被访问的顶点作起始点，重复上述过程，直至图中所有顶点都被访问到为止。图的广度优先遍历假设从图中某顶点v 出发，在访问了v 之后依次访问v 的各个未曾访问过和邻接点，然后分别从这...
2019-03-13 14:14:37
359
转载 对Spring IOC与DI的理解
Ioc—Inversion of Control，即“控制反转”，不是什么技术，而是一种设计思想。在Java开发中，Ioc意味着将你设计好的对象交给容器控制，而不是传统的在你的对象内部直接控制。如何理解好Ioc呢？理解好Ioc的关键是要明确“谁控制谁，控制什么，为何是反转（有反转就应该有正转了），哪些方面反转了”，那我们来深入分析一下：●谁控制谁，控制什么：传统Java SE程序设计，我们直接...
2019-03-13 13:31:52
597
1
原创 决策树
有监督学习模型决策树目标从样本数据中，根据不同的特征和属性，建立一棵树形的分类结构 不仅要拟合训练数据 达到良好的分类效果，又要控制复杂度，使得模型具有一定的泛化能力从若干不同的决策树中选取最优的决策树是一个NP完全问题常用的决策树算法ID3 最大信息增益 只能处理离散型变量 对样本特征缺失值比较敏感C4.5 最大信息增益比 对ID3进行优化 引入信息增益比 一定程度...
2019-03-11 11:38:16
201
原创 逻辑回归 Logistic Regression
逻辑回归处理的是 分类问题输出变量为有限个离散变量的预测问题为分类问题线性回归处理的是 回归问题输入变量与输出变量均为连续变量的预测问题逻辑回归和线性回归的相同之处 都是用极大似然估计来对训练样本进行建模 求解参数的过程中都可以采用梯度下降的方法多项逻辑回归 Softmax Regression 是 二分类逻辑回归在多标签分类下的一种拓展...
2019-03-11 09:43:45
167
原创 SVM 支持向量机(Support Vector Machine)算法
监督学习的算法 目的：找到分类面 优化过程 ：找到最大间隔线性数据不可分时 核辐射 在高纬度分离超平面SVM分类结果仅仅依赖于支持向量 对于任意线性可分的两组点，在SVM分类的超平面的投影上都是线性不可分的...
2019-03-11 08:31:24
907
转载 重磅发布2.0 Alpha版，TensorFlow新定位：端到端开源机器学习平台
刚刚，谷歌在 Tensorflow Developer Summit 2019 大会上发布TensorFlow2.0 Alpha 版。虽然在此之前关于TensorFlow2.0 的众多更新已经放出，但作为当前最为流行的深度学习框架，2.0 Alpha 版的正式发布依旧引人关注。此外，今日谷歌还开源了新的框架与库，发布了两款有趣的开发硬件。还换了 Logo～自 2015 年开源以...
2019-03-09 07:10:18
797
原创 幂等性
在编程中一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。幂等函数，或幂等方法，是指可以使用相同参数重复执行，并能获得相同结果的函数。这些函数不会影响系统状态，也不用担心重复执行会对系统造成改变。在事务提交失败会重复提交达到最大重复次数时返回失败的 设计中 保持幂等性是尤为重要的
2017-11-27 09:59:02
17057
转载 Java注解
原文链接： Journaldev 翻译： ImportNew.com - Justin Wu译文链接： http://www.importnew.com/14479.htmlJava注解能够提供代码的相关信息，同时对于所注解的代码结构又没有直接影响。在这篇教程中，我们将学习Java注解，如何编写自定义注解，注解的使用，以及如何使用反射解析注解。注解是Java 1.5引入
2017-11-22 14:41:22
254
原创 Log4J2 新一代日志系统配置
我的配置 log4j2.xml../71Netlogs fileName="${LOG_HOME}/71Net.log" filePattern="${LOG_HOME}/%d{yyyy-MM-dd}-%i.log">fileName="${LOG_HOME}/Error/error.log" file
2017-11-02 17:50:12
2193
原创 被一个丢失的对象搞蠢了
废话不说 直接上代码public class Test {class GenericResult {private String prompt;public String getPrompt() {return prompt;}public void setPrompt(String prompt) {this.prompt = prompt;}
2017-10-20 10:09:49
377
转载 RabbitMQ与AMQP协议详解
RabbitMQ与AMQP协议详解1. 消息队列的历史 了解一件事情的来龙去脉，将不会对它感到神秘。让我们来看看消息队列（Message Queue）这项技术的发展历史。Message Queue的需求由来已久，80年代最早在金融交易中，高盛等公司采用Teknekron公司的产品，当时的Message queuing软件叫做：the information bus（TI
2017-10-16 18:09:31
676
转载 消息队列的流派之争
这篇文章的标题很难起，网上一翻全是各种MQ的性能比较，很容易让人以为我也是这么“粗俗”的人（o(╯□╰)o）。我这篇文章想要表达的是——它们根本不是一个东西，有毛的性能好比较？MQ是什么Message Queue（MQ），消息队列中间件。很多人都说：MQ通过将消息的发送和接收分离来实现应用程序的异步和解偶，这个给人的直觉是——MQ是异步的，用来解耦的，但是这个只是MQ的效果而不
2017-10-16 17:19:22
301
原创 SQLServer配置管理器
开启SQLServer服务打开SQLServer配置管理器 位置C:\Windows\SysWOW64\SQLServerManager10.mscC:\Windows\SysWOW64\SQLServerManager11.mscC:\Windows\SysWOW64\SQLServerManager12.mscC:\Windows\SysWOW64\SQLServ
2017-10-09 15:18:58
5129
原创 关于无意义的主键
数据库中使用无意义的主键（比如流水号）比较方便 但生产环境下必须要注意业务量大的时候会出现问题所以要设置增长类型和循环类型增长类型 (主键是如何增长的)1 常规类型 规定一个自增最大值 从起始值（如1）开始 一直递增到 最大值(如 99999999）为止2 物理日期类型3 业务日期类型4 自增长常规类型5 自增长物理日期类型6 自增长业务日期类型循环类型（
2017-09-29 13:06:57
1570
原创 Unsupported major.minor version 51.0
开发环境比较老 jdk版本1.6 新加的 jar包比较新 就会出现这种错Unsupported major.minor version 51.0更换jdk版本 或者 更换jar包的 较老版本 即可解决问题
2017-08-30 11:13:51
296
转载 Kaggle初学者五步入门指南，七大诀窍助你享受竞赛
Kaggle初学者五步入门指南，七大诀窍助你享受竞赛By 机器之心2017年7月22日 14:41Kaggle 是一个流行的数据科学竞赛平台，已被谷歌收购，参阅《业界 | 谷歌云官方正式宣布收购数据科学社区 Kaggle》。作为一个竞赛平台，Kaggle 对于初学者来说可能有些难度。毕竟其中的一些竞赛有高达 100 万美元的奖金池和数百位参赛者。顶级的团队在处理机场安全提升
2017-08-29 22:31:57
56155
12
转载 深度学习入门必须理解这25个概念
神经网络基础1、神经元（Neuron）——就像形成我们大脑基本元素的神经元一样，神经元形成神经网络的基本结构。想象一下，当我们得到新信息时我们该怎么做。当我们获取信息时，我们一般会处理它，然后生成一个输出。类似地，在神经网络的情况下，神经元接收输入，处理它并产生输出，而这个输出被发送到其他神经元用于进一步处理，或者作为最终输出进行输出。2、权重（Weights）——当输入进
2017-08-29 22:12:44
7831
原创 nginx配置
Nginx是一款面向性能设计的HTTP服务器，相较于Apache、lighttpd具有占有内存少，稳定性高等优势。######Nginx配置文件nginx.conf中文详解######定义Nginx运行的用户和用户组user www www;#nginx进程数，建议设置为等于CPU总核心数。worker_processes 8; #全局错误日志定义类型，[ debug
2017-08-24 15:57:12
344
原创 Java随机数
公司产生6位随机短信验证码的功能 产生了 5.0835这样的不科学验证码打开代码 发现是这样写的private String randomCode() {return Double.toString(Math.random()).replace("0.", "").substring(0, 6);}乍一看 好像没什么问题测试一下 问题真的蛮多的 M
2017-08-24 12:23:52
228
原创 mysqldump命令
mysqldump作为重要的MySQL备份工具，功能相当强大。备份参数、恢复策略，需要仔细研究。备份数据库：备份单个数据库或单个数据库中的指定表：mysqldump [OPTIONS] database [tb1] [tb2]…备份多个数据库：mysqldump [OPTIONS] –databases [OPTIONS] DB1 [DB2 DB3...]
2017-08-15 14:46:24
363
原创 最新MySQL5.7.19解压版安装指南
MySQL版本：MySQL Community Edition (GPL) ------ MySQL Community Server (GPL)下载地址：https://dev.mysql.com/downloads/mysql/下载文件：mysql-5.7.19-winx64.zip下载完成后，解压， 1 配置环境变量 将mysql/bin 加入到PATH中2 使
2017-08-10 11:41:34
1075
转载 Git SSH Key 生成步骤
Git是分布式的代码管理工具，远程的代码管理是基于SSH的，所以要使用远程的git则需要SSH的配置。github的SSH配置如下：一 、设置Git的user name和email：$ git config --global user.name "xuhaiyan"$ git config --global user.email "haiyan.xu.vip@gmail
2017-07-15 10:30:46
284
原创 修改Ubuntu16.04 LTS 系统默认Python版本 之后的一切问题
pyhton对于Ubuntu系统来说不只是一种编程语言和工具 python对Ubuntu系统有着特殊意义般的存在 因为Ubuntu好多系统工具使用了python 修改python版本必须非常谨慎 Ubuntu16.04 LTS 默认python版本是 2.7.12 同时Ubuntu 提供了python 3.5.2 供使用作死的切换了 python
2017-07-15 09:46:43
1009
转载 程序员带你一步步分析AI如何玩Flappy Bird
程序员带你一步步分析AI如何玩Flappy Bird本文来源 http://www.jianshu.com/p/0a04426ee3ad以下内容来源于一次部门内部的分享，主要针对AI初学者，介绍包括CNN、Deep Q Network以及TensorFlow平台等内容。由于笔者并非深度学习算法研究者，因此以下更多从应用的角度对整个系统进行介绍，而不会进行详细的公式推导。
2017-07-06 10:57:32
1469
转载 nginx限制某个IP同一时间段的访问次数
如何设置能限制某个IP某一时间段的访问次数是一个让人头疼的问题，特别面对恶意的ddos攻击的时候。其中CC攻击（Challenge Collapsar）是DDOS（分布式拒绝服务）的一种，也是一种常见的网站攻击方法，攻击者通过代理服务器或者肉鸡向向受害主机不停地发大量数据包，造成对方服务器资源耗尽，一直到宕机崩溃。cc攻击一般就是使用有限的ip数对服务器频繁发送数据来达到攻击的目的，ngi
2017-05-24 19:07:48
1491
原创 <操作系统：精髓与设计原理>分布式系统
Client/Server 模型客户端 一个网络上的信息请求方 通常是一台PC或工作站 能够从服务器处查询数据库和其他信息中间件 一组驱动程序 应用程序编程接口或其他软件的集合 用于改善客户应用程序和服务器之间的连通性关系的软件关系数据库 一种把对信息的访问限制于满足搜索条件的数据行的数据库服务器 高性能工作站 存储并提供信息给网络中的众多客户使用三层CS结构
2017-05-01 20:59:38
272
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人