- 博客(119)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 数据预处理的分箱操作
数据分箱介绍我们在建立模型前，一般需要对特征变量进行离散化，特征离散化后，模型会更稳定，降低模型过拟合的风险。尤其是采用 logsitic 建立评分卡模型时，必须对连续变量进行离散化。而特征离散化处理通常采用的就是分箱法，数据分箱（也称为离散分箱或分段）是一种数据预处理技术，用于减少次要观察误差的影响，提高泛化性。数据分箱又分为有监督分箱和无监督分箱，是否使用标签进行离散化（分箱）决定了有监督还是无监督的离散化方法。知识点无监督分箱split 分箱merge 分箱无监督分箱这里为了
2021-07-18 21:32:32
3955
1
原创 对COVID-19论文进行自动分类——文献聚合分类实现方案
概述实现步骤：使用自然语言处理（NLP）从每个文档的正文中解析文本。使用术语频率-逆文档频率（TF-IDF）将每个文档实例????????转换为特征向量 feature。使用 t 分布随机近邻嵌入（t-SNE）对每个特征向量进行降维，将相似的文章聚集在二维平面 ????1 中。使用主成分分析（PCA）将数据的维数投影到多个维，这些维将保持 0.95 的方差，同时消除嵌入 ????2 时的噪声和离群值。在 ????2 上应用 k-means 聚类，其中????为 10，以标记 ????1 上的
2020-10-26 11:02:53
3424
5
原创 使用ARIMA进行股票预测
一、ARIMA介绍1、简介 ARIMA模型的全称叫做自回归移动平均模型，全称是(ARIMA, Autoregressive Integrated Moving Average Model)。是统计模型(statistic model)中最常见的一种用来进行时间序列预测的模型。模型十分简单，只需要内生变量而不需要借助其他外生变量。2、模型介绍1.自回归模型(AR) 描述当前值与历史值之间的关系，用变量自身的历史时间数据对自身进行预测。自回归模型必须满足平稳性的...
2020-08-05 10:19:31
11274
4
原创 消息队列面试准备
一、基本说明面试官：你好候选人：你好（大家寒暄一下。。。）（面试官在你的简历上面看到了，呦，有个亮点，就是你在项目里用过MQ，比如说你用过ActiveMQ）面试官：你在系统里用过消息队列吗？（面试官在随和的语气中展开了面试）候选人：用过的（此时感觉没啥）面试官：那你说一下你们在项目里是怎么用消息队列的？候选人：巴拉巴拉，我们啥啥系统发送个啥啥消息到队列...
2020-02-25 11:00:17
1207
3
原创 搜索引擎面试准备
一、基本说明业内目前来说事实上的一个标准，就是分布式搜索引擎一般大家都用elasticsearch和solr，但是确实，这两年大家一般都用更加易用的es。关于这一块的内容，面试官可能会怎么问？（1）es的分布式架构原理能说一下么（es是如何实现分布式的啊）？（2）es写入数据的工作原理是什么啊？es查询数据的工作原理是什么啊？（3）es在数据量很大的情况下（数十亿级别）如何提高查...
2020-02-25 11:00:01
1497
原创 缓存面试准备
一、基本说明说到缓存，可能大家首先想到的就是redis了，这也是目前业内使用的最广泛、最普遍的分布式缓存架构了。关于这一块的问题，互联网公司必问，要是你连缓存都不太清楚，那确实比较尴尬。你说你不会消息队列，或者你说你没接触过搜索引擎还情有可原，但是你要是说你不懂redis，基本上就拜拜了~~二、缓存的应用1、面试题在项目中缓存是如何使用的？缓存如果使用不当会造成什么后果？2、面...
2020-02-25 10:59:37
661
原创 分布式系统面试准备
一、基本说明 我有一些同学，主要是做传统行业，外包项目，技术一直都搞的比较简单。共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统。当然了，大家都不是做底层的分布式系统，比如分布式存储系统，hadoop hdfs，分布式计算系统，hadoop mapreduce，spark，分布式流式计算系统，storm。 分布式业务系统，把原来...
2020-02-25 10:59:24
2325
原创 分布式常用组件面试准备
一、基本说明上一节已经讲了分布式系统的常见面试题，但是玩过分布式的应该都知道，你一个分布式架构光靠什么dubbo或者spring cloud等是玩不通的。最起码分布式锁啊，分布式事务啊，分布式session啊，，，这些你总要考虑吧？你们刚才在聊的面试topic，是分布式系统，他其实已经跟你聊完了spring cloud以及相关的一些问题，确认，你现在分布式服务框架，rpc框架，基本都有一些...
2020-02-25 10:58:58
1816
原创 分库分表面试准备
一、基本说明 说实话，对于一个QPS比较大的系统来说，它的瓶颈主要还是要落在数据库上。像我们之前说了一堆什么消息队列、缓存、什么乱七八糟的，之所以引入这么多一大堆复杂的东西，说白了，还是因为数据库本身支撑不了这么大的数据量，给数据库减压。 当然，这些还不够，我们还是要想办法提高数据库的读写能力，所以分库分表就很重要了。（1）为什么要分库分表（设计高并发系统的...
2020-02-25 10:58:33
1455
1
原创 开篇
一、引言刚好今年因为这个传染病，在家也出不去，然后自己也可能年后从新找工作（能活到那时候的话~~），所以整理一下面试可能会问到的问题，算是临阵磨枪吧。废话不多说，先看一个职位jd，如下：上面是在拉钩随便找的一个职位，你现在去随便找个职位jd，起码都有这些要素，java基本功是起码的，那些开源框架也是起码的（前4条），但是这几年跟前几年不一样的一点在于，现在招聘java，一般都会加一...
2020-02-25 10:58:13
546
原创 面向对象的分析与设计
一、传统开发方法中存在的问题 在二十世纪六十年代以前，软件系统都是较小且相对简单的；所用的编程语言都是十分简单（Fortran,Cobol等 ）；时兴个人英雄注意，即崇尚程序员的个人技能 ；代码是面条式的，特别是代码中含有GOTO语句。当时系统设计时常用的方法有功能分解法和数据流法。1、功能分解法（function decomposition） 以系...
2019-12-09 16:17:19
46186
1
原创 记一次HikariPool-1 - Connection is not available, request timed out after 60000ms异常排查过程
前言 前几天把spring boot从1.5升级到2.X之后，项目出了一堆问题，然后调了几天bug。最后好不容易能正常打包运行了，周五晚上在家里又收到信息，服务器挂了！！！好吧，看下日志：org.springframework.dao.DataAccessResourceFailureException: Unable to acquire JDBC Connection; ne...
2019-12-09 16:15:50
36714
7
原创 Gradle的使用教程
一、相关介绍 Gradle是一个好用的构建工具 ，使用它的原因是：配置相关依赖代码量少，不会像maven一样xml过多 打包编译测试发布都有，而且使用起来方便 利用自定义的任务可以完成自己想要的功能二、安装 下载地址http://services.gradle.org/distributions/，下载你所需要对应的版本，我这里下载的是grad...
2019-12-03 16:09:13
180568
13
原创 redis系列——基于Redis实现的单点登录(Demo)
一、SSO技术简介1、基本介绍 目前的企业应用环境中，往往有很多的应用系统，如办公自动化（OA）系统，财务管理系统，档案管理系统，信息查询系统等等。这些应用系统服务于企业的信息化建设，为企业带来了很好的效益。但是，用户在使用这些应用系统时，并不方便。用户每次使用系统，都必须输入用户名称和用户密码，进行身份验证；而且，应用系统不同，用户账号就不同，用户必须同时牢记多套用户...
2019-11-27 09:55:31
44896
24
原创 Linux的基本操作——查看系统资源占用
1、总体内存占用的查看命令：free （1） free命令默认是以kb为单位显示的，可以用free -m 用Mb单位来显示。 （2） Mem行 ： total = used + free 其中buffers和cached虽然计算在used内， 但其实为可用内存。 （3） Mem下一行：used为真实已占内存，free为真实可用内存。 （4）Swap：内存交...
2019-11-07 16:35:34
1051
原创 redis系列——生产环境Redis集群详解（六）
一、基本介绍 在主从架构中我们知道，每个master node都可以挂载多个slave node。但是每个slave的数据和master中的数据是一致的，如果我们想要在redis中存放更多的数据，就需要redis cluster了。如果你的数据量很少，主要是承载高并发高性能的场景，比如你的缓存一般就几个G，单机足够了。一个mater，多个slave，要几个slave跟你的要求的读...
2019-10-24 17:49:48
3149
原创 redis系列——主从复制（五）
一、基本介绍 持久化保证了即使redis服务重启也不会丢失数据，因为redis服务重启后会将硬盘上持久化的数据恢复到内存中，但是当redis服务器的硬盘损坏了可能会导致数据丢失，如果通过redis的主从复制机制就可以避免这种单点故障，如下图：说明：主redis中的数据有两个副本（replication）即从redis1和从redis2，即使一台redis服务器宕...
2019-10-12 17:25:15
790
2
原创 spring security——Spring Social简介（五）
一、简介 关于OAuth可以参考《理解OAuth 2.0》中的进行理解，这里的Spring Social就是一个遵循oauth协议的框架，所以可以用它来做第三方的登录。那么spring security 与 oath social是什么关系呢？没关系！ 我们知道在spring security中被认定为认证成功的标志是根据用户信息构建Authenticatio...
2019-10-09 11:46:01
3593
原创 docker教程——Dockerfile 定制镜像（六）
一、镜像制定 从刚才的 docker commit 的学习中，我们可以了解到，镜像的定制实际上就是定制每一层所添加的配置、文件。如果我们可以把每一层修改、安装、构建、操作的命令都写入一个脚本，用这个脚本来构建、定制镜像，那么之前提及的无法重复的问题、镜像构建透明性的问题、体积的问题就都会解决。这个脚本就是 Dockerfile。 Dockerfile 是一个文本...
2019-09-29 18:02:24
994
原创 redis系列——企业级持久化方案（四）
一、基本介绍 我们知道对于一个企业级的redis架构来说，持久化是不可减少的。持久化主要是做灾难恢复，数据恢复，也可以归类到高可用的一个环节里面去。比如你redis整个挂了，然后redis就不可用了，你要做的事情是让redis变得可用，尽快变得可用。重启redis，尽快让它对外提供服务，但是就像上一讲说，如果你没做数据备份，这个时候redis启动了，也不可用啊，数据都没了。很可能...
2019-09-29 17:35:11
452
原创 redis系列——Redis的客户端连接（二）
一、Redis自带的客户端 客户端启动命令为：./redis-cli -h 127.0.0.1 -p 6379-h：指定访问的redis服务器的ip地址 -p：指定访问的redis服务器的port端口 -a：指定访问的redis服务器的密码口令此外还可以缩写成：./redis-cli，使用默认配置，默认的ip【127.0.0.1】，默认的port【6379】。关闭方...
2019-09-25 18:02:52
602
原创 Oracle——SQL语言（二）
一、基本介绍1、分类数据查询语言DQL：select 数据操纵语言DML：insert，update，delete 事务控制语言TCL：commit，rollback 数据控制语言DCL：grant，revoke 数据定义语言DDL：create，alter2、数据类型字符串 char，定长 varchar2，变长数字 number(m,n)日期...
2019-09-16 17:54:08
243
原创 spring security——短信验证码登录（四）
一、导读 短信登录和用户名密码登录的逻辑是不同的，Spring Security 框架中实现的是用户名密码的登录方式。现在我们就模仿它的原理来加入短信登录的认证（注意不是验证），实现右边的。之前写的图形验证码是在 UsernamePasswordAuthenticationFilter前增加了我们自己的图形验证过滤器，验证成功之后再交给用户名和密码进行认证，调用userD...
2019-09-12 10:00:50
1904
1
原创 Spring Boot整理——Spring Boot项目采用Docker部署（十一）
一、入门1、Docker开启远程访问 在服务器端（已安装Docker环境），vim /lib/systemd/system/docker.service#修改ExecStart这行ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock然后让配置生效#...
2019-09-06 10:51:37
932
原创 Spring Boot整理——Spring Boot Cache使用与整合（九）
一、Spring缓存抽象 Spring从3.1开始定义了org.springframework.cache.Cache和org.springframework.cache.CacheManager接口来统一不同的缓存技术；并支持使用JCache（JSR-107）注解简化我们开发：Cache接口为缓存的组件规范定义，包含缓存的各种操作集合； Cache接口下Spring提供了...
2019-09-06 10:32:49
226
原创 Oracle——基本内容（一）
一、用户管理1、用户信息用户名/密码 登录身份 说明 sys/change_on_install SYSDBA或SYSOPER 不能以NORMAL登录，可以作为默认的系统管理员 system/manager SYSDBA或NORMAL 不能以SYSOPER登录，可以作为默认的系统管理员 sysman/oem_temp sysman ...
2019-09-06 10:23:01
228
原创 Linux的基本操作——crond定时任务
一、crond简介1、基本介绍 crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程，与windows下的计划任务类似，当安装完成操作系统后，默认会安装此服务工具，并且会自动启动crond进程，crond进程每分钟会定期检查是否有要执行的任务，如果有要执行的任务，则自动执行该任务。Linux下的任务调度分为两类，系统任务调度和用户任务调度。...
2019-09-03 13:29:09
49159
原创 spring security——集成验证码（三 ）
一、图片验证码 我们知道在登录界面往往要添加图形验证码来进行人机验证，这里我们就来在之前的认证流程中加入图形验证码校验功能。1、开发生成图型验证码接口 流程其实很简单，首先根据随机数生成图片，然后将随机数存到session中，最后将生成的图片写入响应中，没了。这里生成图片什么的就不说了。网上一大堆，记录下这里的一些代码思路。首先是图片验证码信息类/**...
2019-08-23 14:33:55
2654
1
原创 spring security——用户认证流程（二）
一、用户认证逻辑 在自定义用户认证逻辑中我们需要完成的内容有：处理用户信息获取逻辑 处理用户校验逻辑 处理密码加密解密1、处理用户信息获取逻辑（UserDetailsService）org.springframework.security.core.userdetails.UserDetailsServiceUserDetailsService接口用于加载用户...
2019-08-21 10:48:27
4942
2
原创 docker教程——利用 commit 理解镜像构成（五）
docker commit 命令除了学习之外，还有一些特殊的应用场合，比如被入侵后保存现场等。但是，不要使用 docker commit 定制镜像，定制镜像应该使用 Dockerfile 来完成。 镜像是容器的基础，每次执行 docker run 的时候都会指定哪个镜像作为容器运行的基础。在之前的例子中，我们所使用的都是来自于 Docker Hub 的镜像。...
2019-08-12 09:49:03
363
原创 Java：List中addAll()报java.lang.UnsupportedOperationException异常
今天在线上出现一个UnsupportedOperationException导致接口报错：然后定位错误位置为然后我们查看Page.getContent的源码发现内容如下然后我们再查看Collections中的源码，查找addAll方法恩，知道错误了，于是将上面代码改成如下即可List<DailyEnterprise> list = new A...
2019-06-20 10:05:20
6724
原创 Mybatis：逆向工程配合生成报Cannot instantiate object of type tk.mybatis.mapper.generator.
打个广告，帮朋友卖点东西，东西超便宜的哟【衣服鞋子等】，厂家直接出货，绝对低于市场价！！！一般都比市场价便宜3—7折【都是牌子货】，如果您感兴趣，可以扫描屏幕下方的二维码，感谢关注！！！微信使用 tk.mybatis 准备生成继承通用Mapper的Dao、Entity和Mapper文件时，运行mybatis-generator报了如下错误：[ERROR] Failed to ...
2019-05-21 10:55:09
3800
原创 docker教程——面试总结
打个广告，帮朋友卖点东西，东西超便宜的哟【衣服鞋子等】，厂家直接出货，绝对低于市场价！！！一般都比市场价便宜3—7折【都是牌子货】，如果您感兴趣，可以扫描屏幕下方的二维码，感谢关注！！！微信如何批量删除或者停止运行的容器？docker kill/rm `docker ps -aq`本地的镜像文件都存放在哪里 Docker相关的本地资源存放在/var/lib/do...
2019-05-16 16:41:55
2174
原创 JVM面试总结
类的实例化顺序，比如父类静态数据，构造函数，字段，子类静态数据，构造函数，字段，他们的执行顺序 先静态、先父后子。 优先级：【父类>子类】静态代码块>【父类>子类】非静态代码块>【父类>子类】构造函数JVM内存分配JVM垃圾回收机制 分代垃圾回收机制：不同的对象生命周期不同。把不同生命...
2019-05-16 16:38:48
424
原创 Spring 框架——spring中操作数据库
打个广告，帮朋友卖点东西，东西超便宜的哟【衣服鞋子等】，厂家直接出货，绝对低于市场价！！！一般都比市场价便宜3—7折【都是牌子货】，如果您感兴趣，可以扫描屏幕下方的二维码，感谢关注！！！微信一、JdbcTemplate spring 提供的用于操作JDBC工具类，类似：DBUtils。依赖 连接池DataSource （数据源）1、环境搭建1.创建表...
2019-03-21 11:28:25
3381
原创 docker教程——Docker 基本概念（三）
Docker 包括三个基本概念：镜像（Image）、容器（Container）、仓库（Repository）。理解了这三个概念，就理解了 Docker 的整个生命周期。一、Docker 镜像 我们都知道，操作系统分为内核和用户空间。对于 Linux 而言，内核启动后，会挂载 root 文件系统为其提供用户空间支持。而 Docker 镜像（Image），就...
2019-03-21 10:33:05
307
原创 OAuth 2.0的理解
OAuth是一个关于授权（authorization）的开放网络标准，在全世界得到广泛应用，目前的版本是2.0版。 本文对OAuth 2.0的设计思路和运行流程，做一个简明通俗的解释，主要参考材料为RFC 6749。一、应用场景 为了理解OAuth的适用场合，让我举一个假设的例子。 有一个"云冲印"的网站，可以将用户储存在Google...
2019-02-21 15:46:35
1346
原创 mybatis框架——mybatis面试总结
打个广告，帮朋友卖点东西，东西超便宜的哟【衣服鞋子等】，厂家直接出货，绝对低于市场价！！！一般都比市场价便宜3—7折【都是牌子货】，如果您感兴趣，可以扫描屏幕下方的二维码，感谢关注！！！微信#{}和${}的区别是什么 ${}是Properties文件中的变量占位符，它可以用于标签属性值和sql内部，属于静态文本替换，比如${driver}会被静态替成com.mys...
2019-02-15 14:35:10
1283
原创 Eclipse使用技巧
一、程序调试1、设置断点 鼠标双击左侧设置断点 注意：在调试中断点所在的那一行没有执行，程序执行到断点的上一行2、断点调试 点击Debug As进行调试1.添加观察值 双击该变量选中-》右击-》watch2.程序运行过程 跳入方法中（F5） 逐语句向下执行（F6） 跳出方法（F7） 跳到下个断点（F8） 跳到该方...
2019-02-14 13:40:35
318
原创 spring security——基本介绍（一）
一、spring security 简介 spring security 的核心功能主要包括：认证 （你是谁） 授权 （你能干什么） 攻击防护 （防止伪造身份） 其核心就是一组过滤器链，项目启动后将会自动配置。最核心的就是 Basic Authentication Filter 用来认证用户的身份，一个在spring security中一种过滤器处理一种认证方式...
2019-01-16 10:31:23
407063
32
简单实用手机微信WAP版网上商城HTML5网站模板.rar
2019-09-11
Linux命令参考手册
2016-05-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人