- 博客(327)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 人工智能-推荐
比如小李对物品A、B、C给了十分好评，小王对物品A、C给了十分好评，从这些用户的喜好中分析出喜欢A的人都喜欢C，物品A、C是相似的，如果小张给了A好评，那么可以把C也推荐给小张，可简单理解为“物以群分”。：该算法的核心是分析用户的兴趣和行为，利用共同行为习惯的群体有相似喜好的原则，推荐用户感兴趣的信息。假如小李，小张对物品A、B都给了十分好评，那么可以认为小李、小张具有相似的兴趣爱好，如果小李给物品C十分好评，那么可以把C推荐给小张，可简单理解为“人以类聚”。但不同类型的原始特征应该如何变换？
2023-06-01 07:47:33
511
原创 数据准备
数据清洗1.缺失值的处理3种情况：删掉有缺失值的数据；补充缺失值；不做处理。异常值的处理数据本身的错误，需要对数据进行修正，或者直接丢弃；数据偏差的处理数据偏差可能导致后面训练的模型过拟合或者欠拟合，所以处理数据偏差问题也是你在数据清洗阶段需要考虑的。数据标准化在处理完数据的问题之后，你就该对数据的标准进行整理了，这可以防止某个维度的数据因为数值的差异，而对结果产生较大的影响。在有些算法中，每一个维度的数据标准都需要进行统一；而在另外一些算法中，则需要统一数据的类型。比如在预测一个地区的房价
2020-12-15 16:24:05
1134
转载 图解HBase读取流程
1.介绍HBase的两种读取模式：Get与Scan 如何发起一次Get请求，Get有哪些关键参数 如何发起一次Scan请求，Scan有哪些关键参数2.Client如何发送请求到对应的RegionServer3.RegionServer侧如何处理一次读取请求 关于Scan的命题定义 如何处理Get请求 合理组织所有的"KeyValue数据源" 读取KeyV...
2020-01-15 19:31:49
863
原创 mac 下golang 环境配置
1、export PATH=/usr/local/bin:$PATH2、brew install go3、vim .bash_profileexport GOPATH=/usr/local/Cellar/go/1.13.4export GOBIN=$GOPATH/binexport PATH=$PATH:$GOBIN输入source ~/.bash_pro...
2019-12-04 15:12:47
746
转载 快速的统计千万级别uv
转载：https://www.cnblogs.com/liliuguang/p/11112694.html菜菜，咱们网站现在有多少PV和UV了？Y总，咱们没有统计pv和uv的系统，预估大约有一千万uv吧写一个统计uv和pv的系统吧网上有现成的，直接接入一个不行吗？别人的不太放心，毕竟自己写的，自己拥有主动权。给你两天时间，系统性能不要太差呀好吧~~~...
2019-11-05 09:40:46
597
转载 理解zookeeper选举机制
原文转自：https://www.cnblogs.com/ASPNET2008/p/6421571.html https://blog.csdn.net/cnh294141800/article/details/52959028/ http://blog.itpub.net/30109892/viewspace-2089610...
2019-09-10 22:30:14
498
原创 Flink总结
1、有状态计算：处理和维护所有已处理记录的状态。2、无状态计算：每次转换一条输入记录，并且仅根据最新的输入记录输出结果。3、一致性：exactly-once 系统保证在发生故障后得到的计数结果与正确值一致。（Storm Trident 和 Spark Streaming）在性能和表现力这两个方面付出了很大的代价。为了保证exactly-once ,这些系统无法单独地对对每条记录进行运用逻...
2019-08-25 22:44:31
186
转载 Maven实战（三）——多模块项目的POM重构
在本专栏的上一篇文章POM重构之增还是删中，我们讨论了一些简单实用的POM重构技巧，包括重构的前提——持续集成，以及如何通过添加或者删除内容来提高POM的可读性和构建的稳定性。但在实际的项目中，这些技巧还是不够的，特别值得一提的是，实际的Maven项目基本都是多模块的，如果仅仅重构单个POM而不考虑模块之间的关系，那就会造成无谓的重复。本文就讨论一些基于多模块的POM重构技巧。重复，还是重复...
2018-11-05 10:24:28
830
转载 百亿级微信红包的高并发资金交易系统设计方案
2017年1月28日，正月初一，微信公布了用户在除夕当天收发微信红包的数量——142亿个，而其收发峰值也已达到76万每秒。百亿级别的红包，如何保障并发性能与资金安全？这给微信带来了超级挑战。面对挑战，微信红包在分析了业界“秒杀”系统解决方案的基础上，采用了SET化、请求排队串行化、双维度分库表等设计，形成了独特的高并发、资金安全系统解决方案。实践证明，该方案表现稳定，且实现了除夕夜系统零故障运行。...
2018-10-07 23:37:32
360
原创 缓存比较好的博客
redis:http://carlosfu.iteye.com/category/345837https://blog.csdn.net/zeb_perfect/article/details/54135506https://blog.csdn.net/zzh920625/article/details/78173099?foxhandler=RssReadRenderProcessH...
2018-10-07 18:32:13
185
转载 缓存系列文章--3.缓存常用更新策略对比(一致性)。
转载请注明出处哈:http://carlosfu.iteye.com/blog/2269678 一、缓存的几种更新策略 从下面的表格看，缓存的更新策略大致分为三种，本文将从一致性和维护成本两个方面对于三种缓存更新策略进行简要说明，因为这些东西比较理论和抽象，如哪里说得不对，欢迎拍砖。 注： (1) 一致性：缓存和真实数据源（例如mysql, hbase, el...
2018-10-07 18:25:48
399
转载 缓存穿透，缓存击穿，缓存雪崩解决方案分析
转载：https://blog.csdn.net/zeb_perfect/article/details/54135506前言设计一个缓存系统，不得不要考虑的问题就是：缓存穿透、缓存击穿与失效时的雪崩效应。缓存穿透缓存穿透是指查询一个一定不存在的数据，由于缓存是不命中时被动写的，并且出于容错考虑，如果从存储层查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到存储层去查询...
2018-10-07 00:21:15
172
转载 【缓存】缓存中常见的4种问题分析以及解决方案
由于最近要准备换工作，同时最近在“Redis中国用户组”上关注了一系列Redis的活动，想要总结一下，Redis当做缓存使用过程中的一些常见问题。 一、前提 1.文中相关术语 （1）缓存命中： 终端用户访问加速节点时，如果该节点有缓存住了要被访问的数据时就叫做命中，如果没有的话需要回原服务器取，就是没有命中。（百科） （2）过期时间：...
2018-10-06 23:29:54
284
转载 布隆过滤器(Bloom Filter)详解
转载：https://www.cnblogs.com/liyulong1982/p/6013002.html直观的说，bloom算法类似一个hash set，用来判断某个元素（key）是否在某个集合中。和一般的hash set不同的是，这个算法无需存储key的值，对于每个key，只需要k个比特位，每个存储一个标志，用来判断key是否在集合中。算法：1. 首先需要k个hash函数，每个函...
2018-10-06 22:53:52
841
1
原创 解决MyEclipse开启后总是不停的在Update index
最近MyEclipse开启之后总是不停的在 update index，很是耗时间，查找资料发现Update index...是Maven在不断更新，解决办法如下：Window --> Preferences --> Myeclipse --> Maven4Myeclipse --> 去除Download repository index updates on s...
2018-09-12 11:22:31
364
原创 %与mod的区别
%与mod的区别：%出来的数有正有负，符号取决于左操作数。。。而mod只能是正（因为a = b * q + r (q > 0 and 0 <= r < q), then we have a mod q = r 中r要大于等于0小于q）。。。。。 所以要用%来计算mod的话就要用这样的公式：a mod b = (a % b + b) % b括号里的目的是把左操作数转成正...
2018-09-11 10:33:46
2901
转载 五大常见的MySQL高可用方案
本文来自：https://zhuanlan.zhihu.com/p/25960208UCloud云计算 1. 概述我们在考虑MySQL数据库的高可用的架构时，主要要考虑如下几方面：如果数据库发生了宕机或者意外中断等故障，能尽快恢复数据库的可用性，尽可能的减少停机时间，保证业务不会因为数据库的故障而中断。 用作备份、只读副本等功能的非主节点的数据应该和主节点的数据实时或者最终保持一...
2018-09-10 10:27:24
237
转载 Java死锁排查和Java CPU 100% 排查的步骤整理
简介本篇整理两个排查问题的简单技巧，一个是java死锁排查，这个一般在面试的时会问到，如果没有写多线程的话，实际中遇到的机会不多；第二个是java cpu 100%排查，这个实际的开发中，线的应用出现这个问题可能性比较大，所以这里简单总结介绍一下，对自己学习知识的一个整理，提高自己的解决问题能力。一、Java死锁排查通过标题我们就要思考三个问题：什么是死锁？ 为什么会出现死锁？...
2018-09-10 09:55:57
266
转载 mysql中间件研究（ Atlas，cobar，TDDL，mycat，heisenberg,Oceanus,vitess,OneProxy ）
mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡，读写分离，failover等，但其不支持大数据量的分库分表且性能较差。下面介绍几款能代替其的mysql开源中间件产品，Atlas，cobar，tddl，让我们看看它们各自有些什么优点和新特性吧。AtlasAtlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是...
2018-09-10 08:36:08
1508
转载 MySQL数据库的高可用方案总结
这篇文章主要针对MySQL数据库的高可用方案进行详细总结，高可用架构对于互联网服务基本是标，本文是对各种方案的总结，感兴趣的小伙伴们可以参考一下 可用架构对于互联网服务基本是标配，无论是应用服务还是数据库服务都需要做到高可用。虽然互联网服务号称7*24小时不间断服务，但多多少少有一些时候服务不可用，比如某些时候网页打不开，百度不能搜索或者无法发微博，发微信等。一般而言，衡量高可用做到什么程...
2018-09-09 20:37:29
5535
转载 Oracle的三种高可用集群方案
主要有三种：1. RACRAC, Real Application Clusters多个Oracle服务器组成一个共享的Cache，而这些Oracle服务器共享一个基于网络的存储。这个系统可以容忍单机/或是多机失败。不过系统内部的多个节点需要高速网络互连，基本上也就是要全部东西放在在一个机房内，或者说一个数据中心内。如果机房出故障，比如网络不通，那就坏了。所以仅仅用RAC还是...
2018-09-07 10:52:21
165
转载 Oracle-RAC原理
转载：https://blog.csdn.net/qq_34556414/article/details/79001267单点数据库VS RAC单节点数据库，如果实例宕机了，如果一个业务链接在实例上面，那么这个业务就中断了。这个时候系统就不具有可用性了，那么这个时候单节点的可用性是很差的。对于RAC来说，和单实例一样，还是一份数据文件，都是相同的存储上面放着oracle的文件，...
2018-09-07 10:37:05
596
转载 Java session共享的问题
Java session共享的问题分为主子域名相互共享、多个tomcat或项目共享(也可以理解成分布式部署后的多台服务器间session共享) 为什么我们处理共享session?对于一个项目有主子域名的情况，往往我们需要让主域名网站登录后，也要在子域名显示登录信息，而默认tomcat生成session时，是区别域名的，对于不同域名会生成不同的sessionid，所以我们需要处理让主子域...
2018-09-06 17:13:46
464
转载 聊聊QPS/TPS/并发量/系统吞吐量的概念
我们在日常工作中经常会听到QPS/TPS这些名词，也会经常被别人问起说你的系统吞吐量有多大。这个问题从业务上来讲，可以理解为应用系统每秒钟最大能接受的用户访问量。或者每秒钟最大能处理的请求数； QPS: 每秒钟处理完请求的次数；注意这里是处理完。具体是指发出请求到服务器处理完成功返回结果。可以理解在server中有个counter，每处理一个请求加1，1秒后counter=QPS。 T...
2018-09-06 10:18:23
599
转载 用java在redis中存储对象
最近需要封装一个操作redis的工具类，不知道怎么向redis中存储对象，想到过用java反射去做。在网上搜索了一下，发现可以用序列化对象的方式去存储。再此我整理了一下感谢，残剑_提供的方法：http://www.cnblogs.com/liuling/p/2014-4-19-04.html（redis基础操作）感谢，萧剑90提供的方法：http://blog.csdn.net/abc19...
2018-09-04 22:52:33
1992
转载 redis存储对象
redis主要存储类型最常用的五种数据类型：String Hash List Set Sorted setredis存储对象序列化和反序列化首先来了解一下为什么要实现序列化为什么要实现序列化接口 当一个类实现了Serializable接口(该接口仅为标记接口,不包含任何方法定义),表示该类可以序列化.序列化的目的是将一个实现了Serializable接口的对象转换成一...
2018-09-04 22:25:22
593
转载 redis使用watch秒杀抢购思路
1、使用watch，采用乐观锁 2、不使用悲观锁，因为等待时间非常长，响应慢 3、不使用队列，因为并发量会让队列内存瞬间升高import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;import redis.clients.jedis.Jedis;/** * redis测...
2018-09-04 17:08:10
140
转载 redis基础之安装和配置（一）
ubantu16.04环境下安装下载安装，依次执行命令;# 从官方网站下载安装包，注意，当前在哪个目录下执行命令，下载的包将在哪个目录下$ wget http://download.redis.io/releases/redis-4.0.6.tar.gz# 将下载包解压$ tar -zxvf redis-4.0.6.tar.gz# 进入解压后的文件夹$ cd redis-4.0....
2018-09-01 01:54:49
406
转载 VMware虚拟机Linux访问外网配置
验证操作真实有效。安装完成Linux后，配置网络，我使用的桥接的方式。1.打开VMware虚拟机的菜单， 虚拟机——设置。2.在打开的虚拟机设置窗口中，左侧选择网络适配器，右侧 网络连接，选中桥接模式。如果使用本机使用WiFi，下面的复制物理网络连接状态，不要勾选。3.查看本机的上网方式。方法一：通过Internet协议版本4属性，如果选中 自动获取IP地址，则是动态...
2018-08-31 19:36:52
3392
转载 cpu使用率低负载高
cpu低而负载高也就是说等待磁盘I/O完成的进程过多，就会导致队列长度过大，这样就体现到负载过大了，但实际是此时cpu被分配去执行别的任务或空闲，具体场景有如下几种。场景一：磁盘读写请求过多就会导致大量I/O等待上面说过，cpu的工作效率要高于磁盘，而进程在cpu上面运行需要访问磁盘文件，这个时候cpu会向内核发起调用文件的请求，让内核去磁盘取文件，这个时候会切换到其他进程或者空闲，这个任...
2018-08-28 11:45:55
664
转载 Redis实现原理：数据同步机制分析
转载：Redis 数据同步机制分析 一、数据全同步机制Redis的主从同步机制可以确保redis的master和slave之间的数据同步。按照同步内容的多少可以分为全同步和部分同步；按照同步的时机可以分为slave刚启动时的初始化同步和正常运行过程中的数据修改同步；本文将对这两种机制的流程进行分析。全备份过程中，在slave启动时，会向其master发送一条SYNC消息，master...
2018-08-27 19:08:51
5455
转载 【mysql】关于innodb中MVCC的一些理解
一、MVCC简介MVCC (Multiversion Concurrency Control)，即多版本并发控制技术,它使得大部分支持行锁的事务引擎，不再单纯的使用行锁来进行数据库的并发控制，取而代之的是把数据库的行锁与行的多个版本结合起来，只需要很小的开销,就可以实现非锁定读，从而大大提高数据库系统的并发性能读锁：也叫共享锁、S锁，若事务T对数据对象A加上S锁，则事务T可以读A但不能修改...
2018-08-27 17:17:18
296
原创 MVCC机制
MVCC是行锁的一种变种，但是他在很多情况下避免了加锁的操作，因此开销更低。不同数据库的实现机制不同，但大都实现了非阻塞的读操作，写操作也只能锁定必要的行。 不仅是MySQL、包括Oracle、PostgresSQl等其他数据库都实现了MVCC，但各自的实现机制不尽相同，因为MVCC没有一个统一的实现标准。 MVCC的实现，是通过保存数据在某个时间点的...
2018-08-27 12:28:33
1129
转载 什么是倒排索引？
见其名知其意，有倒排索引，对应肯定，有正向索引。 正向索引（forward index），反向索引（inverted index）更熟悉的名字是倒排索引。 在搜索引擎中每个文件都对应一个文件ID，文件内容被表示为一系列关键词的集合（实际上在搜索引擎索引库中，关键词也已经转换为关键词ID）。例如“文档1”经过分词，提取了20个关键词，每个关键词都会记录它在文档中的出现次...
2018-08-26 22:03:37
293
转载 FindBugs-IDEA插件的使用
转载请注明出处：http://blog.csdn.net/feibendexiaoma/article/details/72821781 前言 Findbugs很多人都并不陌生，Eclipse中有插件可以帮助查找代码中隐藏的bug，IDEA中也有这款插件。这个插件可以帮助我们查找隐藏的bug,比较重要的功能就是查找潜在的null指针。 在编写代码的过程中,我们可能不会一直记得检查空的引用,在我...
2018-08-23 23:02:37
205
原创 IDEA快捷键
set-keymap Ecelise 替换为Ecelipse快捷键ctrl+shift+r 查找类ctrl+o 显示当前类的所有方法ctrl+f 文件中查找字符Alt + <- 回退上一个光标所在类Alt + ->AIT + enter 导入包sout 输入一行的代码psvn 输入一行main方法代码ALT + insert 生成set get方法Ctrl+H 在类...
2018-08-23 10:21:23
198
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人