- 博客(4460)
- 收藏
- 关注
RSS订阅转载 使用Redis实现中英文自动补全功能详解
1.Redis自动补全功能介绍: Redis可以帮我们实现很多种功能,今天这里着重介绍的是Redis的自动补全功能的实现.我们使用有序集合，并score都为0，这样就按元素值的字典序排序.然后我们可以根据排序号的字符,进行添加前缀和后缀的方式,找到我们想要的区间内容.下面介绍一个简单的Zset的排序内容和思路,以便后续的理解:名称为redis_concat的Zset集合元素如下:...
2019-10-01 01:37:00
514
转载 保存远程共享文件夹的文件
CMDNetFileHelper /// <summary> /// 连接远程共享文件夹 /// </summary> public class CMDNetFileHelper { /// <summary> /// 连接远程共享文件夹 /// &...
2019-09-29 09:33:00
501
转载 springcloud学习笔记2：eureka
在之前，没有学习springcloud之前，学习了dubbo，dubbo是一个远程调用(RPC)框架，当时使用的是zookeeper注册中心，但是在springcloud2.x之前，springcloud是没有zookeeper的，那么是如何实现远程调用的呢？1.eureka（springcloud1.x版本的注册中心） springcloud在2019年也就是springcl...
2019-09-28 17:01:00
462
转载 springcloud学习笔记1：简单了解
1.什么是springcloud？ springcloud是一个微服务架构模式，他就像hadoop一样是一个生态圈，它里面有各种各样的服务，每个服务都是独立运行的互不影响。也就是说springcloud就是一个完整的项目了，需要用到里面的功能时，直接获取，注入自己的业务代码就可以了。 spirngcloud是一个面向服务的思想。2.什么是面向服务？ 面向服务是一种思...
2019-09-28 16:20:00
236
转载 动软代码生成器生成model
model<#@ template language="c#" HostSpecific="True" #><#@ output extension= ".cs" #><# TableHost host = (TableHost)(Host); host.Fieldlist.Sort(CodeCommon.CompareB...
2019-09-27 15:24:00
214
转载 数据库中复制表操作
sqlserver复制表结构select * into newtable from oldtable;select * into [t_train_analyze_train] from DCZY.dbo.[t_train_analyze_train]oracle中create table new_table as select * from old_ta...
2019-09-27 14:50:00
136
转载 【原创】10年感悟，人在江湖，还是要多读书
好久没有写blog，心写来潮，写一下总结吧。 人到30，运维干了10年。也学了7、8年。除了结婚，生孩子那三年，工作中心移到了家庭，剩下的都在不停的学习，不停的工作。中间也有过迷茫，有想过休息。但都被自己逼着，被外部社会逼着坚持下来了。但是我真的爱我的工作，爱这个行业吗？ 是的，答案是爱，真爱。记得2008年毕业找工作，800元的实习客服都打破头。那时，穷但是快乐；没有经...
2019-09-26 17:03:00
148
转载 Classloader的双亲委派机制与沙箱机制
双亲委派机制： 类加载器的双亲委派机制的作用主要是能够保障Java平台的安全性。 在这委托机制中，除了JVM自带的根类加载器以外，其余的加载器都有且只有一个父加载器。当Java程序请求加载器loader加载example类时，loader会首先委托父加载器去加载该类，如果父类加载器不能加载，则父类加载器再向自己的父类加载器委托，如果直到根类加载器都无法加载，则由loader自...
2019-09-26 09:37:00
182
转载 mycat学习笔记3：分库分表
在之前将HDFS时，讲过一个数据节点dataNode的概念还NameNode的概念，mycat使用的与其相似，在mycat中，dataNode就是数据库，而mycat就充当的是NameNode的节点。是一个中间件。mycat的两大核心： 1.分库分表（解决单表数据量过大的问题） 2.独写分离（解决单个数据库访问量大，压力大的问题）什么是分库分表？ 将一个数据量大...
2019-09-23 19:50:00
119
转载 Spark机器学习基础-无监督学习
0.K-meansfrom __future__ import print_functionfrom pyspark.ml.clustering import KMeans#硬聚类#from pyspark.ml.evaluation import ClusteringEvaluator#2.2版本支持评估，2.1版本不支持from pyspark.sql impor...
2019-09-23 17:29:00
271
转载 mycat学习笔记：mysql配置
在上一篇中说到，mycat其实就是一个加强版的数据库，它的使用方式与mysql一样，它是使用java代码编写的，脱离项目存在，就像mysql一样，是独立的，这样就减轻了项目于的负担。在linux上安装mysql 1.新建虚拟机，配置network，hosts，iptables，这些是新建虚拟机首先做的基本配置#配置本机hostname vim /etc/sysconf...
2019-09-23 16:47:00
139
转载 一般大厂解决大流量、高并发问题的思路
有一定背景经验的情况下，可以直接考虑最终状态超大流量如何解决，每一次尽量处理简单的事情，然后负载均衡：接入：BGP、DNS；（三层负载均衡，基于IP）接进：核心交换机；接进负载均衡：LVS；（四层负载均衡，基于IP+Port，即连接）应用层负载均衡：Nginx/HAproxy；（七层负载均衡，基于请求）Any Proxy：db proxy、cache proxy、app p...
2019-09-23 16:31:00
238
转载 编写优雅代码，从挖掉恶心的if/else 开始
背景 长话短说， 作为开发人员经常需要根据条件灵活（查询+排序）数据库，不管你是用rawsql 还是EFCore， 以下类似伪代码大家都可能遇到： /// <summary> /// 灵活过滤 能耗数据表 （rawsql） /// </summary> [Route("all")]...
2019-09-23 16:24:00
126
转载 mycat学习笔记1：HDFS
mycat是什么？ 1.mycat是一个彻底开源的，面向企业应用开发的大数据库集群， 2.支持事务、ACID、可以替代MySQL的加强版数据库，目前支持关系型数据库以及非关系型数据库 3.可以用来代替昂贵的oracle数据库 4.mycat是一个大数据（HDFS）的sql引擎 通过上面的介绍，我们知道，mycat其实就是一个数据库为什么叫mycat？...
2019-09-23 16:11:00
108
转载 BFC、IFC、GFC 和 FFC的概念
BFC（Block formatting contexts）：块级格式上下文页面上的一个隔离的渲染区域，那么他是如何产生的呢？可以触发BFC的元素有float、position、overflow、display：table-cell/ inline-block/table-caption ；BFC有什么作用呢？比如说实现多栏布局’IFC（Inline formatting cont...
2019-09-22 21:33:00
187
转载 Spark机器学习基础-特征工程
对连续值处理0.binarizer/二值化from __future__ import print_functionfrom pyspark.sql import SparkSessionfrom pyspark.ml.feature import Binarizer#ml相对于mllib更全一点，更新一点 spark = SparkSessio...
2019-09-22 15:53:00
321
转载 架构的演变之路
关于分布式系统，一直不知道该怎么写，这里就先介绍下架构的演变1.在最开始时，使用的架构是这样的：浏览器向后台服务器发送请求，然后服务器请求数据库，获取数据，在响应给浏览器，这是最早期的架构，服务器和数据库放在一台主机上，这样的架构带来的问题是： 当访问量逐渐增大时，服务器的负载就会越来越大，负载达到一定限制时，服务器就会宕机，一旦服务器宕机，前端就获取...
2019-09-20 11:12:00
106
转载 yarn离线安装
这里记录下项目侧如何离线安装，本文和公司业务耦合性高，不过懂得人可以借鉴# start.shwork_dir=$(cd `dirname $0`; pwd) //dirname $0，取得当前执行的脚本文件的父目录;node_v=$(node -v)cd $work_dirif [ ! -e ./phoenix/build ]; then echo ...
2019-09-19 22:36:00
2966
转载 gopub自动化发布平台安装
1、软件配置centos7mysql5.7.26gopub1.1.32、硬件配置4核8G awsrds aws3、数据库配置#这个不执行，执行下面一句--CREATE DATABASE `wordpress` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;--CREATE DATABASE `...
2019-09-18 19:59:00
738
转载 document.write
有两种情况1. 页面加载时，在正在执行的script脚本中执行到了document.write() 会在当前元素的后面追加元素，如果是追加脚本，则这个脚本不能被浏览器预下载2. 页面已载入完成，domcontentLoaded回调中执行document.write() 则会用清空当前页面内容，用新内容替代。转载于:https://www.cnblogs.com/natsu07...
2019-09-18 16:24:00
114
转载 Kubernetes核心原理（三）之Scheduler
1. Scheduler简介Scheduler负责Pod调度。在整个系统中起"承上启下"作用，承上：负责接收Controller Manager创建的新的Pod，为其选择一个合适的Node；启下：Node上的kubelet接管Pod的生命周期。Scheduler：1）通过调度算法为待调度Pod列表的每个Pod从Node列表中选择一个最适合的Node，并将信息写入etcd中...
2019-09-18 14:52:00
140
转载 Kubernetes核心原理（二）之Controller Manager
1. Controller Manager简介Controller Manager作为集群内部的管理控制中心，负责集群内的Node、Pod副本、服务端点（Endpoint）、命名空间（Namespace）、服务账号（ServiceAccount）、资源定额（ResourceQuota）的管理，当某个Node意外宕机时，Controller Manager会及时发现并执行自动化修复流程...
2019-09-18 14:50:00
141
转载 Kubernetes核心原理（一）之API Server
1. API Server简介k8s API Server提供了k8s各类资源对象（pod,RC,Service等）的增删改查及watch等HTTP Rest接口，是整个系统的数据总线和数据中心。kubernetes API Server的功能：提供了集群管理的REST API接口(包括认证授权、数据校验以及集群状态变更)；提供其他模块之间的数据交互和通信的枢纽（其他...
2019-09-18 14:47:00
147
转载 Kubernetes核心原理（四）之Kubelet
1. kubelet简介在kubernetes集群中，每个Node节点都会启动kubelet进程，用来处理Master节点下发到本节点的任务，管理Pod和其中的容器。kubelet会在API Server上注册节点信息，定期向Master汇报节点资源使用情况，并通过cAdvisor监控容器和节点资源。可以把kubelet理解成【Server-Agent】架构中的agent，是Node...
2019-09-18 14:45:00
180
转载 误用.Net Redis客户端CSRedisCore，自己挖坑自己填
前导 上次Redis MQ分布式改造完成之后，编排的容器稳定运行了一个多月，昨天突然收到ETL端同事通知，没有采集到解析日志了。赶紧进服务器看了一下，用于数据接收的receiver容器挂掉了，尝试dockercontainerstart [containerid], 几分钟后该容器再次崩溃。Redis连接超限dockerlog [con...
2019-09-18 14:13:00
1200
转载 kubernetes-整体概述和架构详解
一、Kubernetes是什么Kubernetes是一个轻便的和可扩展的开源平台，用于管理容器化应用和服务。通过Kubernetes能够进行应用的自动化部署和扩缩容。在Kubernetes中，会将组成应用的容器组合成一个逻辑单元以更易管理和发现。Kubernetes积累了作为Google生产环境运行工作负载15年的经验，并吸收了来自于社区的最佳想法和实践。Kubernetes经过这几...
2019-09-17 23:14:00
181
转载 Java帖子
IDEA新手使用教程（详解）：https://cloud.tencent.com/developer/article/1448115Java学习文档：https://www.sxt.cn/Java_jQuery_in_action/Java_Note.html转载于:https://www.cnblogs.com/tianqizhi/p/11536830.html...
2019-09-17 20:26:00
243
转载 c#图像处理的简单算法
原文链接：https://blog.csdn.net/wchstrife/article/details/78984735使用C#进行图像处理前言之前一直认为图像处理是一件很高大上的事情，在一门选修课的课上遇到一个图像处理的作业，上手几个简单的图像处理的算法，也算是入了个最简单的门。 界面简单而又丑陋，代码命名也比较随意，大家重点关注算法就好 在这里一共实现了暗角、降低亮度、灰...
2019-09-17 16:37:00
145
转载 tomcat9上传文件失败错误
项目上线正常运行一段时间后，有一天突然所有的附件上传都出现了错误，查找项目本身的日志系统也一致没有跟踪到错误。经过几番折腾，在tomcat9-stdout.log日志中发现如下异常：ERROR org.springframework.boot.web.servlet.support.ErrorPageFilter 190 forwardToErrorPage - Forwar...
2019-09-17 10:42:00
1163
转载 Kubernetes dashboard认证访问
一、Dashboard部署部署的过程[root@k8s-master ~]# kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/recommended/kubernetes-dashboard.yamlsecret/kubernetes-das...
2019-09-16 16:04:00
749
转载 Java多线程分批发送消息的小例子
需求:假设有10万个用户,现在节假日做活动,需要给每个用户发送一条活动短信,为了提高程序的效率,建议使用多线程分批发送.这里值得注意的是:每开一个线程都会占用CPU的资源,所以线程根据所需要的条数来决定就好,避免浪费,我们用的是一个小例子,只是说明了多线程处理提高了效率,实际的大规模场景中不建议使用,可选消息中间件来轮询处理.Demo示例:这里为简化展示,模拟示例10条内容...
2019-09-15 21:49:00
444
转载 字符串总结（未完待续）
总结1.kmpkmp是一种字符串匹配的算法,普通的字符串匹配需要时间O(n*m) 。n:字符串长度 m:模版串长度,kmp算法通过对模版串进行预处理来找到每个位置的后缀和第一个字母的前缀的最大公共长度,可以让复制度降低到O(n+m)。下面为kmp的模板#include<bits/stdc++.h>using namespace std;const int N...
2019-09-12 16:25:00
93
转载 Rust开发环境搭建
1.Rust概述 按照百度百科的说法，Rust是一门系统编程语言 ，专注于安全 ，尤其是并发安全，支持函数式和命令式以及泛型等编程范式的多范式语言。Rust在语法上和C++类似 ，但是设计者想要在保证性能的同时提供更好的内存安全。 Rust最初是由Mozilla研究院的Graydon Hoare设计创造，然后在Dave Herman, Brendan Eich以及很多其他人的贡...
2019-09-08 21:34:00
370
转载 谨记不要在MySQL中使用“utf8”编码
掉坑回顾:最近在工作中遇到一个BUG,用于记录客户昵称的数据表,在插入带有表情的字符时候报错.使用的存储引擎是INNODB,当我查看数据库字段的时候确实是设置的utf8,我传入的字符也是utf8的编码集,这有什么错?直到我深入了解才发自己使用的姿势并不对,mysql数据库中的"utf8"并不是真正的utf8编码,关于这个问题mysql官方一直未能修复,取而代之的推出了utf8mb4,...
2019-09-08 13:36:00
135
转载 dotnet代码管理之密钥分离策略
引言 互联网每隔一段时间就会爆出 【某程序猿在代码托管平台上传了公司机密配置信息，导致公司核心数据被黑客获取或修改】， 一茬又一茬背锅侠层出不穷。拯救自我 软件工程理论早以加粗字体给出 经典原则：Neverstore production passwords or other sensitive data in source code依据这个原则，我们来说一些.Net ...
2019-09-06 14:13:00
149
转载 js判断是否为空和typeof的用法
（1）typeof作用用于查看数据类型（2）typeof用法typeof 返回值类型有number, string, boolean, function, undefined, objectPS:在使用typeof()操作符时圆括号是可选项，可带可不带。即两种形式 typeof(XX) 或 typeof XX1 console.log(typeof 2); // numbe...
2019-09-05 22:37:00
312
转载 Python实战爬虫——B站封面爬取
街拍美图的爬取主要还是在崔老师和其他的博客上的基础上修改的，这篇文章里，我学习了爬取了B站的视频封面，由于能力有限，代码只能一次爬取一张。首先进去B站首页然后偶选择一个你觉得好看的视频，点进去，还是观察Network这一栏的信息终于，我们找到了一栏信息在这一栏我们可以看到data中包含了视频的很多信息，我们直接把pic对应的url在网上...
2019-09-05 20:13:00
579
转载 Python实战爬虫——街拍美图
python学了有一段时间了，觉得看书也只是划水，还是要动手码代码，感觉对爬数据挺有感觉，想爬来试试，于是开始了学习崔庆才的网络爬虫开发实战，由于信息技术的更新，崔老师的书中的源代码跑起来感觉会有一些出入，所以还是要多看时间最近的相关博客，，，，，，还是在崔老师的基础上再结合博客修改之后的。在搜索栏搜街拍，然后右键，检查，network，注意，运用开发者页面的时候点...
2019-09-05 16:06:00
193
转载 二叉树
借鉴：http://www.conardli.top/docs/dataStructure/完全二叉树class Node { constructor(data, left, right){ this.data = data this.left = left this.right = right }...
2019-09-05 14:24:00
83
转载 zookeeper
zookeeper是什么？ zookeeper是大数据hadoop生态圈中的一个框架，是一种用于分布式应用程序的高性能协调服务。注册中心是zookeeper的别名。 zookeeper是一个致力于开发和维护的开源服务器，作用于项目中的协调和控制功能。 zookeeper最早是hadoop生态圈中的一员，hadoop生态圈的框架都是动物，而zookeeper就是管理这些动...
2019-09-04 20:48:00
135
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人