4 王树民

尚未进行身份认证

大JAVA

等级
TA的排名 847

Redis使用pipeLine批量获取数据加快接口响应速度 

RedisClientRedisMultiGet一、背景需求: redis通过tcp来对外提供服务,client通过socket连接发起请求,每个请求在命令发出后会阻塞等待redis服务器进行处理,处理完毕后将结果返回给client。 其实和一个http的服务器类似,一问一答,请求一次给一次响应。而这个过程在排除掉redis服务本身做复杂操作时的耗时的话,可以看到最耗时的就是这个网络传输过程。每一个命令都对应了发送、接收两个网络传输,假如一个流程需要0.1秒,那么一秒最多只能处理1...

2020-05-25 09:17:48

RedisCluster使用pipeline批量读取数据

Vi_NSN 2017-12-03 21:38:40 7351 已收藏 1展开 因为公司的Redis是Cluster的,一共有三台主机,有个需求是同时读取三千条数据,因为是Cluster,所以没办法直接使用mget。 目前在网上找到的方法有两种,一种是写入时处理,一种是读取时处理。 先说一下RedisCluster针对每条数据的写入的方法。RedisCluster一共有16384个slot(槽位),cluster每一个节点分管一部分slot。当有数据写入时,当用户put或者是get一个数据...

2020-05-25 09:16:42

Redis中PipeLine使用(二)---批量get与批量set

Kevin.Yang 2015-11-04 17:28:47 27769 收藏 2展开批量查询的相关问题总结再做测试之前首先向redis中批量插入一组数据1-->12-->23-->34-->45-->56-->6123456现在批量get数据for (Entry<String,String> entry :map.entrySet()) { pipe.get...

2020-05-25 09:15:51

允许master节点部署pod

1 node(s) had taints that the pod didn't tolerate异界神域 2020-01-21 11:37:28 1512 已收藏展开允许master节点部署podkubectl taint nodes --all node-role.kubernetes.io/master-如果不允许调度kubectl taint nodes master1 node-role.kubernetes.io/master=:NoSchedule污点可选参数 ...

2020-05-25 09:14:32

Elasticsearch -- Index Settings 

原开源中国合格公民发布于 2018/11/07 11:11ElasticSearch索引级别的设置,可以在每一个索引上使用。静态设置:只能在索引创建时或关闭索引上设置。动态设置:可以使用update-index-settingsAPI在打开的索引上更改它们。警告:更改已关闭索引的静态或动态索引设置,可能会导致设置不正确;如果不删除并重新创建索引,则无法纠正。Static index settingsindex.number_of_shards:设置索引的主...

2020-05-22 09:15:38

k8s实践(六):Pod资源管理

k8s实践(六):Pod资源管理loong576关注0人评论2212人阅读2019-08-22 16:07:43环境说明:主机名 操作系统版本 ip docker version kubelet version 配置 备注 master Centos 7.6.1810 172.27.9.131 Docker 18.09.6 V1.14.2 2C2G master主机 node01 Centos..

2020-05-20 11:41:59

数据仓库

数据仓库的目标是实现集成、稳定、反映历史变化有组织有结构的存储数据的集合。图 1-1 数据仓库基本架构如上图所示,一个公司可能有多个业务系统,而数据仓库就是将所有的业务系统按照某种组织架构整合起来,形成一个仓储平台,也就是数仓。ODS 层中的数据全部来自于业务数据库,ODS 层的表格与业务数据库中的表格一一对应,就是将业务数据库中的表格在数据仓库的底层重新建立一次,数据与结构完全一致。DWD 层要做的就是将数据清理、整合、规范化,脏数据、垃圾数据、规范不一致的、状态定义不一致的、命名不.

2020-05-14 11:32:13

星星模型&&雪花模型

乖乖猪001 2018-12-22 21:55:58 437 已收藏 1分类专栏: 大数据版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/xiaozhaoshigedasb/article/details/85218499收起在多维分析的商业智能解决方案中,根据事实表和维度表的关系,可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候,就应考虑数据是按照星型模型还...

2020-05-14 10:42:12

Mysql实现级联操作(级联更新、级联删除)

一、首先创建两张表stu,sccreate table stu(sid int UNSIGNED primary key auto_increment,name varchar(20) not null)TYPE=InnoDB charset=utf8;create table sc(scid int UNSIGNED primary key auto_increment,sid int UNSIGNED not null,score varchar(20) default ...

2020-05-13 12:25:01

K8S容器编排之Headless浅谈

云爬虫技术研究笔记关注0.7242018.12.26 23:02:10字数 687阅读 33,075  前言: 最近在基于K8S开发平台的过程中遇到了有个问题没有弄懂,就是CoreDNS的作用,就好像在Docker Swarm里面,我们可以通过Service name来访问一组容器,在K8S里,我们想要通过name来访问服务的方式就是在Deployment上面添加一层Service,这样我们就可以通过Service name来访问服务了,那其中的原理就是和CoreDNS有关,它将Serv...

2020-05-12 13:43:53

K8S 之 Headless 浅谈

YP小站 2019-11-28 21:26:04 60 已收藏展开Headless Services 简介有时不需要或不想要负载均衡,以及单独的 Service IP。 遇到这种情况,可以通过指定 Cluster IP(spec.clusterIP)的值为 “None” 来创建 Headless Service。您可以使用 headless Service 与其他服务发现机制进行接口,而不必与 Kubernetes 的实现捆绑在一起。对这 headless Service 并不会分配...

2020-05-12 13:41:34

Kubernetes---Service(SVC)服务--ingress api

对于k8s传统的svc来说它仅支持4层代理,如果遇到7层代理的话,是没有办法去实现的k8s官方在1.11中推出了ingressapi接口,通过ingress达到7层代理的效果对于ingress来说,必须要绑定一个域名,因为它是基于7层代理的资料信息Ingress-Nginxgithub地址:httos://github.com/kubernetes/ingress-nginxIngress-Nginx官方网站:https:/kubernetes.github.i...

2020-05-11 09:45:01

kubernetes(k8s) ingress及ingress docker-controller

什么是Ingress? --- HTTP 7层路由机制。将集群外部的HTTP和HTTPS路由暴露给集群中的服务,流量路由由Ingress资源上定义的规则控制 internet | [ Ingress ] --|-----|-- [ Services ]利用Ingress实现对外部访问(以nginx为例)1. 创建后端pod及service, 这里的service仅起到识别后端pod组的功能,不对外提供服务使用deploy创建servi...

2020-05-11 09:37:28

nginx限速,带宽,IP;

http://www.6san.com/1149/限制向客户端传送响应数据的速度,可以用来限制客户端的下载速度。参数rate的单位是字节/秒,0为关闭限速。nginx按连接限速,所以如果某个客户端同时开启了两个连接,那么客户端的整体速度是这条指令设置值的2倍。nginx限速示例:location /flv/ {flv;limit_rate_after 500k; #当传输量大于此值时,超出部分将限速传送limit_rate 50k;}limit_rate_afte...

2020-05-11 09:28:24

protobuf 和 json转换

2020-05-09 12:26:29

kubernetes(k8s) ingress及ingress docker-controller

kubernetes(k8s) ingress及ingress docker-controller什么是Ingress? --- HTTP 7层路由机制。将集群外部的HTTP和HTTPS路由暴露给集群中的服务,流量路由由Ingress资源上定义的规则控制 internet | [ Ingress ] --|-----|-- [ Services ]利用Ingress实现对外部访问(以nginx为例)1. 创建后端pod及service, 这...

2020-05-08 18:30:20

kubernetes之ingress及ingress controller

什么是ingressIngress是授权入站连接到达集群服务的规则集合。从外部流量调度到nodeprot上的service 从service调度到ingress-controller ingress-controller根据ingress中的定义(虚拟主机或者后端的url) 根据虚拟主机名调度到后端的一组pod中Ingress资源定义kubectl explain ingress.specrules 定义成虚拟主机调度还是url调度 backend 知道后端主机...

2020-05-08 17:54:38

Kubernetes外挂配置管理—ConfigMap介绍

目录贴:Kubernetes学习系列  其他容器编排调度工具会大谈特谈“轻应用”、“十二要素应用”,这样就势必会对企业级复杂应用做很大的改动。Kubernetes是为了解决“如何合理使用容器支撑企业级复杂应用”这个问题而诞生的,所以它的设计理念是要支持绝大多数应用的原生形态。例如,很多应用程序的配置需要通过配置文件,命令行参数和环境变量的组合配置来完成(“十二要素应用”等均要求去配置)。...

2020-05-08 09:43:26

Elasticsearch SQL用法详解

原创数据库开发技术作者:小米运维时间:2018-12-13 17:10:4462600本文详细介绍了不同版本中Elasticsearch SQL的使用方法,总结了实际中常用的方法和操作,并给出了几个具体例子。上篇文章回顾:看示例学awk一、5.x中ES-SQL用法Elasticsearch 5.x版本中,SQL功能还没有集成到Elasticsearch源码中,需...

2020-05-07 21:46:24

k8s实践12:kubernetes对接nfs存储实现pvc动态按需创建分配绑定pv

am2012关注1人评论2390人阅读2019-07-24 16:34:261.开始前的想法.前面测试pv&&pvc的部署和简单配置应用,实现pod应用数据存储到pvc并且和pod解耦的目的.前面操作是全手动操作,手动创建pv,手动创建pvc,如果集群pod少,这样操作可以.假如集群有1000个以上的pod,每个pod都需要使用pvc存储数据,如果...

2020-05-07 15:15:56

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 阅读者勋章Lv2
    阅读者勋章Lv2
    授予在CSDN APP累计阅读博文达到7天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。