8 数据架构师

尚未进行身份认证

致力于各种互联网编程软件

等级
TA的排名 124

Python实现Kubernetes Operator

示例:为了使事情变得简单实用,让我们创建一个简单的operator:当出现一个新的namespace,或ConfigMap与Secret之一更改其状态时,复制ConfigMap。从实用的角度来看,我们的新operator可以用于批量更新应用程序的配置(通过更新ConfigMap)或重置Secret,例如用于Docker注册中心的键(当一个Secret添加到namespace时)。先定义CRD...

2019-08-23 14:09:16

go 入门

linux安装安装包下载地址为:https://golang.org/dl/。解压后放在软件目录,添加环境变量/etc/profileexportPATH=$PATH:/usr/local/go/binidea编辑器和go插件IntelliJIDEA软件自己下载了。go编辑器:在文件-设置-插件-加载本地插件即可...

2019-08-31 17:42:55

istio-opentracing链路追踪方案

目录istio-opentracing链路追踪方案envoy链路追踪初始化追踪跟踪上下文信息istio链路追踪链路追踪参数采样率jaegeristio中jaeger现状jaeger持久化存储istio-opentracing链路追踪方案istio-opentracing链路追踪主要是由sidecar(envoy)支持的,istio...

2019-10-11 17:56:56

python 异步io下,阻塞操作的异步包

webserver:uvicornaiohttpwebclient:aiohttp:https://github.com/aio-libs/aiohttpmysql:aiomysql:https://github.com/aio-libs/aiomysqlpostgresql:asyncpg:https://github.com/MagicStack/asyncpgaiopg:...

2019-09-05 13:36:50

apollo 部署 使用

github官方地址https://github.com/ctripcorp/apollo分布式部署https://github.com/ctripcorp/apollo/wiki/%E5%88%86%E5%B8%83%E5%BC%8F%E9%83%A8%E7%BD%B2%E6%8C%87%E5%8D%97kubernetes部署https://github.com/ctripcorp...

2019-10-10 18:51:40

MySQL索引和SQL调优手册

MySQL索引和SQL调优本文有参考网上其他相关文章,本文最后有附参考的链接https://juejin.im/post/5a6873fbf265da3e393a97faMySQL索引MySQL支持诸多存储引擎,而各种存储引擎对索引的支持也各不相同,因此MySQL数据库支持多种索引类型,如BTree索引,哈希索引,全文索引等等。为了避免混乱,本文将只关注于BTree索引,因为这是平常使用M...

2019-09-25 14:19:54

RoaringBitmap 原理

前言位图索引被广泛用于数据库和搜索引擎中,通过利用位级并行,它们可以显著加快查询速度。但是,位图索引会占用大量的内存,因此我们会更喜欢压缩位图索引。RoaringBitmaps就是一种十分优秀的压缩位图索引,后文统称RBM。压缩位图索引有很多种,比如基于RLE(Run-LengthEncoding,运行长度编码)的WAH(WordAlignedHybridCompressi...

2019-09-21 16:45:42

Elasticsearch是如何做到快速索引的

最近在参与一个基于Elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询的方案设计工作,花了些时间学习Elasticsearch的基础理论知识,整理了一下,希望能对Elasticsearch感兴趣/想了解的同学有所帮助。同时也希望有发现内容不正确或者有疑问的地方,望指明,一起探讨,学习,进步。原文:https://www.jianshu.com/p/ed7e1ebb2fb...

2019-09-25 14:13:48

canal 增量订阅mysql消息

docker部署dockerrun--namecanal-server-ecanal.instance.master.address=192.168.83.128:3306-ecanal.instance.dbUsername=root-ecanal.instance.dbPassword=admin-p11111:11111-dcanal/canal-...

2019-08-21 17:01:52

Druid 简介,架构,部署,python连接,hue链接druid

https://help.aliyun.com/document_detail/72987.html?spm=a2c4g.11186623.6.675.5ebb7ba7mPowo3

2019-08-14 21:50:23

索引利弊,如何创建索引,单键索引还是组合索引

**索引的利弊与如何判定,是否需要索引**相信读者都知道索引能够极大地提高数据检索的效率,让Query执行得更快,但是可能并不是每一位朋友都清楚索引在极大提高检索效率的同时,也给数据库带来了一些负面的影响。下面就分别对MySQL中索引的利与弊做一个简单的分析。索引的好处索引带来的益处可能很多读者会认为只是"能够提高数据检索的效率,降低数据库的IO成本"。确实,在数据库中表的某个字段...

2019-08-14 11:20:08

clickhouse 部署+介绍

介绍Clickhouse是一个用于联机分析处理(OLAP)的列式数据库管理系统(columnarDBMS)。传统数据库在数据大小比较小,索引大小适合内存,数据缓存命中率足够高的情形下能正常提供服务。但残酷的是,这种理想情形最终会随着业务的增长走到尽头,查询会变得越来越慢。你可能通过增加更多的内存,订购更快的磁盘等等来解决问题(纵向扩展),但这只是拖延解决本质问题。如果你的需求是解决怎样快速查...

2019-08-13 22:47:47

Spark Standalone架构设计要点分析

参考:http://www.uml.org.cn/bigdata/2017011105.asp?artid=18894

2019-08-06 09:25:59

shell编程

什么是shell编程高大上的解释,往往让人摸不住头脑。一句话概括就是:shell编程就是对一堆Linux命令的逻辑化处理。为什么要会shell编程就是批处理动作,解放双手,避免重复性劳动。第一个shell程序#!/bin/bash#第一个shell小程序echohelloworld!第一行表示我们选择使用bashshell。shell中#符号表示注释。...

2019-08-05 21:06:35

pyspark操作 rdd dataframe,pyspark.sql.functions详解

官网文档可以参考:https://spark.apache.org/docs/latest/api/python/index.html我们采用本地实验的方式,来学习下语法face.csv文件内容如下image_id,device_id,date_str,age,gender,glass,hat,feat2019-03-09_8_0007f1a502433ee0d80c7f14c3bf7bc...

2019-08-05 15:28:31

python代码风格

pep8:Python代码风格检查工具https://blog.csdn.net/lucyxu107/article/details/82626123PyCharm自动格式化Python代码https://blog.csdn.net/simplehouse/article/details/90032248

2019-08-02 18:41:51

微服务架构系列文章、精品教程

架构系列文章大全

2019-08-02 18:21:34

HBase Region 自动拆分策略

原文地址:https://cloud.tencent.com/developer/article/1374592HBase-2.x支持7种Region自动拆分Region的策略,类图如下:其中BusyRegionSplitPolicy是HBase-2.x新增的策略,其他6种在HBase-1.2.x中也可以使用。设置自动拆分策略的关键配置如下:hbase.regionserver.regi...

2019-07-24 15:22:26

minikube安装k8s单机调试环境(docker、virtualbox、kubectl、minikube、Kubernetes)

minikube为开发或者测试在本地启动一个节点的kubernetes集群,minikube打包了和配置一个linux虚拟机、docker与kubernetes组件。给开发者提供充分的环境。按使用前请安装lantern翻墙工具,为了下载能顺利完成,并且为了满足网络顺利,使用usb共享上网1、安装依赖包sudoapt-getinstalllibqt5x11extras5lib...

2019-07-04 22:03:44

hue安装使用,集成数据库

Hue是一个开源的ApacheHadoopUI系统,由ClouderaDesktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于PythonWeb框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduceJob,执行Hive的SQL语句,...

2019-06-27 13:39:25

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。