8 数据架构师

尚未进行身份认证

致力于各种互联网编程软件

等级
TA的排名 185

canal 增量订阅mysql消息

docker部署dockerrun--namecanal-server-ecanal.instance.master.address=192.168.83.128:3306-ecanal.instance.dbUsername=root-ecanal.instance.dbPassword=admin-p11111:11111-dcanal/canal-...

2019-08-21 17:01:52

Druid 简介,架构,部署,python连接,hue链接druid

https://help.aliyun.com/document_detail/72987.html?spm=a2c4g.11186623.6.675.5ebb7ba7mPowo3

2019-08-14 21:50:23

索引利弊,如何创建索引,单键索引还是组合索引

**索引的利弊与如何判定,是否需要索引**相信读者都知道索引能够极大地提高数据检索的效率,让Query执行得更快,但是可能并不是每一位朋友都清楚索引在极大提高检索效率的同时,也给数据库带来了一些负面的影响。下面就分别对MySQL中索引的利与弊做一个简单的分析。索引的好处索引带来的益处可能很多读者会认为只是"能够提高数据检索的效率,降低数据库的IO成本"。确实,在数据库中表的某个字段...

2019-08-14 11:20:08

clickhouse 部署+介绍

介绍Clickhouse是一个用于联机分析处理(OLAP)的列式数据库管理系统(columnarDBMS)。传统数据库在数据大小比较小,索引大小适合内存,数据缓存命中率足够高的情形下能正常提供服务。但残酷的是,这种理想情形最终会随着业务的增长走到尽头,查询会变得越来越慢。你可能通过增加更多的内存,订购更快的磁盘等等来解决问题(纵向扩展),但这只是拖延解决本质问题。如果你的需求是解决怎样快速查...

2019-08-13 22:47:47

Spark Standalone架构设计要点分析

参考:http://www.uml.org.cn/bigdata/2017011105.asp?artid=18894

2019-08-06 09:25:59

shell编程

什么是shell编程高大上的解释,往往让人摸不住头脑。一句话概括就是:shell编程就是对一堆Linux命令的逻辑化处理。为什么要会shell编程就是批处理动作,解放双手,避免重复性劳动。第一个shell程序#!/bin/bash#第一个shell小程序echohelloworld!第一行表示我们选择使用bashshell。shell中#符号表示注释。...

2019-08-05 21:06:35

pyspark操作 rdd dataframe,pyspark.sql.functions详解

官网文档可以参考:https://spark.apache.org/docs/latest/api/python/index.html我们采用本地实验的方式,来学习下语法face.csv文件内容如下image_id,device_id,date_str,age,gender,glass,hat,feat2019-03-09_8_0007f1a502433ee0d80c7f14c3bf7bc...

2019-08-05 15:28:31

python代码风格

pep8:Python代码风格检查工具https://blog.csdn.net/lucyxu107/article/details/82626123PyCharm自动格式化Python代码https://blog.csdn.net/simplehouse/article/details/90032248

2019-08-02 18:41:51

微服务架构系列文章、精品教程

架构系列文章大全

2019-08-02 18:21:34

HBase Region 自动拆分策略

原文地址:https://cloud.tencent.com/developer/article/1374592HBase-2.x支持7种Region自动拆分Region的策略,类图如下:其中BusyRegionSplitPolicy是HBase-2.x新增的策略,其他6种在HBase-1.2.x中也可以使用。设置自动拆分策略的关键配置如下:hbase.regionserver.regi...

2019-07-24 15:22:26

minikube安装k8s单机调试环境(docker、virtualbox、kubectl、minikube、Kubernetes)

minikube为开发或者测试在本地启动一个节点的kubernetes集群,minikube打包了和配置一个linux虚拟机、docker与kubernetes组件。给开发者提供充分的环境。按使用前请安装lantern翻墙工具,为了下载能顺利完成,并且为了满足网络顺利,使用usb共享上网1、安装依赖包sudoapt-getinstalllibqt5x11extras5lib...

2019-07-04 22:03:44

hue安装使用,集成数据库

Hue是一个开源的ApacheHadoopUI系统,由ClouderaDesktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于PythonWeb框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduceJob,执行Hive的SQL语句,...

2019-06-27 13:39:25

python开发大全、系列文章、精品教程

python基础教程python基础系列教程——Python的安装与测试:python解释器、PyDev编辑器、pycharm编译器python基础系列教程——Python库的安装与卸载python基础系列教程——Python3.x标准模块库目录python基础系列教程——Python中的编码问题,中文乱码问题python基础系列教程——python基础语法全解python...

2019-06-27 13:38:41

java开发大全、系列文章、精品教程

全栈工程师开发手册(作者:栾鹏)快捷链接:一个demo学会javajava实现使用JDBC-ODBC桥操作数据库java中RandomAccessFile随机文件读写,文件追加和部分读取java使用socket实现一个多线程web服务器java实现代理服务器,接收客户端连接,发送到对应服务器java实现tcp服务器(单线程、多线程)、客户端java使用UDP数据报通讯方式QQ聊天系统:服务器、客

2019-06-27 13:38:11

neo4j的查询语法Cypher+python演示

MATCH查询节点根据label,属性的值查询单个(多个)节点。其中label,attr,value可以省略MATCH(node1_var:node1_label{attr1:value1,attr2:value2}),(node2_var:node2_label)RETURNnode1_var.attr3,node2_var查询邻接点查询节点的相关节点(不区分方向),使用-...

2019-06-26 17:40:26

python之gunicorn的配置

python常见的web部署搭配nginx+gunicorn,下面记录一下gunicorn的配置使用。安装gunicornpipinstallgunicorngunicorn-h#查看使用的命令gunicorn启动一个flask的应用程序#app.pyfromflaskimportFlaskdefcreate_app():app=F...

2019-06-18 10:55:34

flink在k8s上的部署和使用教程

官网:https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/kubernetes.html

2019-04-02 19:02:21

shell bash常用工具教程(curl,jq)

安装aptinstalljqjq命令格式jq[options]filter[files]**options:**--version:输出jq的版本信息并退出--slurp/-s:读入整个输入流到一个数组。--raw-input/-R:不作为JSON解析,将每一行的文本作为字符串输出到屏幕。--null-input/-n:不读取任何输入,过滤器运行使用null作为输入。...

2019-03-28 12:25:53

Kubernetes RBAC 详解

原文链接:KubernetesRBAC详解前面两节课我们学习了Kubernetes中的两个用于配置信息的重要资源对象:ConfigMap和Secret,其实到这里我们基本上学习的内容已经覆盖到Kubernetes中一些重要的资源对象了,来部署一个应用程序是完全没有问题的了。在我们演示一个完整的示例之前,我们还需要给大家讲解一个重要的概念:RBAC-基于角色的访问控制。RBAC使用rba...

2019-03-24 17:06:39

aiohttp进阶教程

在python后台——asyncio,aiohttp入门教程,多进程+asyncio文章中,我们介绍了asyncio,aiohttp的入门知识,现在我们这里详细介绍一下aiohttp参考文档:https://www.bookstack.cn/read/aiohttp-chinese-documentation/aiohttp文档-ServerTutorial.mdaiohttp.web建立在这...

2019-03-24 17:04:35

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。