8 数据架构师

尚未进行身份认证

致力于各种互联网编程软件

等级
博文 712
排名 198

python之gunicorn的配置

python常见的web部署搭配nginx+gunicorn,下面记录一下gunicorn的配置使用。安装gunicornpipinstallgunicorngunicorn-h#查看使用的命令gunicorn启动一个flask的应用程序#app.pyfromflaskimportFlaskdefcreate_app():app=F...

2019-06-18 10:55:34

flink在k8s上的部署和使用教程

官网:https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/kubernetes.html

2019-04-02 19:02:21

shell bash常用工具教程(curl,jq)

安装aptinstalljqjq命令格式jq[options]filter[files]**options:**--version:输出jq的版本信息并退出--slurp/-s:读入整个输入流到一个数组。--raw-input/-R:不作为JSON解析,将每一行的文本作为字符串输出到屏幕。--null-input/-n:不读取任何输入,过滤器运行使用null作为输入。...

2019-03-28 12:25:53

Kubernetes RBAC 详解

原文链接:KubernetesRBAC详解前面两节课我们学习了Kubernetes中的两个用于配置信息的重要资源对象:ConfigMap和Secret,其实到这里我们基本上学习的内容已经覆盖到Kubernetes中一些重要的资源对象了,来部署一个应用程序是完全没有问题的了。在我们演示一个完整的示例之前,我们还需要给大家讲解一个重要的概念:RBAC-基于角色的访问控制。RBAC使用rba...

2019-03-24 17:06:39

aiohttp进阶教程

在python后台——asyncio,aiohttp入门教程,多进程+asyncio文章中,我们介绍了asyncio,aiohttp的入门知识,现在我们这里详细介绍一下aiohttp参考文档:https://www.bookstack.cn/read/aiohttp-chinese-documentation/aiohttp文档-ServerTutorial.mdaiohttp.web建立在这...

2019-03-24 17:04:35

python分布式多进程框架 Ray

并行和分布式计算是现代应用程序的主要内容。我们需要利用多个核心或多台机器来加速应用程序或大规模运行它们。网络爬虫和搜索所使用的基础设施并不是在某人笔记本电脑上运行的单线程程序,而是相互通信和交互的服务的集合。ray的api接口教程:https://ray.readthedocs.io/en/latest/api.html为什么要使用Ray?很多教程解释了如何使用Python的多进程模块...

2019-03-13 19:49:27

Hbase GC调优原理分析

实践中,HBase使用的内存不断增长,但JDK可用的垃圾收集算法仍然相同。这导致了HBase的许多用户的一个主要问题:随着Java使用堆大小继续增长,垃圾回收导致的“stop-the-world”时间变得越来越长。这在实践中意味着什么?在垃圾回收导致的“stop-the-world”期间,任何到HBase客户端请求都不会被处理,造成用户可见的延迟,甚至超时。如果因为暂停导致请求超过一分钟响应,H...

2019-03-10 17:32:16

solrcloud 7.5在k8s上的部署安装和使用教程

solr的dockerhub官网:https://hub.docker.com/_/solr/Solr将其核心数据存储在server/solr目录的每个核心的子目录中。该server/solr目录还包含属于Solr分发的配置文件。所以如果想在k8s中持久化,需要添加挂载。Solr支持SOLR_HOME环境变量以指向Solr主目录的非标准位置。这里我们使用外部zookeeper,zk下的/...

2019-03-10 17:31:14

grafana设置mysql为数据源,并进行可视化

全栈工程师开发手册(作者:栾鹏)架构系列文章官网:http://docs.grafana.org/features/datasources/mysql/先封装一下最新的grafana,dockerhub地址SELECTfrom_unixtime(create_time)astime_sec,count(device_id)asvalue,device_i...

2019-03-10 17:29:49

全面认识openstack:OpenStack架构详解

OpenStack既是一个社区,也是一个项目和一个开源软件,提供开放源码软件,建立公共和私有云,它提供了一个部署云的操作平台或工具集,其宗旨在于:帮助组织运行为虚拟计算或存储服务的云,为公有云、私有云,也为大云、小云提供可扩展的、灵活的云计算。OpenStackd开源项目由社区维护,包括OpenStack计算(代号为Nova),OpenStack对象存储(代号为Swift),并OpenStack...

2019-03-06 16:27:41

Kubernetes vs OpenStack

前言最近2年相信大家都听过kubernetes这种新容器编排工具,越来越多的公司也去学习相关技术,并运用它去解决公司的问题,它在开源社区也是非常火,大小不断的k8smeeting以及容器相关的会议。这火爆程度和在2011年到2016年之间非常火的Openstack非常相似,不论是社区还是公司都是积极的去推动。笔者处在互联网之中,也接触学习过这两套系统,对他们相关技术也是非常的热爱,也在慢慢的根据...

2019-03-06 16:25:14

zookeeper教程

zookeeper命令ZooKeeper客户端有C语言和Java两个版本。ZooKeeper的命令在/usr/lib/zookeeper/bin文件夹下。运行Java版本的客户端使用bashzkCli.sh-serverIP:port,运行C语言版本的使用./cli_mtIP:port,下面介绍Java版本的,C语言版差不多。查看具体结点信息root@ubuntu:/usr/l...

2019-03-06 09:37:45

python开发大全、系列文章、精品教程

python基础教程python基础系列教程——Python的安装与测试:python解释器、PyDev编辑器、pycharm编译器python基础系列教程——Python库的安装与卸载python基础系列教程——Python3.x标准模块库目录python基础系列教程——Python中的编码问题,中文乱码问题python基础系列教程——python基础语法全解python...

2019-03-05 09:32:16

使用GlusterFS作为Kubernetes的后端存储

用GlusterFS作为Kubernetes的存储这里简单的介绍一下使用基于容器化的GlusterFS+heketi作kubernetes的后端存储的部署方式;对于GlusterFS的介绍这里就不多说了;部署过程主要参考:gluster-kubernetes1、环境[root@master-0~]#kubectlgetnodes-owideNAMESTAT...

2019-02-17 14:23:20

tornado使用mysql 连接池(torndb)

安装torndb包pipinstalltorndbpython3.6修改修改C:\ProgramFiles\Python36\lib\site-packages\torndb.py或者/usr/local/lib/python3.6/dist-packages/torndb.py#!/usr/bin/envpython##Copyright2009Facebook#...

2019-02-17 14:21:15

Windows10+Ubuntu16.04(ubuntu18.04)双系统安装

前言:装双系统的三种方案1、VirtualBox或者VMware虚拟机安装,主系统与虚拟机系统切换方便,但对于我这样的渣渣配置,能卡到我哭,可能有一些优化措施,不过我没有试过,我用虚拟机大多是安装一些一次性软件,用后即卸,不用担心卸载后在主机上有垃圾信息,还有就是想尝试一些新系统,虽然咱配置不咋地,但就是这么任性。2、Wubi安装,Wubi(WindowsUbuntu-BasedI...

2019-02-17 14:20:21

自动化运维工具(ansible入门教程)

Ansible是一个配置管理和配置工具,类似于Chef,Puppet或Salt。这是一款很简单也很容易入门的部署工具,它使用SSH连接到服务器并运行配置好的任务,服务器上不用安装任何多余的软件,只需要开启ssh,所有工作都交给client端的ansible负责。关于Ansible的一个好处是,将bash脚本转换为可执行任务是非常容易的。我们可以编写自己的配置程序,但是Ansible更加干净,因为...

2019-02-11 10:26:49

postgres数据库入门, python 操作postgres

安装需要的包pipinstallpsycopg2主要的api接口1psycopg2.connect(database="testdb",user="postgres",password="cohondob&a

2019-02-11 10:24:40

RabbitMQ用户角色及权限控制

RabbitMQ的用户角色分类:none、management、policymaker、monitoring、administratoruser有5种tags:management:访问managementplugin;policymaker:访问managementplugin和管理自己vhosts的策略和参数;monitoring:访问management...

2019-02-01 21:53:44

python基础系列教程——Python3.x标准模块库目录

全栈工程师开发手册(作者:栾鹏)python教程全解文本string:通用字符串操作re:正则表达式操作difflib:差异计算工具textwrap:文本填充unicodedata:Unicode字符数据库stringprep:互联网字符串准备工具readline:GNU按行读取接口rlcompleter:GNU按行读取的实现函数二进...

2019-01-27 12:00:03
奖章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得