6 pierre94

尚未进行身份认证

just think!

等级
TA的排名 5w+

基于nacos+ConfigParser实现Python近原生的云配置管理

一、场景无论从程序开发还是线上管理,通过本地配置文件\写死代码进行配置管理都是不合适的。其实本文是一篇水文,使用一个小的方法快速实现了所谓Python近原生的云配置管理,不会太高深。二、nacos与ConfigParser1、nacos阿里巴巴开源的一个配置中心,详见为什么公司有轮子,开源有那么多方案,选nacos呢?目前公司轮子大部分与其业务过于耦合内部大部分轮子管理端与...

2019-10-07 18:43:26

朝花夕拾-哈希表(hashTable)

复习一下常见的数据结构与算法​一、走进哈希表(hashTable)1.哈希表的目的实现数据的快速查找2.哈希表的设计原理二、哈希表的设计要素哈希函数-hashfunction冲突解决方案-collisionsolution重哈希-rehashing1.哈希函数-hashfunction基本概念一个哈希函数需要具备如下特征:确定性不可逆其输入为:任...

2019-10-07 18:40:05

《hadoop权威指南》笔记二: hdfs读写过程剖析

基于《hadoop权威指南》第四版。温故知新一、hdfs简介Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。hdfs的设计如下:https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.htmlps:...

2019-09-07 11:34:22

谈谈Python多线程

本文环境:Python2.7.10(CPython)。文章目录一、GIL简介二、Python多线程是否鸡肋1.为什么需要多线程呢?2.计算密集型vs.IO密集型计算密集型验证例子3.小结三、锁与线程安全四、总结参考资料:因为GIL的存在,Python多线程是否鸡肋?既然已有GIL,是否Python编程不需要关注线程安全的问题?不需要使用锁?为什么Python进阶材料很...

2019-08-19 23:27:48

《hadoop权威指南》笔记一:走进hdfs

基于​《hadoop权威指南》第四版一、什么是hdfsHadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS是A...

2019-07-30 01:35:17

【转载】eBPF Tracing 入门教程与实例

在LPC'18(LinuxPlumber'sconference)会议上,至少有24个关于eBPF的演讲。eBPF这一实用技术,将是每个开发者需要掌握的技巧。也许你的新年目标得再多一个了:学习eBPF!eBPF的名称源于extendedBerkeleyPacketFilter,如果从eBPF的功能来说,类似VirtualKernelInstructio...

2019-07-04 19:21:05

【小笔记】pycharm连远程服务器开发环境时无法debug?

文章目录一、背景二、解决方法一、背景某公司提供可直连的高性能服务器供开发人员在上面快速开发。其中某位同学使用pycharm时遇到问题:我用本地pycharm连接开发机的解释器,发现可以运行Python,但是debug的时候会报Failedtoaddremoteportforwarding的错误?二、解决方法https://intellij-support.jetbra...

2019-07-02 22:36:21

微服务配置中心-Nacos

文章目录一、Nacos简介二、微服务配置中心探讨1.为什么要配置管理2.配置管理策略三、Nacos基础1.NACOS设计原则2.nacos的接口3.完成的客户端实例四、一些思考1.Nacos客户端是怎么实时获取到Nacos服务端的最新数据的?2.NACOS如何兼容apache的configuration2.AP还是CP,还是mixed一、Nacos简介nacos是阿里开源的一个微服务配...

2019-06-17 10:59:23

mac下制作windows10的安装镜像

文章目录一、背景二、步骤1.下载官方镜像2.抹除u盘内容并初始化3.镜像内容写入到U盘4.系统安装一、背景在瓜大的时候曾经在计算机志愿者服务队做过志愿者,帮助很多人安装过各种各样的系统。毕业后很长一段时间,因为各种原因就没有自己装过新的操作系统(比如mac系统很稳定不折腾、公司有专业的IT服务团队)。这里记录下一种最简单地在mac下制作windows10的安装镜像的过程(主要是网上检索的...

2019-06-14 12:05:23

kafka-producer(数据生产)笔记

文章目录一、kafka简介二、生产者基本实现1.示意图2.具体实现:2.1Fire-and-forget模式2.2同步模式2.3callback模式三、producer参数调优1.acks2.retries3.serializer.class4.compression.codec5.batch.num.messages&queue.buffering.max.ms四、分...

2019-05-13 01:29:09

flume 1.9 更新说明

flume1.9版本更新个人见解关心的几个点Flume环境变量支持float或double高版本kafka支持与指标完善安全相关的几点改进总体上这个版本并没有带来太核心的变化,老版本用户可以不考虑升级。官方说明(翻译)**新特性[FLUME-2071]-Flume环境变量不支持float或double的配置值.[FLUME-2442]-Flume配置中提供明文...

2019-04-29 01:23:25

【转】awesome-asyncio-cn

原文:https://github.com/chenjiandongx/awesome-asyncio-cnAwesome-asyncio是TimoFurrer发起并维护的PythonAsyncio资源列表。我觉得这个是很赞的想法,所以维护了一个中文版本的,在这里,收集了大量的Asyncio的最棒、最新的资源,供大家探索Python异步编程世界。Python3.4引入...

2019-03-20 19:43:18

《Kubernetes 是下一代操作系统 》读后分享摘要

给组内小伙伴做的一次关于Kubernetes的分享,内容主要来自《Kubernetes是下一代操作系统》原文链接:https://github.com/answer1991/articles/blob/master/Kubernetes-is-the-next-generation-os.md本次分享适合没有任何Kubernetes/容器/Docker经验的同学,对Kub...

2019-03-11 20:23:09

【转载】基于flink的分布式同步工具

文章目录FlinkX概览FlinkX的设计思路一.插件式架构二.Flink任务的自动组装FlinkX的优势一.便于使用二.性能优越三.多运行模式四.插件式开发五.错误控制六.任务资源限制欢迎试用FlinkXFlinkX概览一.FlinkX是一个基于Flink的异构数据源离线同步工具,用于在多种数据源(MySQL、Oracle、SqlServer、Ftp、Hdfs,HBase、Hive、Ela...

2019-02-15 16:12:06

【flink官方文档翻译】DataStream API Tutorial

原文链接:https://ci.apache.org/projects/flink/flink-docs-release-1.7/tutorials/datastream_api.html#top文章目录SettingupaMavenProjectWritingaFlinkProgramBonusExercise:RunningonaClusterandWrit...

2019-01-25 01:10:59

基于TC和netem实现网络异常情况的模拟

基于TC和netem实现网络异常情况的模拟背景笔者最近在对一个公网传输方案做测试时,需要模拟一些公网中遇到的极端情况(延迟、丢包、重复、损坏和乱序等)。惊喜地发现,Linux原生已经集成了TC和netem这对组合,只需要几个命令即可快速地实现上述功能。TC简介Linux内核内置了一个TC(TrafficControl)框架,可以实现流量限速,流量整形,策略应用(丢弃,NAT等)。原理大致...

2018-12-04 10:42:52

使用JCommander开发命令行交互(CLI)式JAVA程序

一、前言最近在看pulsar源码时,发现他们使用了JCommander来开发命令行交互程序,便对这个framework产生了兴趣。传统意义上讲,JAVA并不是开发命令行程序最合适的语言,但是因为依赖一些特定JAVA库(特别是大数据相关的)的CLI程序,用java来开发却是最方便的。pulsar相关源码:https://github.com/apache/pulsar/blob/branch...

2018-11-26 20:40:21

《编写高质量代码之JAVA》阅读摘要-基础篇

前言:温故而知新。之前阅读过Python版本的《编写高质量代码》,收获颇丰。在此,我分享下我的部分阅读笔记,供大家参考。通用方法与准则1.自增陷阱count=count++;i++:先赋值后加1++i:先加1后赋值c++里面,如上写法是ok的,但是java里面这是一个表达式,返回值是count自加前的值,所以上述写法有误。2.静...

2018-09-02 23:47:05

flume 1.8.0 开发指引

介绍概述ApacheFlume是一个用于高效地从大量异构数据源收集、聚合、传输到一个集中式数据存储的分布式、高可靠、高可用的系统.ApacheFlume是Apache基金会的顶级项目.现在有两个代码版本线可以获取:0.9.x和1.x.本文档对应的是1.x版本.数据流模型Event是流经flumeagent的最小数据单元.一个Event(由Event接口实现)从so...

2018-08-26 18:37:15

快速熟悉Java(闲聊版)

一、简要背景:java可能是很多同学大学学习的第一门或者第二门语言,大部分人可能并不需要这样一篇熟悉性语法相关的文章。但是有一部分同学可能和我经历相似,大学课程并没有java,工作后一直从事其他语言相关的工作(如python等)。知道java是什么,也知道java的一些简单的细节(如jdk、jvm)、比较深入地了解其他语言的情况(语法、数据结构、面向对象、单元测试等),但是并没有直...

2018-08-19 17:17:06

查看更多

勋章 我的勋章
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。