• 等级
  • 69979 访问
  • 51 原创
  • 7 转发
  • 61158 排名
  • 8 评论
  • 14 获赞

kafka-producer(数据生产)笔记

文章目录一、kafka简介二、生产者基本实现1.示意图2.具体实现:2.1Fire-and-forget模式2.2同步模式2.3callback模式三、producer参数调优1.acks2.retries3.serializer.class4.compression.codec5.batch.num.messages&queue.buffering.max.ms四、分...

2019-05-13 01:29:09

flume 1.9 更新说明

flume1.9版本更新个人见解关心的几个点Flume环境变量支持float或double高版本kafka支持与指标完善安全相关的几点改进总体上这个版本并没有带来太核心的变化,老版本用户可以不考虑升级。官方说明(翻译)**新特性[FLUME-2071]-Flume环境变量不支持float或double的配置值.[FLUME-2442]-Flume配置中提供明文...

2019-04-29 01:23:25

【转】awesome-asyncio-cn

原文:https://github.com/chenjiandongx/awesome-asyncio-cnAwesome-asyncio是TimoFurrer发起并维护的PythonAsyncio资源列表。我觉得这个是很赞的想法,所以维护了一个中文版本的,在这里,收集了大量的Asyncio的最棒、最新的资源,供大家探索Python异步编程世界。Python3.4引入...

2019-03-20 19:43:18

《Kubernetes 是下一代操作系统 》读后分享摘要

给组内小伙伴做的一次关于Kubernetes的分享,内容主要来自《Kubernetes是下一代操作系统》原文链接:https://github.com/answer1991/articles/blob/master/Kubernetes-is-the-next-generation-os.md本次分享适合没有任何Kubernetes/容器/Docker经验的同学,对Kub...

2019-03-11 20:23:09

【转载】基于flink的分布式同步工具

文章目录FlinkX概览FlinkX的设计思路一.插件式架构二.Flink任务的自动组装FlinkX的优势一.便于使用二.性能优越三.多运行模式四.插件式开发五.错误控制六.任务资源限制欢迎试用FlinkXFlinkX概览一.FlinkX是一个基于Flink的异构数据源离线同步工具,用于在多种数据源(MySQL、Oracle、SqlServer、Ftp、Hdfs,HBase、Hive、Ela...

2019-02-15 16:12:06

【flink官方文档翻译】DataStream API Tutorial

原文链接:https://ci.apache.org/projects/flink/flink-docs-release-1.7/tutorials/datastream_api.html#top文章目录SettingupaMavenProjectWritingaFlinkProgramBonusExercise:RunningonaClusterandWrit...

2019-01-25 01:10:59

基于TC和netem实现网络异常情况的模拟

基于TC和netem实现网络异常情况的模拟背景笔者最近在对一个公网传输方案做测试时,需要模拟一些公网中遇到的极端情况(延迟、丢包、重复、损坏和乱序等)。惊喜地发现,Linux原生已经集成了TC和netem这对组合,只需要几个命令即可快速地实现上述功能。TC简介Linux内核内置了一个TC(TrafficControl)框架,可以实现流量限速,流量整形,策略应用(丢弃,NAT等)。原理大致...

2018-12-04 10:42:52

使用JCommander开发命令行交互(CLI)式JAVA程序

一、前言最近在看pulsar源码时,发现他们使用了JCommander来开发命令行交互程序,便对这个framework产生了兴趣。传统意义上讲,JAVA并不是开发命令行程序最合适的语言,但是因为依赖一些特定JAVA库(特别是大数据相关的)的CLI程序,用java来开发却是最方便的。pulsar相关源码:https://github.com/apache/pulsar/blob/branch...

2018-11-26 20:40:21

《编写高质量代码之JAVA》阅读摘要-基础篇

前言:温故而知新。之前阅读过Python版本的《编写高质量代码》,收获颇丰。在此,我分享下我的部分阅读笔记,供大家参考。通用方法与准则1.自增陷阱count=count++;i++:先赋值后加1++i:先加1后赋值c++里面,如上写法是ok的,但是java里面这是一个表达式,返回值是count自加前的值,所以上述写法有误。2.静...

2018-09-02 23:47:05

flume 1.8.0 开发指引

介绍概述ApacheFlume是一个用于高效地从大量异构数据源收集、聚合、传输到一个集中式数据存储的分布式、高可靠、高可用的系统.ApacheFlume是Apache基金会的顶级项目.现在有两个代码版本线可以获取:0.9.x和1.x.本文档对应的是1.x版本.数据流模型Event是流经flumeagent的最小数据单元.一个Event(由Event接口实现)从so...

2018-08-26 18:37:15

快速熟悉Java(闲聊版)

一、简要背景:java可能是很多同学大学学习的第一门或者第二门语言,大部分人可能并不需要这样一篇熟悉性语法相关的文章。但是有一部分同学可能和我经历相似,大学课程并没有java,工作后一直从事其他语言相关的工作(如python等)。知道java是什么,也知道java的一些简单的细节(如jdk、jvm)、比较深入地了解其他语言的情况(语法、数据结构、面向对象、单元测试等),但是并没有直...

2018-08-19 17:17:06

pycharm的python_stubs

最近在写udpsocket程序时,对几个函数(如sendto)command+左击时,发现跳转到了这个python文件里面去了。(默认应该是到函数源码那里)/PyCharm2018.1/python_stubs/160944109/_socket.py定义了如下的伪函数defsend(self,data,flags=None):#realsignature...

2018-08-08 00:40:32

udp的若干问题

内部分型精简版参考链接:https://blog.csdn.net/dog250/article/details/6896949UDPSOCKET-SERVER#encoding:utf-8"""@version:1.0@author:pierrexiong@file:udp_server@time:2018/8/2下午7:56"""fromso..

2018-08-05 17:05:27

flask源码阅读笔记(4)-路由实现分析

一、url路由实现1.基础路由fromflaskimportFlaskapp=Flask(__name__)@app.route("/")defhello():return"HelloWorld!"分析装饰器源码:defroute(self,rule,**options):defdecorator(f...

2018-07-19 00:42:57

flask源码阅读笔记(2)-session相关

一、session的使用与常识1.参考flask官方demo实现如下一段代码#encoding:utf-8"""@version:1.0@author:pierrexiong@file:my_session@time:2018/7/17上午12:00"""fromf

2018-07-17 01:49:19

pycharm配置与使用技巧

pycharm也许是目前最好的python开发ide,自己几乎每一台电脑都有安装,这里列一下自己的配置和使用技巧,方便自己还有他人。一、pycharm下载与安装地址:http://www.jetbrains.com/pycharm/社区版够用,专业版学生账户可以免费用(只要edu邮箱即可以体验使用)二、配置1.主题和字体写代码的地方,不美观怎么行?File-->Setting-->Ed...

2018-07-15 23:01:18

flask源码阅读笔记(1)-基本逻辑

一、前言之前陆陆续续看过一点flask源码但不是很系统。最近计划把之前的笔记串起来,算是作为自己的积累。为什么选择flask?答案比较简单:-代码量不是很大,核心部分也就万行左右-代码相对规范-注释很详细flask源码:https://github.com/pallets/flaskflask文档:http://flask.pocoo.org/falsk开...

2018-07-15 21:20:35

stderr基础

一、从一个c的例子讲起:voidmain(){fprintf(stdout,"stdout!");fprintf(stderr,"stderr!");printf("printf!");}编译成可执行文件test.out,分别执行,请请观察运行结果./test.out./test.out>tmp.txt./test.out2&g...

2018-06-18 17:35:26

beanstalkc Tutorial 中文版

英文原版:https://github.com/earl/beanstalkc/blob/wip-doc-rtfd/doc/tutorial.rst背景介绍:Beanstalk,一个高性能、轻量级的分布式内存队列系统。而beanstalkc是Beanstalk的一个python客户端库。开始:启动服务端beanstalkd进程来监听14711端口,可以使用下列命令:beanstalkd-l12...

2018-06-13 19:19:39

理解IO(一):基础指标

IO在计算机中指Input/Output,也就是输入和输出。一个优秀的程序员如果缺乏足够的IO基础知识,那他写出的程序必然是低效且丑陋的(好像说的是年轻的自己,(⊙﹏⊙)b)。这里我列举下从第三方获取到的一些关于IO耗时的基础指标:L1cachereference读取CPU的一级缓存:1nsL2cachereference读取CPU的二级缓存:4nsMutexlock/un...

2018-06-03 17:32:32

pierre94

just think!
关注
  • 中国 广东省 深圳市
奖章
  • 勤写标兵Lv1