lxf20054658的专栏

原创 一场江湖恩怨从「聚合数据」说起——第五篇

参加本次项目 POC 测试的供应商有五家，除了李所在公司，其他四家皆有成熟的产品，丰富的落地案例，齐整的研发队伍，反观李所在部门，产品还是一个半成品，PPT 的方案则是吹得天花乱坠，队伍也是残缺不全，没有专门的产品经理，没有专门的项目经理，没有专门的架构师，整一个人人都是产品经理，人人都是项目经理，人人都是架构师。短线操作时参考较多。客户是一个很强势的客户，和之前供应商了解到的是他们需求无边无际，经常是领导一句话，需求就变更了，不给钱但喜欢画饼，总在说做得好还有下一期可以做，这一期只是我们预算的一个零头。.

原创 每周给我10分钟，我给你一个Flink SQL 菜谱——甜点：数据过滤

矮胖大叔说到，之前他们那里有个老板，花了 60 多万转手了一个店，各种证件都办齐了，重新装修的材料也购买到货了，不料，警察上门了，直接叫停了正在装修的工人，说疫情期间，为了人民的身体健康，防止疫情扩散，需要停工一个月。是的，李静下心来，踏踏实实，兢兢业业，不挑活不甩锅，同事问问题找他他都竭尽所能的去帮助同事，短短一年的时间，同事们眼中的那个好高骛远，心比天高命比纸薄的李彻底改头换面，变成了一个优秀员工，相信假以时日，他会走上卓越之路。每天都在读书，写作，看源码，写源码，每一天都这样度过。...

原创 用4+1架构视图说说Flink架构

友情提示，本文11239字，预计阅读时间25分钟。在实时流计算的江湖里，Flink 大有一统江湖的味道，其正处于如日中天的高光时刻。溯古论今，Flink 起源于德国柏林大学2010年的一个研究项目，2014年到 Apache 舞台露了个脸，2019年被阿里巴巴收购后开始走上人生巅峰，收获一众粉丝，名气越来越大，在实时流计算的地位越来越高，截止本文写作时间，最新版本为1.14.4，功能越来越多，操作越来越简单，生态越来越多样化。九层楼台，起于垒土，千里之行始于足下，万变不离其宗，一切的迭代都是基于设计好的

原创 分布式快照：确定分布式系统的全局状态

摘要：本文尝试翻译了chandy和lamport分布式快照论文。在一个分布式系统中，只要所有节点都记录各自状态，发送、接收数据也都分别记录状态，并将各自状态数据汇总成系统全局状态，则这个系统内是可以实现数据一致性的，即系统故障能够精确的恢复到故障前的状态。就像用一台相机给空中的一群鸟拍照，无法拍到全景图，如果同时用10台甚至更多相机同时抓拍，最后再将所有相机拍摄的照片合成为全景图，则可以完整的保存某一个瞬间的飞鸟的状态。1 导言本文提出了分布式系统中进程在计算过程中确定系统全局状态的算法。分布式系统

原创 数据清洗（一）flink算子从socket读取json文本并进行数据处理

摘要：在国家实施大数据战略加快建设数字中国的伟大时代背景下，随着各种新型大数据技术的快速发展，flink在企业批流一体化大数据平台建设过程中，逐步稳固了江湖地位。本文将用flink转换算子演示对一个json文本进行数据清洗。科学技术是第一生产力，值此“新基建”建设如火如荼时，大数据是信息化发展的新阶段，各地正在大力推进大数据产品创新发展，数字成为数字经济中的关键要素，时代正经历百年未有之大变局，疫情这个黑天鹅还在四处挥舞，数据治理提升到了国家高度，未来十年国家将以数据治国，企业将以数据经营，个人将以数据

原创 你家kafka正常运行着吗

kafka是分布式架构里重要成员，常用于异步处理、应用解耦、流量消峰、日志采集。开发人员十之八九只会用（更有甚者只知用SpringKafka，不解Kafka Client API），不知其法，亦不愿探其法，其结局就是出了问题，抓耳挠腮，忍丢失数据之痛而重启大吉。本文将从基础理论，案例实验，专家学者三个角度探究kafka的监控运维，提供一个kafka知识地图，力求让工程师敢用kafka，会用kafka，能控kafka。初，理论先行，后，实践之，再后，研究生产案例，以求学、练、用、思、总，以达到很好的学习效

原创 kafka消息传输：概念、原理与实战

一、概念1、消息模型JMS规范：Java消息服务（Java Message Service，JMS）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。点对点与发布订阅最初是由JMS定义的。这两种模式主要区别或解决的问题就是发送到队列的消息能否重复消费(多订阅)消息队列-点对点：消息队列-发布订阅：2、消息：消息是Kafka通信的基本单位，由一个固定长度的消息头和一个可变长度的消息体构成。.

原创 kubernetes集群内调度与负载均衡

kubernetes负载均衡包括集群外负载均衡和集群内负载均衡，专业术语叫南北流量和东西流量，本文主要讲述集群内负载均衡（东西流量）。本文第一部分会讲述kubernetes组件总览，第二部分会讲述kuber-scheduler是什么，第三部分会讲述kuber-scheduler核心概念，第四部分会讲述kuber-scheduler是如何实现负载均衡调度的，最后一部分会讲述kuber-scheduler的高可用选举机制，在讲到高可用和分部署集群leader选举时，会对知识点做适当迁移应用，引申一下。一、K

原创 Nginx为什么能实现高性能和高扩展

一、Nginx的作者是谁？Nginx（engine-x）是由1994年毕业于俄罗斯国立莫斯科鲍曼技术大学的IgorSysoev设计开发的。开发工作从2002年开始，第一次正式公开发布是在2004年10月4日，版本号为0.1.0。二、web服务器会遇到哪些问题？2.1、Apache服务器缺点： 不支持高并发、扩容不方便、重量级。2.2、Microsoft IIS缺点：付费2.3、Tomcat服务器缺点：、无法满足复杂业务场景的要求、重量级。2.4、Lighttpd服务器...

原创 分布式架构之kafka

kafka是一个分布式企业级消息系统、存储系统、流式处理平台。kafka是一个支持高并发，高可用，高吞吐的分布式企业级消息系统、存储系统、流式处理平台。kafka是一个以发布订阅消息模型为原理的高并发、高可用、高吞吐的分布式企业级消息系统、存储系统、流式处理平台。kafka是一个以发布订阅消息模型为原理，以生产者，broker，消费者为三大技术核心的高并发、高可用、高吞吐的分布式企业级消息系统、存储系统、流式处理平台。kafka是一个以发布订阅消息模型为原理，以生产者，broker，消...

原创 如何把自己打造成为一名金领架构师-基础篇（一）

开发语言是IT人的生产工具，是和计算机沟通的翻译官，IT人的物质文明建设始于开发语言。生产力决定生产关系，IT领域同样遵循这个法则。良好的生产工具，能够提高IT人的生产力，具备竞争力的生产力，确保了IT人在IT、DT生产关系中处于食物链顶端。要想很好的掌握编程之美，领悟架构之美，魏征告诉我们，“求木之长者，必固其根本，欲流之远者，必浚其泉源，思国之安者，必积其德义”。推而广之可见功夫在代码之外。魏征还说“善始者实繁，克终者盖寡”，推而广之可见编程的道路百万条，而失败的道路千万条。君不见各个大厂呼喊着

原创 如何把自己打造成为一名金领架构师-开悟篇

在你开始这次阅读之旅前，花10秒的时间，想一想，截止到现在，你人生发展过程中，有哪些人对你的成长最重要？谁对你的影响最大？是一个人？一本书？一件事？一朵花？在你人生悟道之前，所有走过的路，都是为了这次悟道而准备。很多人，穷其一生，也没能悟道，甚至不知悟道为何物。让我们从伟大的古希腊哲学家、思想家柏拉图的人生三问开始：我是谁？我从哪里来？我要到哪里去？什么是开悟？在你懵懂少年时，时常梦里被自己挚爱的亲人离世而吓醒。忽然，有一天，你知道人终究有一死，就像太阳早晨东方升起，晚上西方落下一样。这，就

原创 读书笔记-《跟德鲁克学管理》

作者：张乃奎、催雪梅点评：书的排版一般，不过呢核心在知识点。对于企业管理者而言，重要的是让正确的人，在正确的时间做正确的事。对于个人管理而言，重要的是让自己在正确的时间做正确的事。本笔记主要记录了：自我管理、决策管理、人事管理、有效管理、目标管理、领导力、变革管理、创新管理、创业管理、未来管理。自我管理卓有成效的管理者都是善于发现自我优势、善于利用自己的优势做事、坚持自己的价值观、注重奉献并且善于利用时间的人。管理别人从管好自己开始。自我管理是个人对自我生命运动和实践的一种自发或主动调节

原创 如何把自己打造成为一名金领架构师-前言

不想当架构师的攻城狮不是一个好攻城狮，犹如不想当孙悟空的猴子不是一只好猴子。成为一名架构师，成为一名脱离了低级趣味的优秀的高级架构师，成为一名超凡脱俗的卓越的资深架构师，需要天时，需要地利，需要人和。想成为架构师的第一步，是要开悟，没有自觉的觉悟，只可能在原地踏步，每天写写增删改查，泯然众人矣，没有开悟的攻城狮，哪怕你天天加班，加到天昏地暗，也仍然在自己的小圈子打转。什么叫开悟呢？那就是：先听听刘欢的《再也不能这样活》：东边有山，西边有河，前面有车，后面有辙，究竟是先有山，还是先有河，究竟这挂老

原创 第一代移动通信思维导图

原创 可伸缩服务架构-框架与中间件（读书笔记二）

个人经营的读书打卡群，一众志同道合的人，聚在一个群里，每天至少阅读15分钟，然后拍照或截屏在群里打卡，同时，简短的分享一下自己的心得，日复一日，月复一月，我们终将发现阅读的力量。欢迎喜欢阅读的你加入（加入时需要推荐2本自己阅读的书才能入群，以表示你确实在阅读）限100人以内，群二维码：以下为正文：第五章 大数据利器之Elasticsearch5.1、Lucene介绍Luc...

原创 读书交友群之一个道理，一个故事，一个疑惑

个人经营的读书打卡群，一众志同道合的人，聚在一个群里，每天至少阅读15分钟，然后拍照或截屏在群里打卡，同时，简短的分享一下自己的心得，日复一日，月复一月，我们终将发现阅读的力量。欢迎喜欢阅读的你加入（加入时需要推荐2本自己阅读的书才能入群，以表示你确实在阅读）限100人以内，群二维码：下面是群里分享的一个示例，希望你感兴趣，哈哈。道理：《一个ppt主义者的成长故事》里有句话“会讲道...

转载 交通信号灯规范国家标准出台

为什么要重新修订《道路交通信号灯设置与安装规范》和《道路交通信号控制机》国家标准路交通信号控制机》国家标准？　　1、为进一步规范各地道路交通信号灯设置、使用和管理，公安部于2012年底在全国部署开展交通信号灯设置和使用情况集中排查工作，发现各地存在未按条件设置信号灯、信号灯组合使用不规范、信号通行权指示混乱、信号灯视认性不佳、信号灯灯色转换不统一、信号控制机智能化程度低及配时不合理等突出问...

转载 解读Raft

参考：https://raft.github.io/转载自：https://www.cnblogs.com/hzmark/p/raft.html最近工作中讨论到了Raft协议相关的一些问题，正好之前读过多次Raft协议的那paper，所以趁着讨论做一次总结整理。我会将Raft协议拆成四个部分去总结： 算法基础 选举和日志复制 安全性 节点变更...

原创 可伸缩服务架构-框架与中间件（读书笔记一）

第一章如何设计一款用不重复的高性能分布式发号器第二章可灵活扩展的消息队列框架的设计与实现2.1 背景介绍消息队列多应用于异步处理、模块之间解耦和高并发系统的肖峰等场景。kafka是使用支持高并发的Scala语言开发的，利用操作系统的缓存原理达到高性能，并且天生具有可分区、分布式等特点。开发一个消息队列的目标1、简单易用，在使用方面，提供多种使用方式，：直...

原创 人工智能与人类文明

宇宙文明分为七个等级，人类目前处于并将长期处于初级文明。人工智能的发展，能否解放人类的双手？能否让所有的人都不再为了衣食住行而发愁？能否实现人类不再为了在小小的地球村上争夺资源而打打杀杀？下地干活的是AI机器人，在工厂黑白班倒的是AI机器人，最脏，最累，最危险的地方的工作，都是AI机器人在负责……而所有的人，都被解放出来，去思考，去创作，去探索……集所有人的力量去升级人类文明（避免在人类历史怪...

原创 paddlepaddle环境搭建及测试

环境信息：mac EI Capitan10.11.6 (15G31)，pip --versionpip 18.0python --versionPython 2.7.15安装paddlepaddle开发环境（pip）：pip install paddlepaddle编写代码：#!/usr/local/bin/python# -*- coding: utf...

转载 RPC简介及框架选择

转载自：https://www.jianshu.com/p/b0343bfd216e简单介绍RPC协议及常见框架，对比传统restful api和RPC方式的优缺点。常见RPC框架，gRPC及序列化方式Protobuf等HTTP协议http协议是基于tcp协议的，tcp协议是流式协议，包头部分可以通过多出的\r\n来分界，包体部分如何分界呢？这是协议本身要解决的问题。目前一般有两...

转载 机动车车辆类型代码

B11 重型普通半挂车 B12 重型厢式半挂车 B13 重型罐式半挂车 B14 重型平板半挂车 B15 重型集装箱半挂车 B16 重型自卸半挂车 B17 重型特殊结构半挂车 B18 重型仓栅式半挂车 B19 重型旅居半挂车 B1A 重型专项作业半挂车 B1B 重型低平板半挂车 B21 ...

转载 6种违法变道

转载，如有侵权，请提示本人删除，谢谢！机动车违法变道主要有以下六种：一、如下图车辆，违法车辆罚款20-200元。二、如下图车辆，违法车辆罚款20-200元。三、如下图车辆，违法车辆罚款100元，如发生事故罚款200元。四、如下图车辆，直行绿灯时。.违法车辆罚款100元，扣2分；如发生事故罚款200元，扣2分。五、如下图车辆，违法车辆...

转载 搭建Harbor企业级docker仓库

转载自：https://www.cnblogs.com/pangguoping/p/7650014.html搭建Harbor企业级docker仓库一、Harbor简介1.Harbor介绍Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器，通过添加一些企业必需的功能特性，例如安全、标识和管理等，扩展了开源Docker Distribution。作为一...

转载 Kubernetes安装

转载自：https://blog.csdn.net/u014278091/article/details/86699490补充：docker versionClient:Version: 18.09.6API version: 1.39Go version: go1.10.8Git commit: 481bc77...

转载 Centos7上安装docker

转载自：https://www.cnblogs.com/yufeng218/p/8370670.htmlDocker从1.13版本之后采用时间线的方式作为版本号，分为社区版CE和企业版EE。社区版是免费提供给个人开发者和小型团体使用的，企业版会提供额外的收费服务，比如经过官方测试认证过的基础设施、容器、插件等。社区版按照stable和edge两种方式发布，每个季度更新stable版本，...

原创 查看hdfs的fsimage和editlog

（一）名称解释fsimage，namenode的元数据镜像文件，保存在磁盘editlog，namenode操作日志fstime，最近一次的checkpoint时间metadata，一个文件存储在哪些DataNode节点的哪些位置的元数据信息NN，namenodeSNN，secondarynamenodeNamenode主要维护两个文件，一个是fsimage，一个是editlog（二）如何查看fsi...

原创 自己动手写一个可以让slf4j加载的日志系统

问题：（一）slf4j采用什么设计模式实现的？（二）slf4j是如何加载log4j或logback日志实现框架的？（三）如果自己实现一个日志系统，如何让sfl4j能够加载该日志系统？一段典型slf4j日志实例化代码：import org.slf4j.Logger;import org.slf4j.LoggerFactory;public class LogMain {       public s...

原创 java class文件结构

class文件格式：测试文件：package org.fenixsoft.clazz;public class TestClass {      private int m;      public int inc() {            return m + 1;      }}（一）魔法数0XCAFEBABE

原创 scrapy爬虫环境搭建

概述文件下载系统环境搭建和配置参考概述 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 scrapy-splash：第三方中间件来提供JS渲染服务，解决由js动态生成的HTML页面问题。 文件下载 centos7下载（最新的docker服务依赖centos7），下载地址：http://www.ce

原创 kafka环境搭建及demo

概述文件下载系统环境搭建和配置kafka demo参考概述kafka是一个分布式的消息缓存系统kafka集群中的服务器都叫做brokerkafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接kafka中不同业务系统的消息可以通过topic进行区分，而且每一个消息topic都会被分区，以分担消

原创 storm环境搭建及demo

概述文件下载系统环境搭建和配置storm demoQ&A参考概述Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。被称作“实时的hadoop”。Storm有很多使用场景：如实时分析，在线机器学习，持续计算， 分布式RPC，ETL等等。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快（在一个小集群中，每个结点每秒可以处理 数以百万计

原创 我的Hadoop安装——使用Cloudera部署，管理Hadoop集群（离线安装CDH5.7.0）

- 概述- 文件下载- 系统环境搭建- Cloudera Manager安装与集群配置- 日志查看- Q&A- 参考概述CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可

原创 C++解析SNMP报文——伪代码实现

参考点击打开链接名称解释SNMP——简单网络管理协议；MIB——管理信息库，任何一个被管理的资源都表示成一个对象，称为被管理的对象。MIB是被管理对象的集合。它定义了被管理对象的一系列属性：对象的名称、对象的访问权限和对象的数据类型等；SMI——管理信息结构，SMI定义了SNMP框架所用信息的组织、组成和标识，它还为描述MIB对象和描述协议怎样交换信息奠定了基础；SMI的数据类

原创 window filter platform （wfp）修改TCP数据包的方法

问题描述：使用WFP重定向了TCP链接到本地localhost后，为了能够告诉应用层原始链接的地址和端口，需要修改数据包，即在三次握手后插入一个自定义包。在实现这个小小功能时，遇到了不少问题，走了很多弯路，希望在此记录一下，以备不时之需，也希望能够对有需要的朋友有所帮忙，因为WFP驱动，基本没有中文资料，所有的资料和问题都需要亲自到MSDN找，也是大费周折。 很显然，TCP的重定向，参考了MSDN

原创 打造成功IT项目经理——光环国际——读感

打造成功IT项目经理——光环国际——读感 （一）概念 项目：一系列独特，复杂的并相互关联的活动，这些活动有着明确的目标或目的，必须在特定时间，预算，资源限定内，依规范完成。 项目管理：为完成机构的特别信息技术目标，而进行的规划，组织及阐述责任。流程有五个阶段：启动，规划，执行，控制，结束。 （二）项目风险管理 1．项目中的风险 需求风险 计划编制风险 组织管理风险 人员

原创 windows平台安装freerdp和openssl

本文简要的描述了如何在windows平台搭建freerdp的vs2012开发工程，方便有需要的网友查阅，同时也方便自己以后再次搭建环境时查询

原创 openFire服务器安装及MySQL数据库配置

openFire下载地址http://www.igniterealtime.org/downloads/index.jsp#openfire如果有UAC保护的话，需要右键以管理员方式启动openfire.exe，否则报错。主要遇到的难点是MySQL的数据库配置，网上没有系统的配置方法，登陆http://127.0.0.1/setup/index.jsp,配置的时候，信息提示不是很明确，我弄