weixin_45732673的博客

原创 Druid flink kafka

Druid实际应用 配合flink 接收处理kafka数据

原创 导购按键欧式机动

原创 2021-06-29

转载 kafka

先预告一下 Kafka 系列文章，大家敬请期待哦：以讲解性能作为 Kafka 之旅的开篇之作，让我们一起来深入了解 Kafka “快”的内部秘密。你不仅可以学习到 Kafka 性能优化的各种手段，也可以提炼出各种性能优化的方法论，这些方法论也可以应用到我们自己的项目之中，助力我们写出高性能的项目。关公战秦琼“65: Redis 和 Kafka 完全是不同作用的中间件，有比较性吗？”是的，所以此文讲的不是《分布式缓存的选型》，也不是《分布式中间件对比》。我们聚焦于这两个不同领域的项目对

原创 lua如何将用户ip转为地理位置信息

有三种方法：第1种:使用淘宝或者其他ip转换地址，可以转换， 准确，但是请求频率限制了。第2种:使用lua读取本地文件ip库，这种需要使用二叉树算法读取文件，获取位置。 速度会有些慢，对服务器压力大，准确。 第3中: 使用第三方ip转换库ip2region 的git地址https://gitee.com/lionsoul/ip2region/ ip2region 这个库暂时不兼容nginx-lua版本的解析，但是可以单独使用lu

原创 Druid0.10.1介绍 Druid0.10.1单机版 Druid0.10.1 集群版搭建

1.druid介绍Druid的母公司MetaMarket在2011年以前也是Hadoop的拥趸者，但是在高并发环境下，Hadoop并不能对数据可用性以及查询性能给出产品级别的保证，使得MetaMarket必须去寻找新的解决方案，当尝试使用了各种关系型数据库以及NoSQL产品后，他们觉得这些已有的工具都不能解决他们的“痛点”，所以决定在2011年开始研发自己的“轮子”Druid，他们将Druid定义为“开源、分布式、面向列式存储的实时分析数据存储系统”，druid是针对时间序列数据提供低延迟的数据写入以及

原创 Structured Streaming 初次练手

**Structured Streaming**本章目标Structured Streaming 是 Spark Streaming 的进化版, 如果了解了 Spark 的各方面的进化过程, 有助于理解 Structured Streaming 的使命和作用本章过程Spark 的 API 进化过程Spark 的序列化进化过程Spark Streaming 和 Structured Streaming1.1. Spark 编程模型的进化过程...

原创 java爬虫之webmagic初次练手（爬取知乎数据）

webmagic初次学习 爬取知乎数据爬虫知多少，小公司刚起步的公司做成的软件需要大量的数据来维持，这就需要专业的爬虫工程师来搞点数据了，个人是干大数据的，会java和scala，当然也了解过pychon，说是爬虫都是拿pychon来搞，当然这是对强大的java的一种蔑视，java可以说是程序界上的元老的，啥都可以搞。今天就来介绍一个简单又实用的爬虫架构，webmagic！！！,爬虫个人觉得只要研究透网站的规则，什么语言都是可以来搞这个网站的数据，今天以爬取知乎网页内容为例 来搞他简单介绍web

原创 `Kafka设置密码策略`*

Kafka设置密码策略密码策略介绍密码策略是操作系统针对系统安全提供的一种安全机制，就好像linux操作系统不提供超级用户登录一样，密码策略包括：密码最小长度、密码使用期限、历史密码、密码复杂度等，在企业里面都是要求对操作系统进行密码策略进行配置的，而且要求密码复杂度。企业中做等级保护测评2级以上都是要求有密码策略的，之前我有过一次做等保测评师的经历，在企业里面几乎没有任何一个企业在使用这个密码策略，很郁闷不知道是工程师们不知道还是什么原因，在这里我就为大家简单介绍一下kafka如何设置密码策略##