一粒尘埃zc-CSDN博客

原创 AWS CUR 使用 ClickHouse S3 外表

在存放 AWS CUR 的账号的 S3 bucket policy 里添加权限，允许 ClickHouse 跨账号读取桶内资源（新增以下代码中 Statement 内容，但不覆盖原有策略，此处添加的是 resource-based policy，授予 ClickHouse 使用的 IAM Role 只读权限。跨账号访问 S3 bucket 的权限策略，此处添加的是 identity-based policy，授予 ClickHouse 使用的 IAM Role 只读权限。

2022-09-16 17:58:36 408

原创 Google Analytics Service account 认证指南

Service account 官方文档 https://developers.google.com/identity/protocols/oauth2/service-account。控制台地址：https://analytics.google.com/analytics/web/#/a142750015w294314375p255868300/admin。project 控制台：https://console.cloud.google.com/cloud-resource-manager。

2022-09-05 14:38:51 825

原创 Google Gmail Oauth Client ID 认证指南

Google Gmail Oauth Client ID 认证指南

2022-09-05 14:19:23 1962 1

原创 Clickhouse on S3 部署方案

Clickhouse on S3 部署方案，单节点架构，分布式(不带副本)架构，分布式(带副本)架构

2022-09-05 12:08:41 547

原创 ClickHouse S3 外表调研

Superset 是非常优秀的开源的数据可视化工具，尽管暂不直接支持基于 S3 外表来创建 Dataset 进行数据可视化，但我们可以通过 Dataset 的 Virtual SQL 功能来解决。当前，ClickHouse 能快速的查询和分析自身写入到 S3 上的数据，但我们还期望 ClickHouse 能查询和分析。除了提供对建表语句中的字段进行查询外，还额外提供如下 2 个虚拟列供我们查询和筛选。来提供对 S3 上数据查询和分析的功能

2022-09-05 11:53:21 633

原创数据可视化工具调研

metabase是由 metabase 公司开发的大数据分析工具，可以让用户简单、快速的对数据进行分析。目前有社区版和企业版 2 个版本。superset是 Apache 开源的一款分布式的数据分析工具，它具备快速、轻量、直观的特点，使用户可以轻松探索和可视化自己的数据。在支持的数据源、数据可视化、权限及 Dashboard 种类等功能上 Superset 要比 Metabase 占一定的优势。在数据可视化情况下 Metabase 可以做多表的 Join 操作。而只能针对单表来进行可视化操作。

2022-09-05 10:34:59 402

原创多环境 Flink Job 的生成方案（Maven）

多环境 Flink Job 的生成方案（Maven）

2022-09-05 10:02:57 929

原创 AKHQ Nomad 部署方案

AKHQ Nomad 部署方案

2022-09-05 09:55:41 425

原创 Apache Kafka 可视化工具调研

Apache Kafka 可视化工具调研

2022-09-05 09:39:01 2948 1

原创 S3 文件操作使用实践

aws s3 sdk-java 对象操作，对象分段上传，对象下载，对象完整性校验。

2021-12-23 18:25:40 3592 2

原创 Flink-1.12.0 编译安装

文章目录1.下载flink源码2.解压1.下载flink源码下载src源码，不是bin二进制文件。官网寻找或者github寻找源码https://flink.apache.org/downloads.htmlhttps://github.com/apache/flink/releases2.解压tar -zxvfmvn clean install -DskipTests -Dfast -Pvendor-repos -Dhadoop.version=2.6.0-cdh5.15.1...

2021-01-17 15:43:41 1702 9

原创浏览器密码输入框input password自动填充终极解决办法

可选景点路程欢乐谷45分钟花博汇1小时30分钟杜莎夫人蜡像馆25分钟东西湖郁金香主题公园2小时金龙水寨1小时40分钟

2020-11-05 15:29:19 2143 6

原创 Hadoop之数据仓库Hive

文章目录1.Hive介绍1.1 Hive是什么1.2 Hive产生背景1.3 使用Hive的好处1.4 Hive的架构1.Hive介绍1.1 Hive是什么Hive 是在 Hadoop 分布式文件系统 (HDFS) 之上开发的 ETL 和数据仓库工具由 Facebook 实现并开源Hive 提供写 SQL 的方式对存储在 Hadoop 集群里面的数据进行清洗、加工，生成新的数据并存储到 Hadoop 集群当中。1.2 Hive产生背景Mapreduce 编程不方便没学过java的怎么办

2020-07-05 19:55:06 330

原创 Hadoop之资源调度框架YARN

文章目录1.YARN产生背景1.1 MapReduce1.x 存在一些问题1.2 优化资源利用率和降低运维成本2.YARN概述2.1 关键词汇概念2.2 执行流程3.YARN的部署4.提交Job到YARN运行4.1 运行hadoop内置mapreduce-examples任务4.2 运行自己编写的任务4.2.1 **AccessYARNApp**4.2.2 打包项目4.2.3 上传项目jar4.2.4 执行命令1.YARN产生背景1.1 MapReduce1.x 存在一些问题JobTracker

2020-06-07 21:43:40 251

原创 Hadoop之MapReduce 根据用户流量日志文件数据统计每个用户流量总和

文章目录1.实现需求2.MapReduce编程模型1.实现需求2.MapReduce编程模型input读取文件splitting分割文件，框架自动完成mapping处理文件，以key，value的方式存储，需要自己实现shuffing把相同的key归类到一起，框架自动完成Reducing处理相同的key的数据，需要自己实现Final result处理最后结果...

2020-05-16 17:27:35 2025

原创学习 spring-cloud-aibaba第九篇，综合应用微信小程序《背诗词》

文章目录1.背诗词小程序界面和功能点1.1 界面展示1.2 功能介绍2.架构图2.1 理想中架构图2.2 实际上的架构图3 源码共享4 线上体验5.披过荆斩过棘6.存在的不足1.背诗词小程序界面和功能点1.1 界面展示大家如果要体验我的小程序，微信搜索背诗词就可以了，全匹配的那个小程序就是我的首页赏析点击首页的“赏析”按钮默写我的未登录已登录历史记录积分明...

2019-11-25 16:15:59 1481

原创调整sqldeveloper界面字体和编辑器字体

文章目录1.更改界面字体2.更改编辑器字体第一次打开sqldeveloper，菜单字体都太小了，眼睛都要瞎了，网上搜索解决办法，前篇一律，都是修改编辑器字体，简直驴唇不对马嘴！！！人狠话不多，自己写一篇实用的1.更改界面字体创建桌面快捷方式对快捷图标右键----> 属性 ------> 兼容性兼容模式选择win7，我的系统win10，也是选择的win7继续点击 ...

2019-09-26 10:17:43 6187 14

原创学习 spring-cloud-aibaba第八篇，Nacos配置文件管理

文章目录1.配置文件管理可以帮我们做什么？2.Nacos组件实现配置文件管理特别声明：整理自慕课网大目师兄的微服务视频，链接：https://coding.imooc.com/learn/list/358.html1.配置文件管理可以帮我们做什么？可以做到不同环境使用不同的配置动态刷新，修改配置属性不用重启应用2.Nacos组件实现配置文件管理在学习spring-cloud-aib...

2019-09-11 09:09:14 2274

原创学习 spring-cloud-aibaba第七篇，JWT认证授权

文章目录1.有状态 vs 无状态1.1 有状态的做法1.1.1 用户登录信息保存在示例内存中特别声明：整理自慕课网大目师兄的微服务视频，链接：https://coding.imooc.com/learn/list/358.html1.有状态 vs 无状态1.1 有状态的做法登录时怎么回事？客户端和服务器建立连接的时候，客户端会有一个sessionId，这个sessionId是不会变的，...

2019-09-01 22:20:21 1517

原创学习 spring-cloud-aibaba第六篇，API网关Gateway

文章目录1.什么是网关？2.为什么我们需要网关？3.Spring Cloud Gateway4.创建Spring Cloud Gateway项目4.1 IDEAJ 创建gateway项目4.2 添加依赖4.3 写配置4.4 启动gateway项目，测试通过网关访问content和user5.spring cloud gateway的两大核心5.1 gateway的架构图5.2 核心之一 Pred...

2019-08-25 17:14:51 3391

原创学习 spring-cloud-aibaba第五篇，服务容错 Sentinel 下篇

文章目录7.热点参数规则限流7.1 针对第二个传参限流7.2 针对参数具体值的限流8.系统规则限流8.1 Load8.1.1 释义8.1.2 查看linux系统的load8.2 RT8.3 线程数8.2 QPS前情提要：接续服务容错 Sentinel 上篇7.热点参数规则限流热点即经常访问的数据商品 ID 为参数，统计一段时间内最常购买的商品 ID 并进行限制用户 ID 为参数，针对一段...

2019-08-18 22:15:27 1523

原创学习 spring-cloud-aibaba第五篇，服务容错 Sentinel 上篇

文章目录1.为什么需要服务容错？1.1 雪崩效应1.2 什么是服务容错1.3 常见的容错方案前情提要：在nacos上注册了content-center和user-center两个服务，content-center使用Feign调用user-center服务，使用Ribbon做负载均衡，sentinel实现服务容错！1.为什么需要服务容错？1.1 雪崩效应雪崩效应(级联故障)：如图所示，C...

2019-08-17 23:27:16 1176 1

原创学习 spring-cloud-aibaba第四篇，声明式HTTP通讯客户端 Feign

文章目录1.ResTemplate VS Feign2.项目添加Feign2.1 加依赖2.2 加注解2.3 写配置3.项目使用Feign3.1 声明FeignClient3.3 测试特别声明：文章的内容学习自慕课网大目老师的微服务视频，视频链接：https://coding.imooc.com/learn/list/358.html，大目老师还写了很多微服务有关的手记，都很实用！前情提要：在...

2019-08-13 13:40:31 768

原创学习 spring-cloud-aibaba附带篇，项目拆分为多模块

文章目录1.项目整体效果2 pom.xml 的改造2.1 user.pom.xml2.2 user-server.pom.xml2.3 user-common.pom.xml2.4 user-client.pom.xml3.编译和install项目把user-center项目拆分成三个模块user-server：主要代码逻辑user-client：对外接口user-common：存放公共...

2019-08-12 16:49:30 1930

原创学习 spring-cloud-aibaba第三篇，负载均衡Ribbon

文章目录1.ribbon的组成2.项目使用Ribbon2.1 引入依赖2.2 加注解2.3 写配置3.负载均衡规则 IRule3.1 测试 ZoneAvoidanceRule 默认规则3.2 测试 RandomRule 随机规则3.3 其它的内置规则没那么方便测试，我不测试了3.4 ribbon的全局配置3.5 自定义nacos权重负载均衡规则5.饥饿加载特别声明：文章的内容学习自慕课网大目老师...

2019-08-11 22:01:32 2274

原创学习 spring-cloud-aibaba第二篇，搭建服务发现nacos的server端并注册服务

文章目录nacos 下载地址：https://github.com/alibaba/nacos/releasesnacos 文档地址：https://nacos.io/zh-cn/docs/what-is-nacos.html

2019-07-21 23:06:13 847

原创学习 spring-cloud-aibaba第一篇，goods项目整合 spring-cloud-aibaba

文章目录特别提醒：我只是个菜鸟，写的文章都是自己的学习经验，并不能保证都是正确的，只能作为参考1.springboot的版本该如何选择2.springcloud版本该如何选择3.spring-cloud-alibaba版本该如何选择特别提醒：我只是个菜鸟，写的文章都是自己的学习经验，并不能保证都是正确的，只能作为参考1.springboot的版本该如何选择https://spring.io/...

2019-07-21 23:04:25 482 2

原创难受

唉，最近才知道，springcloud 已经不继续开发Netflix系列组件的新功能了，已经进行维护状态，并且将于2020年1月停止维护。所以我准备从头学习spingcloud alibaba微服务系列组件了...

2019-06-28 11:00:14 109

原创 zuul 组件详解

文章目录上篇文章简单的演示了一下zuul的路由功能，这篇文章继续演示zuul的其它功能1.给其它服务自定义路由1.1 写法一上篇文章简单的演示了一下zuul的路由功能，这篇文章继续演示zuul的其它功能1.给其它服务自定义路由通过zuul访问其它服务，默认规则是服务名称 + 接口路径。服务名称是eureka上显示的名称，可以通过zuul的配置来自定义服务名称1.1 写法一或者：...

2019-06-28 10:37:59 1040

原创服务调用注册服务被非注册服务调用 zuul 网关

文章目录1.基本介绍2.新建zuul项目并注册eureka1.基本介绍路由+过滤器 = zuul核心：一系列过滤器2.新建zuul项目并注册eureka选择这两个组件，next修改springboot and springcloud 版本，与其它项目保持一致，maven reimport注册eureka启动zuul，刷新eureka主页：...

2019-06-24 15:31:20 425

原创服务调用注册服务内部调用方法之二 feign

文章目录

2019-06-23 15:55:34 2184 1

原创服务调用注册服务内部调用方法之一 RestTemplate

文章目录问题汇总1.ClassCastException: org.springframework.boot.context.event.ApplicationFailedEvent cannot be cast to问题汇总1.ClassCastException: org.springframework.boot.context.event.ApplicationFailedEvent c...

2019-06-22 16:02:15 1871 4

原创 spring cloud eureka 的高可用模式

文章目录1.部署多台eureka server启动eureka server 1启动eureka server 2启动eureka server 3查看三台eureka的控制面板业2.启动goods服务修改配置文件，向三个server同时注册再次查看三台eureka的控制面板业1.部署多台eureka server启动eureka server 1启动项目,8762和8763还...

2019-06-07 22:00:25 326 2

原创 spring cloud eureka discovery client 商品微服务注册到eureka server

文章目录1.新建eureka discovery client项目2.启动项目启动eureka server项目添加注解 @EnableDiscoveryClient添加配置1.新建eureka discovery client项目选择项目地址，finish.2.启动项目启动eureka server项目添加注解 @EnableDiscoveryClient添加配置启动...

2019-06-07 22:00:05 363

原创 spring cloud eureka server-服务注册中心

文章目录1.新建eureka项目2.启动项目添加@EnableEurekaServer 注解配置注册地址问题汇总ideaj没有sping initializr怎么办？1.新建eureka项目File->new->project选择项目地址，finish.2.启动项目添加@EnableEurekaServer 注解启动run报错是因为找不到注册中心，虽然它本身就...

2019-06-07 21:59:47 124

转载让我们不用写getter,setter,tostring的lombok

Eclipse安装：https://blog.csdn.net/Dorothy1224/article/details/79280591/ideaj安装：https://blog.csdn.net/zhglance/article/details/54931430使用：https://blog.csdn.net/sjmz30071360/article/details/80136008...

2018-11-04 22:27:35 203

原创 RoundingMode 参数详解

RoundingMode的几种模式，具体是什么舍入行为呢？看API完全没看懂，还好有人总结过了：https://blog.csdn.net/alanzyy/article/details/8465098下面是我对这篇文章的图形理解，个人感觉比较好记，具体的示例可以看上边的原文：UP正数向右边靠，负数向左边靠DOWN和up正好相反，正数向左边靠，负数向右边靠CEI...

2018-10-29 16:48:41 13908

原创 linux 安装docker-compose

1.获取管理员权限执行命令 sudo su 然后输入当前用户的密码就可以了若想退出管理员权限可输入命令：su 用户名；例如 su zengchen2.通过daocloud安装安装命令：curl -L https://get.daocloud.io/docker/compose/releases/download/1.16.1/docker-compose-`unam...

2018-07-24 14:47:43 1442

原创 linux安装git

打开git官网，找到对于linux版本的安装方式 https://git-scm.com/download/linux我的linux是CentOS，跟Fedora是一个系列的，所以执行 yum install git 命令就好了执行 git --version验证一下，已经安装好了这种方式安装的不是最新版本的git，如果你需要安装最新版本的git，从这里下载源码包，再通...

2018-07-23 10:56:42 146

原创 linux 安装go

1.下载操作系统对应的go语言包检查linux系统是32位还是64位uname -a带i686，i386字样的表示是32位的操作系统，64位一般会带有x64字样下载32位go语言包https://golang.org/dl/ 下载网址，（听说要翻墙，如果你打不开，可以去其它网上找）这个386表示是32位的，右键->复制链接地址，然后wget 刚才复制的链接地址...

2018-07-23 10:12:12 6810