yamaxifeng_132-CSDN博客

转载 mysql查询怎么区分大小写

在mysql中，可以利用select查询语句配合binary关键字来区分大小写，select语句用于查询数据，binary关键字用于区分大小写，语法为“select * from 表名 WHERE binary 字段=字段值”。

2022-06-01 09:29:31 5234

转载 hive 插入数据的时候，不能直接运行，报错FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.

ive 插入数据的时候，不能直接运行，报错错误原因：namenode内存空间不够，JVM剩余内存空间不够新job运行所致错误提示Starting Job = job_1594085668614_0006, Tracking URL = http://kudu:8088/proxy/application_1594085668614_0006/Kill Command = /root/soft/hadoop-3.2.1/bin/mapred job -kill job_1594085668

2021-08-23 15:25:40 443

转载 HIVE设置连接用户名和密码

Hive设置连接用户名和密码，操作相关步骤如下：Hive-site.xml,缺省为NONE。此处改为CUSTOM<property> <name>hive.server2.authentication</name> <value>CUSTOM</value> <description> Expects one of [nosasl, none, ldap, kerberos, pam, cus

2021-08-23 14:51:14 10803

转载分布式消息队列Apache Pulsar

Pulsar简介Apache Pulsar是一个企业级的分布式消息系统，最初由Yahoo开发并在2016年开源，目前正在Apache基金会下孵化。Plusar已经在Yahoo的生产环境使用了三年多，主要服务于Mail、Finance、Sports、 Flickr、 the Gemini Ads platform、 Sherpa以及Yahoo的KV存储。Pulsar之所以能够称为下一代消息队列，主要是因为以下特性: 线性扩展。能够丝滑的扩容到成百上千个节点(Kafka扩容需要占用很多系统资源在节

2021-05-28 16:13:02 612

转载认识Apache Bookkeeper

Apache Bookkeeper简介Apache bookkeeper是一个分布式，可扩展，容错（多副本），低延迟的存储系统，其提供了高性能，高吞吐的存储能力。Bookkeeper实现了append方式的写操作。Bookkeeper有一个非常成功的应用案例：apache pulsar，是近年雅虎开源的一个MQ，pulsar相对于kafka来说，在存储上有优势，kafka的单个partition的存储容量受到了部署kafka的broker的硬盘容量限制，当有大量的数据需要MQ支持时，partitio

2021-05-28 16:08:07 408

转载 25匹马，找出最快的3匹，但是只有5个赛道，每次比赛只能得到5匹马的速度排序，那么最少需要多少次比赛

笔试题：25匹马，找出最快的3匹，但是只有5个赛道，每次比赛只能得到5匹马的速度排序，那么最少需要多少次比赛在网上搜了下答案，好像不靠谱。最后在英文网站上找到正确的答案：？次参考：http://www.programmerinterview.com/index.php/puzzles/25-horses-3-fastest-5-races-puzzle/1-5 场：将25匹马分为5组，每组5匹，得到下面的排序，每组最快的马在左侧，即X1、X6、X11、X16、X21分别是每组中最快的。

2021-04-18 16:01:27 283

转载 JDK16全部新特性

译文《全新首发JDK 16全部新特性》封面：洛小汐译者：潘潘JDK 8 的新特性都还没摸透，JDK 16 的新特性就提着刀来了。郑重申明：第一次冒险翻译专业领域的文献，可想而知，效果特别糟糕。一般翻译文献特别是技术专业领域的内容，因为涉及到很多专业术语、业内常用语，很多词汇你在翻译软件根本找不到，并且大部分知识点技术都是成体系的、相互关联的、多版本迭代的、有历史原因的等等，因此要求你本身必须清楚每个技术点的前因后果和逻辑关系，否则翻译起来特别耗费时间精力，因为...

2021-03-29 11:32:31 939

转载 etcd：一款比Redis更骚的分布式锁的实现方式！用它

etcd：一款比Redis更骚的分布式锁的实现方式！用它肚子很大的大飞2020-10-16 22:26:13分布式锁关于为什么要有分布式锁这个东西，欢迎阅读我的zk分布式锁的实现，介绍了单机高并发、分布式高并发的解决方案：用ZooKeeper实现分布式锁这里再切入本例将使用的场景模拟：商品秒杀，或者说高并发下，对于商品库存扣减操作。我用一个SpringBoot小项目模拟一下该操作。本例用到的技术栈：SpringBoot Redis etcd在正式肝代码之前，先来对etcd分

2021-03-09 16:19:09 535 1

转载分布式理论 PACELC 了解么？

PACELC 基于 CAP 理论演进而来。CAP 理论是一个分布式系统中老生常谈的理论了：C（Consistency）：一致性，所有节点在同一时间的数据完全一致。 A（Availability）：可用性，服务一直可用。 P（Partition tolerance）：分区容错性，遇到某节点或网络分区故障的时候，仍然能够对外提供满足一致性和可用性的服务系统设计中，这三点只能取其二，一般的分布式系统要求必须有分区容错性。剩下的只能从 C 或者 A 中取舍。但是这个理论并不能很好地应用于实际，..

2021-03-09 15:57:48 160

转载伪共享（false sharing），并发编程无声的性能杀手

伪共享（false sharing），并发编程无声的性能杀手在并发编程过程中，我们大部分的焦点都放在如何控制共享变量的访问控制上（代码层面），但是很少人会关注系统硬件及 JVM 底层相关的影响因素。前段时间学习了一个牛X的高性能异步处理框架 Disruptor，它被誉为“最快的消息框架”，其 LMAX 架构能够在一个线程里每秒处理 6百万订单！在讲到 Disruptor 为什么这么快时，接触到了一个概念——伪共享( false sharing )，其中提到：缓存行上的写竞争是运行在 SMP 系统中并行

2021-03-08 22:12:49 177

转载有赞延迟队列设计

有赞延迟队列设计延迟队列，顾名思义它是一种带有延迟功能的消息队列。那么，是在什么场景下我才需要这样的队列呢？背景我们先看看以下业务场景：当订单一直处于未支付状态时，如何及时的关闭订单，并退还库存？如何定期检查处于退款状态的订单是否已经退款成功？新创建店铺，N天内没有上传商品，系统如何知道该信息，并发送激活短信？等等为了解决以上问题，最简单直接的办法就是定时去扫表。每个业务都要维护一个自己的扫表逻辑。当业务越来越多时，我们会发现扫表部分的逻辑会非常类似。我们可以考虑将这部分逻

2021-03-07 11:10:50 481

转载 Flink Window机制与Timer（含Window介绍、State状态的使用、定时器）

最近有一个实际的场景需求，需要实时统计总数，于是想到了flink，从入门到实战，整个过程中一直不断的思考实际业务中的问题，在flink中如何解决，与kafka-stream的对比和spark的对比等等。整个思考和写出demo的过程中，对window机制有了深入的了解，并通过阅读flink java client的源码，了解了其trigger的实现。本文从实际需求出发，通过提出问题解决问题，结合源码了解flink。问题分析从实际场景出发场景：实时统计人流量总数，可以根据卡口按时段统计，可以

2021-02-08 16:47:24 1401

转载 KS值

KS(Kolmogorov-Smirnov)值：对模型风险区分能力进行评估指标衡量的是好坏样本累计分部之间的差值。好坏样本累计差异越大，KS指标越大，那么模型的风险区分能力越强。KS的计算步骤如下：评分切段，从小到大排序（尽量平分）计算每个评分区间的好坏账户数。计算每个评分区间的累计好账户数占总好账户数比率(good%)和累计坏账户数占总坏账户数比率(bad%)。计算每个评分区间累计坏账户占比与累计好账户占比差的绝对值（累计good%-累计bad%），然后对这些绝对值取最大值即

2021-01-28 18:25:24 834

转载分布式调用链调研（pinpoint,skywalking,jaeger,zipkin等对比）

1. APM简述APM （Application Performance Management）是对企业的应用系统进行实时监控，它是用于实现对应用程序性能管理和故障管理的系统化的解决方案。2. APM主要解决的问题集中式度量系统分布式全链接追踪系统集中式日志系统（elk）3. 分布式调用追踪（APM）一览google的Drapper--未开源，最早的APM 阿里-鹰眼--未开源大众点评——CAT--跨服务的跟踪功能与点评内部的RPC框架集成，这部分未开源且项目在20...

2021-01-26 16:32:30 1561

转载 CNCF - 云原生计算基金会简介

CNCF项目简介CNCF，全称Cloud Native Computing Foundation（云原生计算基金会），口号是坚持和整合开源技术来编排容器作为微服务架构的一部分，其作为致力于云原生应用推广和普及的一支重要力量，不论您是云原生应用的开发者、管理者还是研究人员都有必要了解。CNCF作为一个厂商中立的基金会，致力于Github上的快速成长的开源技术的推广，如Kubernetes、Prometheus、Envoy等，帮助开发人员更快更好的构建出色的产品。下图是CNCF的全景图。其中..

2021-01-26 16:25:08 13557

转载 SpringCloud整合Skywalking实现链路追踪

当服务多起来的时候，发生错误以后，都不清楚是在哪个环节出了错。需要通过日志逐一排查，这就比较耗时了。所以可以通过国产软件 Skywalking 辅助开发。下载地址:http://skywalking.apache.org/zh/downloads/ps: 我并没有选择最新的版本，因为怕不稳定，最终版本是6.6.0Binary Distribution (Windows)解压后的目录结构如下：Skywalking是使用 Java Agent 服务器探针来收集和发送数据到归集器...

2021-01-26 14:56:17 967 1

转载 Windows环境下搭建prometheus和grafana 并监控springboot2+ 服务

1.安装prometheus可以去官网下载https://prometheus.io/download/，我使用的是prometheus-2.21.0.windows-amd64.tar.gz。下载完后进行解压，执行prometheus.exe，默认端口是9090，本地访问http://127.0.0.1:9090，看到如下页面说明prometheus启动成功。prometheus.yml是prometheus的配置文件，新增加对一个服务的监控在配置文件中新增相对应的job，重启prometheu.

2021-01-26 10:48:32 207

转载 Windows环境下搭建Prometheus + Grafana监控Java服务

使用Prometheus与Grafana 搭建服务监控系统。目前公司有使用到该技术，现在需要我添加一些业务的监控，所以要做一些了解，就在本地环境搭建了一套简单的监控demo。搭建环境为windows。安装配置Prometheushttps://prometheus.io/download/ 根据自身环境选择安装包，我本地是64位系统，所以选择了prometheus-2.10.0.windows-amd64.tar.gz。下载完毕将压缩包解压，执行prometheus.exe，然后prometh.

2021-01-26 10:10:09 369

转载 Windows下设置Mongodb用户名密码

MongoDB认证:在默认的情况下,Mongodb是监听在127.0.0.1 IP上的,端口号默认为27017,任何客户端都可以连接,不需要认证默认情况下,Mongodb也是没有管理账户的,除非你在admin库中创建了用户,当然光创建了用户是没有用的,还要用--auth参数启动,不然认证也是不生效的好处:　　随时可以连接,不用配置一堆配置文件坏处:　　公网服务器搭建的Mongodb,那么所有人都可以玩你的数据,并且会有网管发来的邮件,然后添加认证首先先启动Mongodb,以不带认

2021-01-24 13:56:08 2275 1

转载大型分布式系统中的缓存架构

本文主要详情大型分布式系统中缓存的相关理论，常见的缓存组件以及应使用场景。缓存概述缓存概述缓存的分类缓存主要分为四类，如下图：缓存的分类CDN 缓存CDN(Content Delivery Network 内容分发网络)的基本原理是广泛采使用各种缓存服务器，将这些缓存服务器分布到使用户访问相对集中的地区或者

2021-01-11 21:11:06 154

转载基于 Apache Flink 和规则引擎的实时风控解决方案

对一个互联网产品来说，典型的风控场景包括：注册风控、登陆风控、交易风控、活动风控等，而风控的最佳效果是防患于未然，所以事前事中和事后三种实现方案中，又以事前预警和事中控制最好。这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。1.总体架构风控是业务场景的产物，风控系统直接服务于业务系统，与之相关的还有惩罚系统和分析系统，各系统关系与角色如下：业务系统，通常是 APP + 后台或者 web，是互联网业务的载体，风险从业务系统触发；风控系统，为业务系统提供支持，根.

2021-01-11 17:17:46 281 2

转载流式计算框架容错和高性能如何兼得[转]

文章原标题：《容错和高性能如何兼得:Flink创始人谈流计算核心架构演化和现状》，转载自：https://mp.weixin.qq.com/s/MRLHwHyCliB0LrB_L_iSaQ前言当前，流数据平台的普及率正在飙升。为了解决日益增长的实时数据处理需求，一些公司正在将其部分大数据基础架构转换为流式处理模型。基于流数据的基础架构不仅能够更好地解决延迟敏感的数据处理业务需求，同时提供更多深入业务洞察 ; 另外，流式数据处理平台让传统的数据仓库建设更加简单灵活。流式基础架构的关键部分是..

2020-12-30 14:40:50 324

转载 Flink WaterMark实例

Hi~上篇文章介绍了时间窗口，Flink 时间窗口，Flink WaterMark，感兴趣请查看：Flink WaterMark简介结合上篇，本篇文章主要是通过代码实例的方式来展示如何设置WaterMarkWaterMark的设定由于种种原因，造成数据的乱序与延迟，在设置WaterMark时可以允许一定时间段的延迟（当然也不可能无限的等待），且在触发下一个窗口计算前，也会将Event Time进行排序，以保证数据有序WaterMark设定方法有两种：Punctuated Waterm

2020-12-29 18:35:23 308

转载 Flink WaterMark简介

前言研究了一阵子Flink Streaming，将学习的东西记录下来，今天写一下WaterMark在写WaterMark之前，先来了解一下时间窗口时间窗口在流式计算中，数据像流水一样源源不断地来，数据是无边界的，当需要操作（计算）数据时，在茫茫数据流中不知从何开始，所以，这时我们需要一个边界（范围）将整个数据流划分开来于是，我们将源源不断的数据流划分为一段一段的数据集，称之为窗口流式系统的窗口有多种，最基本也是最常见的是时间窗口，顾名思义，根据时间来划分出一个一个有范围的窗口关于

2020-12-29 18:33:30 176

转载技术选型：Sentinel vs Hystrix

Sentinel 是阿里中间件团队研发的面向分布式服务架构的轻量级高可用流量控制组件，于今年7月正式开源。Sentinel 主要以流量为切入点，从流量控制、熔断降级、系统负载保护等多个维度来帮助用户提升服务的稳定性。大家可能会问：Sentinel 和之前经常用到的熔断降级库 Netflix Hystrix 有什么异同呢？本文将从资源模型和执行模型、隔离设计、熔断降级、实时指标统计设计等角度将 Sentinel 和 Hystrix 进行对比，希望在面临技术选型的时候，对各位开发者能有所帮助。一、总体说明

2020-12-18 16:37:05 118 1

转载一个可供参考的Java高并发异步应用案例

泰康在线微信公众号系泰康在线财产保险股份有限公司旗下平台，希望可以通过持续不断的创新，提升客户对于保险的认知及体验，通过对大数据技术的应用，精准的为客户设计产品以及提供服务。泰康在线微信公众号，现有1000多万粉丝。在日常的运营中，借助于红包奖励、卡券分享、消息通知、微信分享等手段，通过好的内容，好的活动、好的产品以及相应的精准营销来增强用户的粘性和活跃度。在日常运营中，公众号会通过给用户下发营销或者科普类的消息来通知客户。根据经验，微信消息下发后10分钟后流量会逐步上升，30分钟左右到达峰值，1个小

2020-12-15 18:18:15 383

大型分布式系统中的缓存架构

空空如也