weixin_43315211-CSDN博客

原创【ElasticSearch 进阶】倒排索引 + FOR + RBM压缩算法

Elasticsearch

2022-12-14 16:59:17 1467 3

from common.json2csvAnalyzer import *from utils.logger import MyLoggingimport jsonimport datetimeimport pandas as pdlogger = MyLogging().get_log()def rename_ods_output_cols(df, output_cols): """ 字段重命名，并增加ods操作的字段 :param df: input data

2021-09-03 14:14:17 2153

原创 python logging 日志

日志模块定义import loggingclass MyLogging(object): """ 封装后的logging """ def __init__(self, logger=None): # 创建一个logger self.logger = logging.getLogger(logger) self.logger.setLevel(logging.DEBUG) # 再创建一个handler，

2021-09-03 13:19:05 240

原创 hive array/struct/map复杂格式类型

建表语句示例CREATE EXTERNAL TABLE if not exists `test.test_db_inc_api`(`id` string,`code` string comment 'code',`name_zh` string comment '中文简称',`name_en` string comment '英文简称',`full_name_zh` string comment '中文全称',`full_name_en` string comment '英文全称',`add

2021-08-31 17:43:50 95

原创 JVM内存模型及详细参数

一、JVM内存结构由上图可以清楚的看到JVM的内存空间分为3大部分：1. 堆内存2. 方法区3. 栈内存其中栈内存可以再细分为java虚拟机栈和本地方法栈,堆内存可以划分为新生代和老年代,新生代中还可以再次划分为Eden区、From Survivor区和To Survivor区。其中一部分是线程共享的，包括 Java 堆和方法区；另一部分是线程私有的，包括虚拟机栈和本地方法栈，以及程序计数器这一小部分内存。1.1 堆内存（Heap）java 堆（Java Heap）是Java 虚拟机所管理

2021-07-05 11:31:27 293

原创分布式事务的一致性

一、事务数据库的事务（Transaction）是一种机制、一个操作序列，包含了一组数据库操作命令。事务把所有的命令作为一个整体一起向系统提交或撤销操作请求，即这一组数据库命令要么都执行，要么都不执行，因此事务是一个不可分割的工作逻辑单元。事务的四大特性：ACID (原子性，一致性，隔离性，持久性)1.1 原子性原子性是我们对事务最直观的理解：事务就是一系列的操作，要么全部都执行，要么全部都不执行。1.2 一致性事务的一致性定义基本可以理解为是事务对数据完整性约束的遵循。这些约束可能包括主键约束、

2021-07-02 13:58:01 1494

原创微云单包部署镜像替换

加载镜像docker load < warning-V100R001B01D010.tar镜像加标签docker tag dts-warning:V100R001B01D010T2009281338 registry:5500/dts-warning:V100R001B01D010T2009281338镜像push到远程仓库docker push registry:5500/dts-vds-backend:V100R001B01D010T2007221950修改k8.

2020-09-28 13:57:48 259

原创内存分析——Memory Analyzer

说明：记录一次java内存分析的办法。因为本人未使用 Eclipse进行编写代码，所以无法直接使用 eclipse 直接分析。替代方式是将dump文件直接用Memory Analyzer Tools工具进行分析。以下是步骤。1 安装 Memory Analyzer Tools官网地址：http://www.eclipse.org/mat/downloads.php这个地址下载速度比较慢，而且下载服务器老是崩溃，后面在网上找了个下载包，linux_x86-64位的，如果需要可以私聊。解压后的目录如下

2020-05-15 16:13:55 1534

原创【服务器】——nmon监控工具的安装及使用

1、nmon的安装1.1 查看系统版本1.2 下载下载地址：http://nmon.sourceforge.net/pmwiki.php?n=Site.Downlo1.3 解压1.4 复制并授权1.5 校验是否安装成功出现以下界面证明安装成功2、nmon的使用2.1 实时监控快捷键对应监控指标输入c可显示CPU的信息，m显示内存，n显示网络，d对应磁盘，t对应系统...

2020-03-09 11:11:16 468

原创部署服务至K8S

1、将docker镜像打包docker save dts-search:v1 > dts-search.tar2、新建目录，目录结构如下：将 dts-search.tar 放入 images 目录下。主目录下包含以下文件：install.sh：k8s 启动的主程序。images：存放 docker 的 tar 包，dts-search.tar。config：k8s的配置...

2019-11-26 16:53:39 404

原创 docker 常用命令

01、查看已有镜像docker search mysqldocker images02、网上拉取镜像docker pull centos:71、创建镜像(在Dockerfile-single所在目录)docker build -f Dockerfile-single -t dts-etl:V000R1 .2.1、使用镜像，创建一个容器（运行实例）（前面一个端口是外部端口，后面...

2019-11-26 10:52:12 123

原创 Elasticsearch对数字检索——ngram

数字可能信息不全，需要对数字进行切分，所以选用 ngram 分词器进行分词测试POST _analyze{ "tokenizer": "ngram", "text":"123456"}{ "tokens" : [ { "token" : "1", "start_offset" : 0, "end_offset" : 1, ...

2019-11-13 12:45:33 1556

转载 flink1.9 table API

TableEnvironment 支持功能对比TaableEnvironment 使用场景一：用户使用 Old planner，进行流计算的 Table 程序（使用 Table API 或 SQL 进行开发的程序）的开发。这种场景下，用户可以使用 StreamTableEnvironment 或 TableEnvironment ，两者的区别是 StreamTableEnvironme...

2019-10-16 16:56:02 526

原创 java 定时任务

项目需求：需要一个小的jar包对数据定时进行清洗。无法调用crontabjava的定时任务器package utils;import org.quartz.*;import org.quartz.impl.StdSchedulerFactory;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import java.u...

2019-10-16 14:02:32 101

原创 java 获取当前jar包下的配置文件

private static Properties getProps(String fileName){ Properties properties = new Properties(); //读取当前 jar 包存放的路径 String path = System.getProperty("user.dir");// System...

2019-10-16 13:55:15 990

原创 postgresql 递归查询

1、表结构如下CREATE TABLE "public"."city" ( "id" int4 NOT NULL DEFAULT nextval('city_id_seq'::regclass), "name" varchar(255) COLLATE "pg_catalog"."default", "parent_id" int4);ALTER TABLE "public"...

2019-09-30 14:36:58 799

原创 docker 安装方式

1、卸载老版本的docker[root@cdhmaster01 ~]# yum remove docker docker-common docker-selinux docker-engineFailed to set locale, defaulting to CLoaded plugins: fastestmirrorNo Match for argument: dockerNo ...

2019-09-29 09:59:56 100

原创 Elasticsearch 同义词（dynamic-synonym）远程数据库加载

说明Elasticsearch 版本7.2.0同义词插件：elasticsearch-analysis-dynamic-synonym无停机动态远程更新同义词1、下载同义词插件下载地址：https://github.com/bells/elasticsearch-analysis-dynamic-synonymdynamic synonym versionES ve...

2019-08-29 20:50:16 3789 4

原创 Elasticsearch ik分词器加载远程数据库中的热词库

1、下载 elasticsearch-analysis-ik 源码包下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases2、修改源码org.wltea.analyzer.dic.Dictionary 单例类的初始化方法 initial，在这里需要创建一个我们自定义的线程，并且启动它 /** * 词典初始化...

2019-08-16 16:54:11 2399 2

原创 Elasticsearch 配置用户名和密码

启动 Elasticsearch 程序[elastic@console bin]$ ./elasticsearch -d future versions of Elasticsearch will require Java 11; your Java version from [/usr/java/jdk1.8.0_181/jre] does not meet this requirem...

2019-08-16 14:34:08 60088 10

原创 ElasticSearch JAVA HighLevelClient

在 pom.xml 中加入 Elasticsearch 的依赖： <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifac...

2019-08-13 14:20:02 995

原创 Elasticsearch动态模板

模板规则{ "order": 0, // 模板优先级 "template": "sample_info*", // 模板匹配的名称方式 "settings": {...}, // 索引设置 "mappings": {...}, ...

2019-08-12 18:00:03 316 1

原创 Elasticsearch 拼音分词器

安装步骤下载地址：https://github.com/medcl/elasticsearch-analysis-pinyin/releases/tag/v7.2.0/elasticsearch-analysis-pinyin-7.2.0.zip创建文件夹并上传解压文件（所有节点）[root@master01 elasticsearch]# lsbin config data jdk...

2019-08-09 15:09:20 546

原创 Elasticsearch 集群相关信息查询

ES集群相关信息查询：1、集群的健康状态[elastic@master01 elasticsearch]$ curl master01:9200/_cluster/health?pretty{ "cluster_name" : "unisinsight", "status" : "green", "timed_out" : false, "number_of_nodes" :...

2019-08-08 16:43:25 409

原创数据库数据同步至redis

主程序：mysql -uroot -ppasswd -h 192.168.108.140 test --skip-column-names --raw < ~/linuxmysql.sql | $REDIS_HOME/src/redis-cli -h 192.168.108.126 -p 6369 --pipemysql执行程序1SELECT CONCAT("*8\r\n",'$...

2019-07-24 11:08:20 768

原创 Java 产生人员基础信息

package modelEntertainment;import com.alibaba.fastjson.JSONObject;import org.apache.kafka.clients.producer.Producer;import org.apache.kafka.clients.producer.ProducerRecord;import java.sql.*;im...

2019-07-20 09:59:27 209

原创 postgresql返回结果集

单个结果集（1）使用 return query 创建functionCREATE OR REPLACE FUNCTION get_one_record() RETURNS SETOF RECORD as$$DECLARE v_rec RECORD;BEGIN return query ( SELECT * FROM public.config ); retu...

2019-07-11 20:11:55 2996

转载对centos虚拟机进行扩容

1、查看存储利用率：[root@slave01 ~]# df -hFilesystem Size Used Avail Use% Mounted on/dev/mapper/centos-root 68G 1.2G 67G 2% /devtmpfs 12G 0 12G 0% /devtmpfs ...

2019-07-04 20:46:11 265

原创 maven打包并添加相关依赖

添加maven配置 <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-dependency-plugin</artifactId> <ver...

2019-06-27 13:56:30 453

翻译 Greenplum failed segment恢复方法

1、启动数据服务[gpadmin@mdw ~]$ gpstart2、生成恢复配置文件[gpadmin@mdw ~]$ gprecoverseg -o ./recov[gpadmin@mdw ~]$ cat recov filespaceOrder=sdw2:50000:/home/data/gpdata/mirror/gpseg0sdw2:50001:/home/data/gpda...

2019-06-18 17:34:22 1081

原创 flink timeWindow

记录：功能需求：对每天（00:00:00-23:59:59）、每小时（00:00-59:59）这个两个区间段内的数据进行统计。发现滑动时间窗口不满足这个功能，查找资料后发现具有这个function：TumblingEventTimeWindows代码如下：可以对这种区间窗口进行聚合。示例代码：package flink.stream.streamAPI;import org.ap...

2019-06-06 15:28:45 1113

原创 flink time 及 watermark

package flink.windowTime;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.java.tuple.Tuple;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flin...

2019-06-06 15:14:03 120

原创 flink stream join redis

package flink.stream.asyncIOSide;import com.github.benmanes.caffeine.cache.Cache;import com.github.benmanes.caffeine.cache.Caffeine;import io.vertx.core.Vertx;import io.vertx.core.VertxOptions;i...

2019-06-05 09:12:42 855

原创 flink stream join mysql

功能说明：对kafka中的流数据进行清洗，其中相关的配置文件存放在数据库中，需要将流数据与数据库中的配置文件进行关联，输出相应的结果。方式一：异步查询使用异步查询的方式，对数据流中的数据进行查询。代码如下：package flink.stream.asyncIOSide;import com.github.benmanes.caffeine.cache.Cache;import co...

2019-06-04 19:34:09 1515

原创 centos6.8离线安装oracle 12c

centos版本：centos 6.8oracle版本：oracle 12c1、查看防火墙状态：service iptable statusservice iptables stop2、关闭selinuxvi /etc/selinux/config SELINUX=disabled3、安装依赖想要依赖包的可以在地下留言联系我，也可自行下载相关依赖。无网环境可下载以下安装包，...

2019-05-16 09:21:30 1499 2

原创 flink stream broadcast广播变量

Apache Flink 官方文档提供了广播状态的功能以及有关 API 的详细指南。在使用广播状态时要记住以下4个重要事项：使用广播状态，operator task 之间不会相互通信广播状态中事件的顺序在各个并发实例中可能不尽相同所有 operator task 都会快照下他们的广播状态RocksDB 状态后端目前还不支持广播状态广播变量创建后，它可以运行在集群中的任何functio...

2019-05-14 10:48:26 5153 2

原创 postgresql设置开机自启动

1、修改$GP_HOME/contrib/start-scripts/linux 文件# Installation prefix#prefix=/usr/local/pgsql#安装路径prefix=/home/postgres#echo "-----$prefix-----"# Data directory#PGDATA="/usr/local/pgsql/data"#数据存放路...

2019-05-07 14:43:04 7210

原创 IDEA 对java指定的class打包jar

1、对项目进行编译，生成class文件2、File——>Project Structure——>Project Settings——>Artifacts——>单击绿色加号——>JAR——>Empty3、对jar包进行命名，并设置输出路径（可选），通过点击2，创建与class类路径相同的目录。4、点击绿色加号——>File，选取需要打包的...

2019-04-30 14:44:49 3672