- 博客(64)
- 收藏
- 关注
RSS订阅原创 Flink CDC 与 Phoenix JDBC依赖冲突
1.正确maven依赖添加如下： <dependency> <groupId>com.alibaba.ververica</groupId> <artifactId>flink-connector-mysql-cdc</artifactId> <version>1.12.0</version> </depende
2022-04-06 11:01:23
2324
原创 Flink Sql 中 Watermark 使用方式
1、创建 env 和 tableEnv 环境2、利用 Sql 定义 Source 数据源（并在数据源中定义Watermark和event-time），连接Source3、利用滑动窗口Hop测试Watermark和event-time是否定义成功4、利用Window TopN实现业务逻辑 val env = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(1) val sett
2022-02-10 15:01:51
5601
原创 Flink ProcessWindowFunction 和WindowFunction使用
错误提示一：overloaded method value aggregate with alternatives: [ACC, V, R](preAggregator: org.apache.flink.api.common.functions.AggregateFunction[org.example.hot.items.UserBehavior,ACC,V], windowFunction: org.apache.flink.streaming.api.scala.function.Proc
2022-02-10 14:21:32
2095
原创 对文件每行的内容进行重排序
*** 功能：对文件每行的内容进行重排序，排序规则如下：* 文件中的数据是以空格为分隔符，第一列为数据表名，该表名后面的数据表是它的依赖表，生成的结果文件内容是* 第一列数据表的依赖表必须出现在该数据表的前面* 这是原始文件中的内容 结果文件中的内容* a b c c* b d e f* ...
2020-09-19 22:08:01
295
原创 基于web管理的bind-DNS服务器搭建
具体流程见下面文档（系统环境Centos6.5）：#修改yum源vim /etc/yum.repos.d/CentOS-Base.repobaseurl=https://mirrors.ustc.edu.cn/centos/$releasever/os/$basearch/baseurl=http://mirrors.ustc.edu.cn/centos/$releasever/extras/$basearch/baseurl=http://mirrors.ustc.edu.cn/cento
2020-09-06 13:37:00
945
原创 判断两文件中的内容是否一致
1、判断两文件中的内容是否一致的shell脚本内容#!/bin/bashfile1=$1file2=$2if [ -z $file1 ]; thenexit 1fiif [ -z $file2 ]; thenexit 2fitype=$3if [ -z $type ];thentype=1fised -i '/^#/d' $file1sed -i '/^#/d' $file2sed -i '/^[ ]*$/d' $file1sed -i '/^[ ]*$/d..
2020-08-31 00:16:46
867
原创 java排查问题的一些命令使用
1.jmap找出占用内存较大的实例jps -l 找出该程序的pidjmap -histo:live pid |heap -10 找出前10的实例使用内存情况2.jmap 查看堆内存的各项配置jmap -heap pid3.找出占用CPU最高的线程jps -l 找出pid，然后 top -Hp pid，然后jstack pid | grep 'pid的16进...
2019-11-17 16:53:35
160
原创 MinGW安装教程——著名C/C++编译器GCC的Windows版本
参考文档：https://www.cnblogs.com/ggg-327931457/p/9694401.html------安装文档 https://blog.csdn.net/a1b2c3d4123456/article/details/49762459------添加到eclipse插件中 https://blog....
2019-08-18 17:14:42
236
原创 Hadoop之源码编译环境搭建
环境搭建参考文档：http://www.aboutyun.com/thread-8130-1-1.html错误解析参考文档：http://www.aboutyun.com/thread-12695-1-1.html
2019-08-10 17:29:01
191
翻译 kafka精炼之性能优化（6）
六、性能优化Kafka在提高效率方面做了很大努力。Kafka的一个主要使用场景是处理网站活动日志，吞吐量是非常大的，每个页面都会产生好多次写操作。读方面，假设每个消息只被消费一次，读的量的也是很大的，Kafka也尽量使读的操作更轻量化。我们之前讨论了磁盘的性能问题，线性读写的情况下影响磁盘性能问题大约有两个方面：太多的琐碎的I/O操作和太多的字节拷贝。I/O问题发生在客户端和服务端之间，也发生在服...
2019-07-27 09:08:20
176
翻译 kafka精炼之消息传输的事务定义（5）
五、消息传输的事务定义之前讨论了consumer和producer是怎么工作的，现在来讨论一下数据传输方面。数据传输的事务定义通常有以下三种级别：最多一次: 消息不会被重复发送，最多被传输一次，但也有可能一次不传输。最少一次: 消息不会被漏发送，最少被传输一次，但也有可能被重复传输.精确的一次（Exactly once）: 不会漏传输也不会重复传输,每个消息都传输被一次而且仅仅被传输一...
2019-07-27 09:07:31
553
翻译 kafka精炼之数据持久化（4）
四、数据持久化不要畏惧文件系统!Kafka大量依赖文件系统去存储和缓存消息。对于硬盘有个传统的观念是硬盘总是很慢，这使很多人怀疑基于文件系统的架构能否提供优异的性能。实际上硬盘的快慢完全取决于使用它的方式。设计良好的硬盘架构可以和内存一样快。在6块7200转的SATA RAID-5磁盘阵列的线性写速度差不多是600MB/s，但是随即写的速度却是100k/s，差了差不多6000倍。现代的操作系统都对...
2019-07-27 09:06:41
203
翻译 kafka精炼之搭建Kafka开发环境（3）
三、搭建Kafka开发环境我们搭建了kafka的服务器，并可以使用Kafka的命令行工具创建topic，发送和接收消息。下面我们来搭建kafka的开发环境。添加依赖搭建开发环境需要引入kafka的jar包，一种方式是将Kafka安装包中lib下的jar包加入到项目的classpath中，这种比较简单了。不过我们使用另一种更加流行的方式：使用maven管理jar包依赖。创建好maven项目后，在po...
2019-07-27 08:53:30
193
翻译 kafka精炼之环境搭建（2）
二、环境搭建Step 1: 下载Kafka点击下载最新的版本并解压.> tar -xzf kafka_2.9.2-0.8.1.1.tgz > cd kafka_2.9.2-0.8.1.1复制代码Step 2: 启动服务Kafka用到了Zookeeper，所有首先启动Zookper，下面简单的启用一个单实例的Zookkeeper服务。可以在命令的结尾加个&符号，这...
2019-07-27 08:51:39
197
原创 kafka精炼之kafka介绍（1）
Kafka介绍2017年11月9日10:11概述官方网址：http://kafka.apache.org/以下摘自官网的介绍：Apache Kafka® isa distributed streaming platform. What exactly does that mean?We think of a streaming pl...
2019-07-27 08:50:54
187
原创 YII安装（PHP框架）
使用前提，需要在windows或者linux上安装好apache、php、mysql组件参考链接：https://blog.csdn.net/Y_FC_EMBEDD/article/details/96574442安装指引：http://wiki.jikexueyuan.com/project/yii-2.0-guide/start-installation.html第一步：我选...
2019-07-24 16:13:01
252
转载 windows下PHP环境的搭建
转载：https://segmentfault.com/a/1190000003409708安装时遇到的3个问题：apache2.4启动时报443端口占用解决最直接的方法是关闭占用80、443端口的进程：1. 通过cmd中netstat -ano (netstat -a -o)看看本机80、 443端口被占用没 ----- --这里 可能会被...
2019-07-20 11:41:30
260
转载 eclipse提交代码到github
请看链接：https://blog.csdn.net/lynn_Kun/article/details/73740400或http://blog.csdn.net/zongzhankui/article/details/48653731
2019-07-16 20:33:14
115
原创 springboot连接mysql
实现的环境 1.windows上MySQL的安装：https://blog.csdn.net/Y_FC_EMBEDD/article/details/95724676 2.eclipse的使用（jdk，maven工程，springboot框架） 3.连接网络第一步：在pom.xml中添加依赖的jar包 <!--对数据库的支持-...
2019-07-13 15:36:53
266
原创 windows下安装mysql-5.6
1.下载安装文档链接：https://pan.baidu.com/s/1ioKsiUkF8igeBreyaSxilg提取码：dnoowindows下安装mysql5.6.docx2.下载安装包链接：https://pan.baidu.com/s/1TEQn-Cteh2gwZJA4RjhQhg提取码：jji5mysql-installer-community-5.6.22...
2019-07-13 09:31:18
160
原创 HADOOP之HDFS 的新颖功能特性
HDFS 的新颖功能特性1.HDFS 视图文件系统1）ViewFileSystem ：视图文件系统ViewFileSystem不是一个新的文件系统，只是逻辑上的一个视图文件系统，在逻辑上是唯一的。总的理解是：将各个集群的真实文件路径与ViewFileSystem内新定义的路径进行关联映射。 ...
2019-06-28 20:22:34
380
原创 HADOOP之HDFS 的数据管理与策略选择----HDFS 快照管理（3）
HDFS 快照管理1.快照概念 原则：只做差异的记录；对于大多数不变的数据，是当前物理路径所指的内容，发生变更的INode数据会被额外的拷贝。2.HDFS 中的快照相关命令hadoop fs[-createSnapshot <snapshotDir> [<snapshotName>]][-deleteSnapshot <snapshot...
2019-06-28 20:10:24
305
原创 HADOOP之HDFS 的数据管理与策略选择----HDFS 中心缓存管理（2）
HDFS 中心缓存管理 中心缓存管理器（CacheManager）和缓存块监控服务（CacheReplicationMonitor）适用场景、中心缓存管理的原理、命令使用。1.HDFS 缓存适用场景公共资源文件 短期临时的热 数据文件2.HDFS 缓存的结构设计 ...
2019-06-28 20:06:15
316
原创 HADOOP之HDFS 的数据管理与策略选择----HDFS 缓存与缓存块（1）
HDFS 缓存与缓存块 HDFS缓存用的是缓存块，HDFS缓存块用的是普通的文件块转换而来，也可以转换回去。缓存使用的是DataNode内存作为缓存。 本节以疑问点的形式分析缓存块：物理层面缓存块是怎样的？ 缓存块的生命周期状态有哪几种？ 哪些情况会触发缓存块、取消缓存块的操作？ CacheBlock UnCacheBlock 缓存块如何确定？ 系统所持有的缓...
2019-06-28 19:56:15
475
原创 HADOOP之HDFS 的数据存储----异构存储（2）
异构存储3.1存储类型：Storage Type: RAM_DISK:内存存储类型 SSD: DISK:硬盘存储类型 ARCHIVE:高密度存储类型 ...
2019-06-28 19:39:57
596
原创 HADOOP之HDFS 的数据存储----HDFS内存存储（1）
HDFS 内存存储用机器的内存作为存储数据的载体。内存存储策略：LAZY_PERSIST1.1 HDFS 内存存储原理问题：数据丢失、内存空间有限。方案：异步持久化---在内存存储新数据的同时，持久化距离当前时刻最远的数据。 图 LAZY_PERSIST策略原理图异步存储的大体步骤：对...
2019-06-28 19:32:04
1383
原创 String & Long 转化为bitMap的逻辑实现
本篇主要实现两种类型（String & Long）转化为bitMap逻辑。第一种：String 转化为bitMap大致逻辑是先将String 对应到一个 Long类型的数字longMax，内部从0开始，最大值是Long.MAX_VALUE=2^63.再将Long对应到bit链表中，longMax与bit的对应关系保存在bitMap当中。其中有3个全局变量：/* recon...
2019-06-17 11:41:03
1819
1
转载 CentOS 7 下 MySQL 5.7 的安装与配置
本文测试环境：CentOS 7 64-bit Minimal MySQL 5.7配置 yum 源在https://dev.mysql.com/downloads/repo/yum/找到 yum 源 rpm 安装包 rpm 安装包安装 mysql 源...
2019-03-08 19:11:28
206
原创 VMware安装CentOS操作系统
VMware安装CentOS操作系统创建虚拟机2. 配置虚拟机CD/DVD(IDE)选择好镜像后点击确定按钮。 3. 操作系统安装下面选项是新增的两个选项，其他不变。等待最后的完成。点击reboot按钮。输入用户名和密码进入CentOS6操作系统，进行网络的配置，详情见以下链接：https://blog.csdn.net/Y_FC_EMBEDD/a...
2019-02-22 15:07:04
220
转载 CentOS 6.6 升级GCC G++ (当前最新版本为v6.1.0) (完整)
CentOS 6.6 升级GCC G++ (当前最新版本为v6.1.0) (完整)---恢复内容开始---CentOS 6.6 升级GCC G++ (当前最新GCC/G++版本为v6.1.0)没有便捷方式,yum update.... yum install 或者 添加yum 的 repo 文件 也不行, 只能更新到 4.4.7!then, 只能手动编译安装了,那么开...
2019-01-04 17:02:32
220
原创 Centos6执行命令时报错：xxx is not in the sudoers file.This incident will be reported
利用root身份直接调用以下命令：$visudo弹出编辑/etc/sudoers文件的界面，在最后一行输入以下内容：<username> ALL=(ALL) ALL保存退出。
2019-01-04 14:32:21
564
原创 Centos6 mysql5.7 利用yum安装与卸载
1 删除Mysql yum remove mysql mysql-server mysql-libs mysql-server; find / -name mysql 将找到的相关东西delete掉； rpm -qa|grep mysql(查询出来的东东yum remove掉) rpm -e mysql相关文件2 安装mysql https://...
2019-01-03 19:50:26
258
原创 centos6.5 git安装
安装时需要将用户权限调至root权限下1.安装编译git时需要的包yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel2、删除已有的gityum remove git3、下载git源码，并将下载的文件移动到/usr/src目录下https://www.kernel.org/pub/...
2018-11-08 19:32:33
154
原创 vscode连接并访问Linux文件
分三步实现： 在远程linux机器上安装rmate； 在本地windows上安装openssh； 在vscode中安装扩展remote vscode1、 在远程linux机器上安装rmate 从github网址上将rmate文件的内容copy下来，github地址:https://githu...
2018-10-30 20:39:43
5219
原创 Django学习基本流程
1.python环境的安装： 见：https://blog.csdn.net/Y_FC_EMBEDD/article/details/829932112.Django环境安装： 进入虚拟环境，利用conda install django3.新建项目工程 django-admin startproject projectname4.启动服务...
2018-10-29 20:37:17
180
原创 anaconda的基本使用流程
1、安装anaconda：https://mp.csdn.net/postedit/829852802、创建个人的python虚拟环境 conda create -n myenv python=*** conda env list 查看所有的python环境3、conda activate myenv 进入个人的Python虚拟环境4、conda d...
2018-10-10 10:40:53
344
原创 conda install *** 安装***工具包失败的解决方法
1、使用conda list *** 查询***工具包在python环境中是否存在，如果存在可以在Version列上看到对应包的版本信息。2、如果没有安装包，conda install *** 安装工具包 如果现实Solving environment: fail 表示没有，可以通过一下步骤解决3、使用anaconda search *** 查询出***的有关包的所有信息...
2018-10-10 10:13:02
10552
原创 nutch1.9知识点及命令与参数
nutch爬虫技术学习知识点1、Nutch1.x比Nutch2.x稳定① Nutch2.x可以将数据放到HBase、Mysql等数据库中，但还在开发阶段② Nutch1.x基于hdfs中SequenceFile文件去存储、管理海量数据；一轮爬取中，将所有的网页都放到content文件夹中，文件夹中存有若干个SequenceFile文件，每一个SequenceFile文件存储的是JAVA对象。2、N...
2018-06-16 17:41:05
290
原创 nutch1.6在本地模式和分布式模式下爬取过程
一、本地模式下nutch1.6爬取1、创建两个目录，crawl目录存储爬取的数据，urls目录存储爬取的url，并在urls目录中创建一个seed.txt文件，写入需要爬取的url地址。2、修改./nutch1.6/runtime/local/conf/regex-urlfilter.txt文件的最后一行内容：将文件的最后一行“+.”改为“+^http://([a-z0-9]*\.)*nutch....
2018-06-16 17:25:13
271
原创 nutch1.6安装和编译(linux环境下)
nutch1.6安装和编译(linux环境下)准备阶段：1、下载nutch1.6安装包：Nutch-1.6-src.tar.gz http://www.linuxtourist.com/apache/nutch/1.6/2、下载ant安装包并安装和配置：apache-ant-1.10.3-bin.tar.gzhttps://blog.csdn.net/Y_FC_EMBEDD/article/det...
2018-06-16 17:22:31
356
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人