- 博客(21)
- 收藏
- 关注
RSS订阅原创 SQL优化
1：查询模糊匹配尽量避免在复杂查询中使用like “%parml%”，因为%会导致相关列索引无法使用。2：索引问题不要在建立索引的数据列中进行如下操作：避免对索引字段进行计算操作；避免在索引字段上使用not,<>,! ；避免在索引列上使用IS NULL和IS NOT NULL；避免在索引列上出现函数类型转换；避免在索引列中使用空值；3：where语法法则避免在wh...
2019-05-05 19:04:19
132
原创 Hbase集群优化-实用
Hbase集群优化信息-平台优化是为了在程序运行调用的过程中 1：保障程序正常执行 2：给程序提供较优的执行环境1：针对Hbase优化信息如果集群内存够用的话，建议关闭交换区，直接使用物理内存关闭内存空间或者调整交换空间大小Linux默认交换空间为60；查看路径：/proc/sys/vm/swappiness如果需要关闭内存空间将改值设置...
2019-04-15 19:43:39
693
原创 Linux文件系统选择对hbase的影响
优化一：1：用户采用ext3系统进行挂载的时候，设置notime属性来禁止记录文件访问时间戳，减少内核管理开销，这样达到hbase读优化目的：设置如图：优化二： ext3提供磁盘空间，默认情下为每一个系统进程保留一块固定空间，保证磁盘存储满以后不影响关键系统进程的使用，这个功能对数据存储磁盘几乎没用，所以，要对存储磁盘的次功能进行优化。注意：此优化只适用于数据...
2019-03-13 09:57:47
338
原创 hbase.regionserver.global.memstore.upperLimit is deprecated by hbase.regionserver.global.memstore
程序运行过程中日志中存在WARN信息hbase.regionserver.global.memstore.upperLimit is deprecated by hbase.regionserver.global.memstore.size但是无论怎么设置这两个参数，hbase在进行读写过程中很容易就触碰到阀值，甚至regionservice直接死掉。一直被WARN信息困扰，无论怎么调...
2019-02-20 08:21:11
2090
1
原创 Kettle 从oracle导入hhbase
Kettle 从oracle导入hhbase配置Hbase output配置 一：Configure connection配置 1：找到hbase的主节点作为hadoop cluster的链接地址 2：从hbase主节点中获取对应的hbase-site.xml数据。用来配置URL to hbase-s...
2019-02-19 15:12:38
468
原创 hbase数据迁移-利用export/import
数据导入方式一：基本数据导入 第一步：数据从目标集群导出 hbase org.apache.hadoop.hbase.maprduce.Export 表名 /导出表的hdfs路径 支持增量导入 在原有的导入命令下添加版本号和时间戳 hbase org.apache.hadoop.hbase.maprduce.Export 表名 /导出表的...
2019-02-19 15:09:27
653
原创 虚拟机磁盘扩容+hdfs磁盘挂载
第一步：在vm中创建对应得虚拟磁盘 第二步：依据默认，选择下一步，进入磁盘大小选择界面。选择后，下一步操作。完成磁盘创建 第三步：使用root权限进入命令行界面，并且执行fdisk -l 命令。查看已经创建的磁盘【提示：如果是在开机状态下创建虚拟磁盘，执行该命令未发现创建的磁盘，只要重启该虚拟机就可以】 ...
2019-02-19 15:05:38
615
原创 基于flink流处理的动态实时电商分析系统02
1：电商分析数据来源 上报服务：从已有的业务系统中获取数据 日志数据：从已有的业务系统中通过flume获取数据 数据库数据：从关系型数据库中获取数据（mysql、oracle）2：获取不同源数据，将数据上传到kafka消息队列中。3：flink中kafka消息队列中获取数据，对数据级别进行处理 实时处理、批处理4：分析后的数据进行存储，存储...
2019-02-04 10:14:06
1029
3
原创 基于flink流处理的动态实时电商分析系统01
0：计算引擎的发展史： 第一代：hadoopMapreduce 第二代：Tez、Oozie批处理 第三代：spark基于内存实时处理框架有向无环图，job内部的有向无环图 第四代：flink真正的实时系统1：flink特点： 1.1高吞吐、低延迟 ...
2019-02-03 14:10:06
975
2
原创 2.blink-fink-example-KMeans
方法：KMeans() / ** *此示例实现了基本的K-Means聚类算法。 * * K-Means是一种迭代聚类算法，其工作原理如下： * K-Means被赋予一组要聚类的数据点和一组初始的''K''聚类 *中心。 *在每次迭代中，算法计算每个数据点到每个聚类中心的距离。 *每个点都分配给最靠近它的集群中心。 *随后，每个聚类中心都移动到所有点的中心（“均值”）...
2019-01-29 14:49:24
246
原创 1.blink-fink-quickstart-scala
方法：object BatchJob {}object StreamingJob {} import org.apache.flink.api.scala._/**--译文* Flink批处理作业的骨架。 * *有关如何编写Flink批处理应用程序的教程，请查看 *有关<a href="http://flink.apache.org/docs/stabl...
2019-01-29 14:45:25
190
原创 blink目录
1：fink-quickstart2：fink-example3：fink-core4：fink-scala5：flink-streaming-scala6：flink-filesystems7：fink-clients8：fink-connectors9：fink-container
2019-01-29 14:43:23
332
原创 Elasticsearch-入门
wget 官网复制下载地址：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.2.tar.gz解压 bin：存放启动脚本 config:配置文件目录 lib:第三方库目录 modules：模块目录 plugins：插件目录满足jdk版本1.8以...
2019-01-29 14:34:32
135
原创 Kettle 从oracle导入hhbase配置
Kettle 从oracle导入hhbase配置Hbase output配置一：Configure connection配置1：找到hbase的主节点作为hadoop cluster的链接地址2：从hbase主节点中获取对应的hbase-site.xml数据。用来配置URL to hbase-site.xml[注意]：这里windows下地址需要在路径前面加 file:///3：ur...
2019-01-29 14:32:07
588
翻译 归并排序-java实现
归并排序的代码和思路整理很多。这里我只做整理。易理解的图、思路清晰的代码1：归并排序图解过程如下：以数组{50,10,90,30,70,40,80,60,20}为例，Java实现如下：package cn.itpcc.sort;import java.util.Arrays;//归并排序是一种比较占内存，但却效率高且稳定的算法public class MergeSort ...
2018-09-29 09:28:00
134
翻译 图解快速排序
快速排序的代码和思路整理很多。这里我只做整理。易理解的图、思路清晰的代码public class FastSort{ public static void main(String []args){ System.out.println("Hello World"); int[] a = {12,20,5,16,15,1,30,45,23,9...
2018-09-28 09:19:40
425
1
原创 启动namenode出现警告
[root@hadoop128 hadoop-2.7.2]# sbin/hadoop-daemon.sh start namenodestarting namenode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-root-namenode-hadoop128.outJava HotSpot(TM) Client VM warning:...
2018-09-17 23:14:01
2718
原创 使用连接mysql的jdbc驱动最新版（6.0+时，遇到数据库和系统时区差异引起的问题。 ）引发的问题
使用最新的连接驱动 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>6.0.3</version> </dependency>运行程序时抛出异
2018-09-17 23:12:02
443
原创 Flink Ha搭建
自己搭建ha的时候也遇到不少坑，各种报错。也是站在前人的肩膀上前行。整理一下具体的ha流程。希望能让后来者少走弯路~具体的属性的含义可以查看官方说明。这里直接上配置信息。不多说，就是干！默认集群设置：pcc01、pcc02、pcc03，设置pcc03为主节点、pcc02为备用节点实现高可用0：下载解压flink-1.6.01：配置相关节点信息 0：pcc03 节点配置...
2018-09-17 22:54:39
1231
原创 The import XXX cannot be resolved 完美解决
alt+/ 解决Eclipse如果报错：The import XXX cannot be resolved，xxx类都没什么问题。解放方法 project--》clean下。 ...
2018-03-24 12:46:30
25594
4
转载 vm三种网络模式介绍-2018-2-21
一、Brigde——桥接：默认使用VMnet0 1、原理： Bridge 桥"就是一个主机，这个机器拥有两块网卡，分别处于两个局域网中，同时在"桥"上，运行着程序，让局域网A中的所有数据包原封不动的流入B，反之亦然。这样，局域网A和B就无缝的在链路层连接起来了，在桥接时，VMWare网卡和物理网卡应该处于同一IP网段 当然要保证两个局域网没有冲突的IP. VMWare 的桥也是同样...
2018-02-21 10:59:12
793
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人