- 博客(49)
- 收藏
- 关注
RSS订阅原创 hadoop文件上传，下载
上一节我们搭建好了集群，数据从哪里来呢。通常经过是通过etl工具，如kettle,informatica等将其他系统的数据抽取成文件，然后再利用脚本调用hdfs的命令导入进hdfs集群。还有一种方式是通过通用组件如sqoop等，今天先讲第一种方式。HDFS 常用命令在 Linux 命令行终端，可以使用命令行工具对 HDFS 进行操作。使用这些命令行可以完成 HDFS 文件的上...
2020-03-02 14:28:43
4452
原创 hadoop系列——hadoop集群动态扩容、缩容
动态扩容，顾名思义，就是通过增加节点实现集群服务能力的提升。是hadoop，或者说分布式集群的特性之一；同理，部分节点可能老化，升级换代，节点需要对应的下线处理。今天就分别介绍这两部分操作：1，动态扩容1.1，在新增节点配置环境，可以参考Hadoop集群的搭建 里如何配置节点，步骤都是一样的，不在赘述。1.2，在主节点修改hosts文件，增加新增节点[hadoop@serve...
2020-03-02 10:25:14
2903
1
转载 Elasticsearch系列——（1.2）倒排索引 的实现
上一遍学习了倒排索引的原理，这里找到一篇文章，详细分析了倒排索引的一些实现原理，转载如下： 阅读目录倒排索引 搜索引擎如何工作？ 如何建立倒排索引 总结回到目录倒排索引回到目录搜索引擎如何工作？信息检索已经发展的非常成熟了，应该所有人都不陌生。我有幸这几年接触过并且实际做过一些搜索引擎开发的工作，特此总结并分享给大家。实际上，一个成熟的搜索引擎是想当复杂的，比如...
2018-08-13 16:27:29
1347
原创 Canal系列——问题杂记
今天碰到一个问题，某个平日正常运行的同步任务，突然报错，显示某个表不存在，如图开始以为是dba回收了canal用户的权限，后来分析得知，有users表的删除操作，这样导致在读取binlog日志的时候，再去源库里查表字段名字时候报错。binlog日志是不带字段名称的，如下：BINLOG '4T5wWxMqgtqzQAAAAIsBAAAAAIkFAAAAAAEACGZhc3RkYXR...
2018-08-13 16:23:04
667
转载 Elasticsearch系列——（1.1）倒排索引原理
关于es为什么搜索快，大家应该有所了解，但是到底什么是倒排索引？网上找到一篇介绍通俗易懂，转载如下： 见其名知其意，有倒排索引，对应肯定，有正向索引。 正向索引（forward index），反向索引（inverted index）更熟悉的名字是倒排索引。 在搜索引擎中每个文件都对应一个文件ID，文件内容被表示为一系列关键词的集合（实际上在搜索引擎索引库中，关键词也...
2018-08-13 16:04:41
38776
10
原创 Elasticsearch系列——（2.1）Elasticsearch5.6.8 安装部署
1，官网下载安装 https://www.elastic.co/cn/ 官方中文指导文档https://www.elastic.co/guide/cn/elasticsearch/guide/current/running-elasticsearch.html 2，es特点：无需配置，开箱即用./bin/elasticsearch如果你想把 Elasticsearch ...
2018-05-14 11:01:28
3558
原创 storm(一)集群安装部署
1、安装环境：安装包：apache-storm-1.1.2.tar.gz机器：10.1.221.223 storm110.1.221.224 storm210.1.221.225 storm3集群JDK环境：jdk-8u131-linux-x64.tar.gz（具体安装步骤见：《Linux安装JDK步骤》）集群主机之间设置免密登陆：设置方式见：《Linux之ssh免密登录》zoo...
2018-05-10 17:23:04
193
原创 storm(二)集群提交拓扑
准备工作：将开发好的jar包上传到服务器nimbus节点上，如package目录下启动Storm集群执行命令storm jar ./wordCountByAndy.jar com.andy.learning.storm_helloworld.SimpleTopology testtask1解释下这条命令中的各个参数：jar:运行你的storm job./wordCountByAndy.jar:...
2018-05-10 17:22:52
2371
转载 JDBC连接ORACLE的2种URL格式
今天jdbc链接数据库报错，java.sql.SQLException: Listener refused the connection with the following error: ORA-12505, TNS:list百度了下，原因如下，jdbc连接oracle数据库两种方式，使用sid和servicename的写法略有区别。使用jdbc连接oracle时url有2种格式格式一: Ora...
2018-04-18 11:17:37
26090
原创 windows下eclipse连接远程hadoop集群的开发配置
1，百度下载eclipse插件hadoop-eclipse-plugin-2.7.3.jar，放入eclipse安装目录下的plugins下，重启eclipse2，配置hadoop在windows下的安装目录windows-->preference-->Hadoop Map/Reduce3,windows-->showview-->others-->Map/Reduc...
2018-03-16 16:20:17
2548
1
原创 hbase-1.2.6安装部署
1，前言：hbase 是hadoop database的缩写，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。2，安装2.1，hbase官网下载安装包,根据官方建议，使用stable版本2.2，新建hbase安装目录，解压安装包到当前目录mkdir -p /opt/hbasechown hadoop:hadoopG...
2018-03-14 19:43:23
1480
原创 Hive2.x环境搭建
与 Hadoop 类似，Hive 也有 3 种运行模式： 1. 内嵌模式 将元数据保存在本地内嵌的 Derby 数据库中，这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显，因为一个内嵌的 Derby 数据库每次只能访问一个数据文件，这也就意味着它不支持多会话连接。 2. 本地模式 这种模式是将元数据保存在本地独立的数据库中（一般是 MySQL），这用...
2018-03-13 14:45:41
533
原创 hadoop集群搭建
最近为了解决30亿+清单级数据的查询工作，尝试用presto解决。方案1：采用deepgreen, 优化表分布，建立索引方案2：采用hadoop+presto回顾一下hadoop集群的搭建过程：1.1，准备机器10.1.240.183 base018310.1.240.184 base018410.1.240.185 base018510.1.240.186 base018...
2018-03-12 13:04:11
299
原创 oracle数据导出工具sqluldr2安装及使用
sqluldr2是一款Oracle数据快速导出工具，包含32、64位程序，sqluldr2在大数据量导出方面速度超快，能导出亿级数据为excel文件，另外它的导入速度也是非常快速，功能是将数据以TXT/CSV等格式导出1，下载sqluldr2,选择linux64位版本https://pan.baidu.com/s/1JCH8Rn-aCFyqEyouXE0k7Q2,将sqluldr2_linux64...
2018-03-07 17:33:34
6615
原创 linux下快速安装oracle客户端
1，首先Oracle官网下载安装包： http://www.oracle.com/technetwork/database/features/instant-client/index-097480.html根据访问数据的版本下载对应客户端。每种包又分.zip、.rpm两种格式包，zip包相当于解压后免安装版，rpm包需要安装版。2，安装解压缩到/usr/local/oracleunzip inst...
2018-03-07 15:18:49
37607
4
转载 Maven开发02-Maven常用命令大全与pom文件讲解
林炳文Evankaka原创作品。转载请注明出处http://blog.csdn.net/evankaka摘要：本文主要讲解是Maven使用过程中一些常用的命令，并配上图片说明，最后还讲了pom.xml文件的一些构造。一、Maven常用命令1.1、Maven 参数 -D 传入属性参数 -P 使用pom中指定的配置 -e 显示maven运行出错的信息 -o 离线执行命令,即
2017-09-06 14:02:55
305
转载 maven开发01-安装与配置、实现maven版helloworld
一、maven开发01-安装与配置1、下载maven安装包去https://maven.apache.org/下载apache-maven-3.5.0-bin.zip，解压即可使用。2、maven环境变量配置新建环境变量MAVEN_HOME（值为maven的根目录）、然后在PATH环境变量里加入%MAVEN_HOME%\bin;即可。3、检验是否配置成功
2017-09-06 13:46:26
319
原创 Tomcat中webapps下的项目如何导入到eclipse中
网上下载的项目，没有源代码，启动tomcat后，可以运行，尝试将项目导入到eclipse那么用反编译软件将class文件都解析成java文件于是去tomcat\webapps\ROOT下寻找如图，发现WEB-INF下面没有存放编译后的.class文件的class文件夹，可是项目又能正常运行！！纳闷代码被放到哪里去了！！后来打开lib文件夹，豁然开朗！！在
2013-07-26 11:38:07
4203
2
原创 java 错误
The hierarchy of the type DateIntervalTypeEnum is inconsistent编写java程序时，出现The hierarchy of the type is inconsistent 错误。可能的原因：自己的类继承于某个类，这个类或者这个类继承的类或者再往上继承的某个类所在的jar包没有被引入。
2013-07-25 14:06:31
489
原创 oracle 执行计划
index range scan(索引范围扫描)：1.对于unique index来说，如果where 条件后面出现了 ,between ...and...的时候，那么就可能执行index range scan,如果where条件后面是=，那么就会执行index unique scan。2.对于none unique index来说 如果where 条件后面出现了=,>,3.对于组合索
2013-07-24 22:40:31
564
原创 IT屌丝男的文艺范
修身齐家治国平天下很简单的一个人，告别不实际的我，重新做真正的自己；抛弃陋习的，认真做自己该做的；每天做一点点，每天进步一点点；不再忧虑，不再烦恼；简简单单就是我。天行健，君子以自强不息。潜龙勿用，阳在下也。见龙再田，德施普也。终日乾乾，反复道也。或跃在渊，进无咎也。飞龙在天，大人造也。亢龙有悔，盈不可久也。用九，天德不可为首也。事实求是，贵在坚持，不要轻易放弃，也
2013-07-24 22:36:24
622
原创 Hibernate 错误集合
Hibernate报错：No positional parameters in query出此错，是因为你的hql语句中没有？，但你创建query时却要为此hql设置参数值造成的。简单举个例子: 比如你的hql是"from User",而你查询时这样写 Query query=session.createQuery(hql);
2013-07-24 15:57:15
543
原创 oracle 错误收集
create table mytable (id number(2),name varchar2(5))--------------------------DECLAREflag NUMBER(2);BEGINSELECT 1 INTO flag FROM mytable WHERE ID = 12;IF flag = 1 THEN dbms_outp
2013-07-24 14:21:09
1073
转载 Unbound classpath container: 'JRE System Library [jdk1.6.0_04]' in project
Unbound classpath container: 'JRE System Library [jdk1.6.0_04]' in project Unbound classpath container: 'JRE System Library [jdk1.6.0_04]' in project the project cannot be built until
2013-07-16 16:29:32
847
原创 android笔记-布局
LinerLayout(线性布局)RelativeLayout(相对布局)TableLayout(表格布局)FrameLayout(帧布局)
2013-07-14 14:48:56
588
原创 android笔记
版本是17，跟老的版本有很多不一样的属性。Android中文本框分单行和多行两种，但应用的是同一个控件：EditText 。EditText控件默认显示为单行，若是要显示为多行，只须要加上一个属性即可：android:inputType=”textMultiLine” ，然后就可以多行编辑了。还有EditText 多行的时辰，光标默认是在中心显示的，是以输入的器
2013-07-13 22:13:23
717
原创 通过bulk collect 减少loop处理的开销
通过bulk collect减少loop处理的开销采用bulk collect可以将查询结果一次性地加载到collections中。而不是通过cursor一条一条地处理。可以在select into,fetch into,returning into语句使用bulkcollect。注意在使用bulk collect时，所有的into变量都必须是collections. 举几个简单的例子：-
2013-06-25 22:07:12
547
原创 Oracle Minus关键字
Oracle Minus关键字 SQL中的MINUS关键字 SQL中有一个MINUS关键字，它运用在两个SQL语句上，它先找出第一条SQL语句所产生的结果，然后看这些结果有没有在第二个SQL语句的结果中。如果有的话，那这一笔记录就被去除，而不会在最后的结果中出现。如果第二个SQL语句所产生的结果并没有存在于第一个SQL语句所产生的结果内，那这笔资料就被抛弃，其语法如下： [SQL
2013-06-25 21:31:06
566
原创 ORA-30926: unable to get a stable set of rows in the source tables
Oracle 中用一个表的数据更新另一个表的数据最好的方法是用merge语法:merge into tab1 using tab2 on(tab1.id=tab2.id) when matched then update set tab1.val = tab2.val 同样,如果tab2中有多条对应tab1中一条的情况会出错:ORA-3092
2013-05-02 11:11:24
13751
原创 [转] Merge into的使用详解-你Merge了没有
Merge是一个非常有用的功能，类似于Mysql里的insert into on duplicate key. Oracle在9i引入了merge命令, 通过这个merge你能够在一个SQL语句中对一个表同时执行inserts和updates操作. 当然是update还是insert是依据于你的指定的条件判断的，Merge into可以实现用B表来更新A表数据，如果A表中没有，则把B表
2013-04-12 09:41:31
697
原创 TRUNCATE TABLE
Truncate是SQL中的一个删除数据表内容的语句，用法是：语法TRUNCATE TABLE name参数name是要截断的表的名称或要删除其全部行的表的名称。下面是对Truncate语句在MSSQLServer2000中用法和原理的说明：Truncate table 表名 速度快,而且效率高,因为: TRUNCATE TABLE 在功能上与不带 WHERE 子句
2013-03-19 23:13:05
931
原创 ${pageContext.request.contextPath}取得绝对路径
一．问题 JSP中究竟采用绝对路径还是采用相对路径随着所采用技术的越来越复杂，这个问题也变得越来越难以解决。１）采用相对路径遇到的问题l 相对路径固然比较灵活，但如果想复制页面内的代码却变得比较困难，因为不同的页面具有不同的相对路径，复制后必须修改每一个连接的路径。l 如果页面被多于一个的页面所包含，那么被包含页面中的相对路径将是不正确的。
2013-03-19 23:08:58
5477
转载 getRemoteAddr()和getRemoteHost() 区别
System.out.println("request.getRemoteAddr(): " + request.getRemoteAddr()); System.out.println("request.getRemoteHost(): " + request.getRemoteHost()); 得到的结果相同（局域网内试验的结果）。
2013-03-19 23:07:33
811
原创 java的(PO,VO,TO,BO,DAO,POJO)解释
PO(persistant object) 持久对象在o/r映射的时候出现的概念，如果没有o/r映射，没有这个概念存在了。通常对应数据模型(数据库),本身还有部分业务逻辑的处理。可以看成是与数据库中的表相映射的java对象。最简单的PO就是对应数据库中某个表中的一条记录，多个记录可以用PO的集合。PO中应该不包含任何对数据库的操作。最形象的理解就是一个PO就是数据库中的一条记录。好处是
2013-03-19 23:06:46
773
原创 DTO
层间数据传输的过程就是服务的执行者将数据返回给服务的调用者的过程。在非分布式系统中由于有类似Open session inview这样的“怪胎解决方案”的存在，所以层间数据传输的问题并没有充分暴露出来，但是在分布式系统中我们就能清楚地意识到层间数据传输的问题，从而能够更合理的进行设计。为了暴露更多问题，本章讨论的层间数据传输假定的场景是“服务器将执行的数据结果如何传递给远程客户端”，尽管在实际场景
2013-03-19 22:51:25
974
原创 理财
第一份600元，第二份400元，第三份300元，第四份200元，第五份500元. 第一份，用来做生活费。这么少的生活费，每天只能够分到十几元。早餐一份煮米丝，一个鸡蛋，一杯豆浆。中餐一份快餐，一个水果。晚餐自己开个小灶，煮点饭，加俩菜，睡前一杯奶。这样一月的伙食大概是500-600。不过，如果你还年轻，身体暂时还没有太多问题，这样的食谱，够你数年内不会有健康问题。 第二份，用
2013-03-19 21:36:32
1014
原创 图解SQL的inner join、left join、right join、full outer join、union、union all的区别
对于SQL的Join，在学习起来可能是比较乱的。我们知道，SQL的Join语法有很多inner的，有outer的，有left的，有时候，对于Select出来的结果集是什么样子有点不是很清楚。Coding Horror上有一篇文章,通过文氏图 Venn diagrams 解释了SQL的Join。我觉得清楚易懂，转过来。假设我们有两张表。Table A 是左边的表。Table B 是右边的表。其各
2013-03-09 23:26:24
554
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人