- 博客(12)
- 收藏
- 关注
RSS订阅
原创 sprak执行jar包，java.io.IOException: No FileSystem for scheme: g
scala代码实现wordcount，IDEA下执行成功：object WordCountByScala { def main(args: Array[String]): Unit = { val conf = new SparkConf(); conf.setAppName("WordCountSpark") conf.setMaster("local") ...
2018-09-04 21:34:45
732
原创 标签生成
目的：java代码实现团购网站的标签生成最终结果：83644298=============>体验好:182317795=============>味道差:177705462=============>服务热情:3,羊肉:2,味道赞:185766086=============>价格实惠:2,上菜慢:174145782=============>服务...
2018-11-02 16:43:05
516
原创 Strom+Hbase
0、Hbase中创建表‘ns1：wordcount’$hbase shell>create 'ns1:wordcount' , 'f1'表结构为：rowkey就是wordf1列族下有：word列和count列1 、引入依赖<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http:/...
2018-09-22 10:10:39
206
原创 storm确保消息被消费
1.发送的tuple需要携带msgId collector.emit(new Values(line),index);2.bolt中需要对tuple进行确认(ack() | fail()) public void execute(Tuple tuple) { String line = tuple.getString(0); ...
2018-09-21 21:17:25
235
原创 Spark进行wordcount防止数据倾斜
重组元组中的key，变为key_Random，再进行聚合。然后进行map以_切割，再重新聚合。 sc.textFile("hdfs://s201/user/word.txt").flatMap(_.split(" ")).map((_,1)).map(t=>{import scala.util.Random;val par = Random.nextInt(10);(t._1+"_"+...
2018-09-06 11:47:35
263
原创 hbase client交互过程，插入大量数据，split
client端交互过程-------------------- 0.hbase集群启动时，master负责分配区域到指定区域服务器。 1.联系zk，找出meta表所在rs(regionserver) /hbase/meta-region-server 2.定位row key,找到对应region server 3.缓...
2018-08-22 10:04:59
905
原创 IDEA编程连接hbase失败，无异常信息
向hbase中插入数据，一直尝试连接无任何异常信息（十分钟后应该会报异常）/** * 插入数据 */ @Test public void put() throws Exception { //创建conf对象 Configuration conf = HBaseConfiguration.create(); ...
2018-08-22 09:54:29
2056
原创 zookeeper循环调用观察者模式watch
/** * watch循环调用观察者模式(默认一次性运行) */ @Test public void testWatch() throws Exception { final ZooKeeper zk = new ZooKeeper("192.168.xxx.xxx:2181",5000,null); Stat st =...
2018-08-18 11:23:40
789
1
原创 zookeeper递归输出所有节点
在zk根目录下有a，zookeeper两个节点，在a下有孩子a1.[zk: s201:2181(CONNECTED) 9] ls /[a, zookeeper][zk: s201:2181(CONNECTED) 10] ls /a[a1]递归代码如下： @Test public void TestZKAll() throws Exception { ...
2018-08-18 09:55:11
4933
1
原创 centos共享文件夹失败
解决vmware-hgfsclient命令显示共享文件夹shared，但/mnt/hgfs/目录下不显示共享的文件夹shared需要先输入：mount -t vmhgfs .host:/shared /mnt/hgfs在输入：vmhgfs-fuse .host:/shared /mnt/hgfs...
2018-08-15 10:44:26
1005
原创 HIVE：表中插入数据出错
在hive中创建表t，id int ，name string ，age int如下图hive> desc t;OKid intname stringage int向表中插入数据hive> insert into t (id,name,age)...
2018-08-11 17:54:30
5917
3
原创 centos中配置环境变量，source /etc/profile后，测试java -version 显示 -bash：java：command not found
echo $PATH 中显示配置的环境变量已经存在，但测试java -version仍显示-bash：java：command not found。
2018-06-20 17:48:23
15565
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人