- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spark 批量写数据到 phoenix
这个问题搞了一周，spark读取hive数据插入phoenix 总共4.5g的数据 最开始是版本问题，和cdh上的版本不一致 代码本地执行没问题，上传集群各种错误， 最后更改 /etc/spark2/conf/classpath.txt 文件 和 /etc/spark2/conf/spark-evn.sh 文件。让其加载classpath.txt文件。 之后 spark writ...
2018-11-02 17:50:39
3341
2
原创 dstream.foreachRDD 创建连接对象 反序列化失败 解决办法
开发一个采集程序，从客户端发送数据到服务端，服务端传给kafka集群上启动sparkStreaming 接受kafka数据存入HBase遇到一个小坑程序报无法序列化 Htable就是因为dstream.foreachRDD() 是在driver端启动的 创建 hbase连接的时候是在driver端创建的，需要把连接发送到每个worker上时反序列化失败解决办法 参考下面：https://blog...
2018-06-03 19:40:10
460
原创 spark streaming 数据累加启动执行一次报错
本地启动spark streaming 进行数据累加 第一次可以读到远程发的数据 之后报了这个错 程序就down了Exception in task 0.0 in stage 10.0 (TID 4) NullPointerException检查一直找不到问题。后来看到个人也是问1.1 版本报错1.4没有问题。我的spark是1.5.1 突然想起来之前本地一直用的1.6.1昨天远程debug 发现...
2018-05-22 23:02:14
246
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人