- 博客(11)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 如何确定hadoop的mapreduce运行的日志存放在哪里？
有时候想看mr的运行日志，比如在mr中放入了一些log，那么这些log要从哪里查看呢？接下来笔者阐述一下自己的理解。1. 通过配置文件确认属性yarn.nodemanager.remote-app-log-dir 的值，如下：<property><name>yarn.nodemanager.remote-app-log-dir</name><value&g...
2018-03-28 12:37:30
5175
原创 多个线程N个对象锁
import org.slf4j.Logger;import org.slf4j.LoggerFactory;/** * Created by csj on 2017/3/27. * 虽然在赋值的时候进行了同步，但在取值的时候有可能出现一些意想不到的意外，比如在读取实例变量时，该值已经被其他线程更改过了，这种情况就是脏读，根本原因是多个线程争夺实例变量引起的 * * * 总结：针对
2017-03-29 22:12:21
676
原创 使用线程安全的单个实例变量
非线程安全存在于实例变量，方法内部的私有变量不存在非线程安全问题, 永远都是线程安全的，这都是方法内部的变量是私有的特性造成的。如果多个线程共同访问1个对象中的实例变量，有可能出现非线程安全
2017-03-26 10:27:52
456
原创 Hive Could not find status of job
报警信息：Caused by: HiveServerException(message:Query returned non-zero code: 1, cause: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask, errorCode:1, SQLStat
2017-03-19 13:21:11
3137
原创 Hive Process forward class cast error exceed 1000
报警信息如下：Diagnostic Messages for this Task:Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Process forward class cast error exceed 1000, [Error getting row data
2017-03-16 12:30:23
594
原创 Hive Job status not available
收到的报警信息：Caused by: HiveServerException(message:Query returned non-zero code: 1, cause: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask, errorCode:1, SQLState
2017-03-16 09:29:58
1475
原创 linux curl 定时执行 web请求
有时候因改造程序，历史的数据需要重跑，但是数据有依赖关系，比如昨天的数据今天要使用到，今天的数据会被明天使用到，因此如果需要重跑长时间段的历史作业最好写一个脚本，定时发送请求，定多长时间，根据重跑一个任务所需花费的最长时间确定;确定以下需要的参数值：在已登陆的系统中发送请求说明需要请求的url ， cookie，token根据系统的实现判断是否需要，该token是放在哪个位置的， 提交的数
2017-03-11 14:46:03
4221
原创 hive left outer join 两次
有时候查询hive表的时候需要用到两次的left outer join ，在这里做如下笔记select x.id,x.name from (select m.id ,m.name from ( select id , name from A ) m left outer join (select id , name from B ) n on m.id
2017-03-11 13:25:20
1034
原创 interrupt 中断线程
import org.slf4j.Logger;import org.slf4j.LoggerFactory;/** * Created by csj on 2017/3/4. * * 实现多线程的两种方式：1. extends Thread , implements Runnable，Thread 也是implements Runnable 接口，这两者之间存在多态关系 * Th
2017-03-04 21:46:47
361
原创 currentThread
currentThreadimport org.slf4j.Logger; import org.slf4j.LoggerFactory;/** * Created by csj on 2017/3/2. */ public class ThreadTest { public static final Logger logger = LoggerFactory.getLogge
2017-03-02 20:46:54
1020
原创 使用hive查询hdfs数据时报字段类型异常
报错信息：Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassCastException: org.openx.data.jsonserde.json.JSONArray cannot be cast to java.lang.Integer报错原因：原因是hive 元数据表中定义的
2017-02-09 09:13:18
1407
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人