6 孩子加油孩子

尚未进行身份认证

我不怕千万人阻挡,只怕自己投降

等级
TA的排名 3w+

java的基本数据类型

packagecom.ce.test;classTest{staticbyteb;staticshorts;staticinti;staticlongl;staticfloatf;staticdoubled;staticcharc;staticbool...

2019-04-22 16:20:51

linux脚本ssh远程启动大数据组件失败,本地启动成功

https://blog.csdn.net/linghuchong_huashan/article/details/77885841问题场景:hadoop集群部署在虚拟机上,每次开机都要重新启动集群,所以想写一个脚本来意见启动所有服务。但是,写成如下脚本,提示执行成功,但登录远程主机jps查看,本地能启动该进程,远程的主机并没有zookeeper进程。#!/bin/shecho"...

2018-12-06 11:21:52

spark broadcoast 广播变量

https://blog.csdn.net/weixin_41804049/article/details/79903472个人理解:sparkdriver会将普通变量发送到每个task中,如果该变量特别大,会导致内存溢出,所以,使用广播变量,driver将变量广播到每个executor中,每个task向executor去取需要的变量,即可避免内存溢出。(这个理解并不全面,广播变量在多...

2018-11-26 17:05:25

spark 连接kafka API 讲解

转自: http://blog.leanote.com/post/kobeliuziyang/Spark2.x%E8%BF%9E%E6%8E%A5Kafkaspark连接kafkaAPI各参数详细讲解一Spark连接Kafka的两种方式比较 二0.8,0.10以及更高版本的Kafka   如果spark的批次时间batchTime超过了kafka的心跳时间(30s),需要...

2018-11-26 16:58:40

crontab 定时执行脚本出错,但手动执行脚本正常

原因:crontab没有去读环境变量,需要再脚本中手动引入环境变量,可以用source也可以用export写死环境变量。案例:  用crontab定时执行一个脚本,这个脚本完成执行java程序的功能;在用sh手动执行脚本时能正常执行,但是用crontab定时器手动执行就没有输出。 1)后来查看定时任务,没有将错误输出打印到日志中,需要加上2>&1;...

2018-11-22 12:29:20

java编译时加入调试信息

https://blog.csdn.net/wubai250/article/details/8481357  java编译时加入调试信息。 javac-geclispe通过设置 

2018-11-17 16:51:57

ProcessBuilder 和Process的 区别

在面试的时候被问到过java在本地执行命令时是否遇到过问题?当时就想到了之前遇到的执行长输出的命令会卡住的情况,用Runtime.exe()执行命令,当命令的输出过长时,会导致程序卡住,当时查的网上资料解决了这个问题,开启了2个线程,分别打印标准输出和标准错误输出,这样就能避免卡住。面试官问我Process创建的是进程还是线程,我回答的是进程,因为在本地ps会看到一个执行的进程,但...

2018-11-17 16:44:04

多线程总结-java

Java多线程学习Java-Interview/MD/collection/HashSet.md一、线程基础 1.线程概念、好处   概念:线程是操作系统调度的最小单元,也叫轻量级进程,在一个进程里可以创建多个线程,这些线程都拥有各自的计数器,堆栈和局部变量等属性,并且能够访问共享的内存变量。处理器在这些线程中高速切换,让使用者感觉线程在同时执行。(   好处:(...

2018-08-20 18:36:14

hiveserver2 是什么?

https://www.cnblogs.com/xiaozhang123/p/7310980.html    工作上一直负责hive的打包,总是有人问hiveserver2是做什么的?我的回答只是可以用JDBC连hive,可远程对hive进行操作。(⊙﹏⊙)b这个回答连我自己都不信服。今天搜到了一篇博客,写的不错,mark之。(他是翻译的官网的文章https://cwiki.apache.or...

2018-06-01 10:18:13

java定时器总结

https://blog.csdn.net/etttttss/article/details/7461371 今天看到这篇文章,对定时器总结的很清楚,拿来看看 在现实生活中,会出现这样的例子,比如烧水,一般烧了20分钟后,水开了,会需要及时换水,再烧20分钟,水又开了,继续提醒,比如上班,每天早晨8点钟的闹钟会及时提醒,那么在java程序中如何实现这种已经被设定了的定时的任务呢,在下面会依...

2018-05-15 16:11:15

spark编译安装

spark 中文网站:https://blog.csdn.net/u012185296/article/details/76855770https://blog.csdn.net/yu0_zhang0/article/details/79250172方法一:mvn-Pyarn-Phive-Phive-thriftserver-Phadoop-2.6-Dhadoop.version=2...

2018-05-03 10:12:50

JVM微调

原文链接:http://www.jdon.com/idea/jvm2.html点击打开链接JVM微调 上页高吞吐量调整UseParallelGC和UseParNewGC等高吞吐量配合参数:-XX:+UseAdaptiveSizePolicy-XX:MaxGCPauseMillis=…(i.e.100)-XX:GCTimeRatio=…(i.e.19)UseAdaptiveSizePoli...

2018-02-28 13:55:54

JVM内存模型和性能优化

http://www.jdon.com/idea/jvm.html 淘到了好文章,一定要抽时间仔细看看JVM内存模型优点内置基于内存的并发模型:    多线程机制同步锁Synchronization大量线程安全型库包支持基于内存的并发机制,粒度灵活控制,灵活度高于数据库锁。多核并行计算模型基于线程的异步模型。JVM性能的人为问题关键原因是:没有正确处理好对象的生命周期。需要从需求中找出存在自...

2018-02-28 12:58:38

2018年新年---我要找房合租了

2018年求租房

2018-01-03 14:18:17

centos 6.x 配置yum源(本地、网络)

转自: http://blog.csdn.net/allen_a/article/details/51198585一、本地yum源1、系统默认已经安装了可使用yum的软件包,所以可以直接配置:[root@localhost~]#cd/etc/yum.repos.d/                  yum源配置文件放置目录 

2017-12-27 14:42:28

hive sql 总结

一、HQL:where过滤筛选(map任务)select,update,delete,insertinto(在分组语句groupby之前执行)select*fromempwheresal>3000;limit限制条件(无mapreduce)select*fromempwheresal>3000limit10distinct(

2017-11-10 10:48:19

hive 使用方法--小工具(二)

1、小工具:descstudent;描述表descextendedstudent;查看表的集体详细信息(表的类型(内部表、外部表),表压缩否)descformatstudent;格式化输出表信息showfunctions;查看hive中的函数descfunctionupper;描述函数descfunctionex

2017-11-04 21:58:16

hive 使用方法-建表及导入导出数据(一)

1.学习资料hive官网:不区分版本,所有信息都在一个文件汇总,会标记适合哪些版本https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL)一、基本使用法法1)Create/Drop/Alter/UseDatabasecreatedatabaseifnotexiststest_db;

2017-11-04 21:45:47

程序员的思考

转载自:http://hp.dewen.org/?p=56http://blog.csdn.net/dc_726/article/details/7265927程序员的我们,是否想过今后的路该怎么走、如何发展、技术怎样提高?其实这也是我一直在思考的问题。下面就此问题,分享下我的看法。因为我阅历有限,有什么说的不对的,大家一起喷!一、程序员应该打好基础1.

2017-10-31 13:16:58

HTTPFS 安装步骤及验证

昨天安装hdfshttpfs,遇到了几个问题,总是访问不成功,但在网上也查不到答案,今天总结一下:一、httpfs是什么?参考:http://debugo.com/hdfs-httpfs/官网:http://hadoop.apache.org/docs/r2.5.2/hadoop-hdfs-httpfs/ServerSetup.html1、httpfs是通过http协议来访问hdfs,自带to

2017-10-27 18:16:59

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。