- 博客(24)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 scala项目中使用log4j2建立日志系统
一、 关于Log4J2015年5月，Apache宣布Log4J 1.x 停止更新。最新版为1.2.17。如今，Log4J 2.x已更新至2.7。官方网址：http://logging.apache.org/log4j/2.x/二、 Log4J能做什么？1. 将信息送到控制台，文件，GUI组件等。2. 控制每条信息的输出格式。3. 将信息分类，定义信息级别，细致地控制日...
2018-05-17 15:49:11
6853
1
原创 linux oracle多实例开机自动启动
修改/etc/oratab文件，将需要启动的实例名称后面的N修改为Y,如果要全部都启动，则使用:g/N/s//Y/g将全部N修改为Y然后编写个shell脚本cd /etc/init.dvi oraclestart#!/bin/bash# chkconfig: 35 95 1# description: script to start/stop oracle serverd case "$1...
2018-03-22 09:49:49
1679
原创 java抽象工厂摸式个人理解
抽象工厂模式感觉就像婚介所一样。首先：需要组合成一对需要找婚介所。其次：婚介所需要有两种功能，找到男人和女人。再次：男人可以有多个，女人也可以有多个，每个的属性不一样。而后引入要组合成一对则引入了婚介所这个对象，这个对象返回了一个男人对象，一个女人对象，任何不同的属性。结构是 婚介所 找男人 找女人 男人类 女人类男人 ...
2018-03-16 22:35:36
366
原创 scala学习笔记
scala读取文件使用Source，需要先导入包 import Scala.io.Sourceeg:Source.fromFile("路径");这样就读取了文件到流中，使用getLines来获取文件内容scala定义变量和java的不同在于scala定义如下：val arrays=Array("aa","bb","cc");java 定义如下String arrays[]=new Sring[10...
2018-03-13 07:24:38
173
原创 redis学习笔记
redis安装从阿里云上下载安装文件wget http://labfile.oss.aliyuncs.com/files0422/redis-2.8.9.tar.gz下载之后解压文件tar -zxvf redis-2.8.9.tar.gzcd redis-2.8.9 makemake test然后 lscd srcls拷贝可执行文件redis-server 到/usr/local/bin目录拷贝可...
2018-03-11 10:45:54
203
原创 linux vim命令记录
在linux中使用vim 文件名编辑某个文件或者新建文件内容，保存。使用 gg跳到文件内容开头使用G跳到文件内容结尾使用 /查找文字 进行查找内容 找到第一个之后按 n 到下一个查找到的内容替换:s/源字符/新字符/ #替换当前行第一个 源字符为 新字符 :s/源字符/新字符/g #替换当前行所有 源字符为 新字符 :n,$s/源字符/新字符/ #替换第 n 行开...
2018-03-10 08:56:17
565
原创 weblogic启动问题
今天部署weblogic 11g，部署完成之后启动weblogic 在对应的domains/对应的域名/下面的startWeblogic.sh 我启动的时候使用 sh startWeblogic.sh & 来启动，结果出现了错误，一直启动不了，而且对应的weblogic进程使用 kill -9 进程号都杀不掉。 后来发现问题就是启动脚本出错，因为使用sh startWeblo...
2018-03-08 22:11:18
1691
原创 spark-submit 提示错误java.lang.IllegalArgumentException: System memory 468189184 must be at least 4.7185
在运行spark-submit时会报错，是因为内存不足导致的，但是配置了driver-memory和executor-memory时都不行，报错：ERROR SparkContext: Error initializing SparkContext.java.lang.IllegalArgumentException: System memory 468189184 must be at leas...
2018-03-07 21:43:33
2286
原创 spark-submit 报错 Initial job has not accepted any resources
错误原因是内存缺少资源如果是master使用yarn-client模式则会读取conf/spark-env.sh中的配置。如果是master使用yarn-cluster模式则会读取conf/spark-default.conf中的配置。我的虚拟机内存只有1g，所以spark-env.sh配置export SPARK_WORKER_MEMORY=800m 但是在我执行spark-submit的时候...
2018-03-07 21:41:41
543
原创 在写spark-streaming + kafka 实现项目问题
在ide的本地开发都是好的，但是使用spark-submit提交到集群时出现了问题。后面发现在开发环境中使用了maven来构建项目，所以配置的spark版本是2.1.0，scala版本是2.11.11，hadoop是2.7.2，kafka是2.1版本的，本地调试时能正常消费kafka生成的数据进行计算。 但是使用spark-submit提交到搭建的集群环境时出现了问题，先是出现了classN...
2018-03-07 21:37:43
424
原创 hbase Caused by: java.lang.ClassNotFoundException: com.google.common.util.concurrent.ThreadFactoryBu
今天启动hbase报错，停止hbase没有问题，但是启动的时候一直报错，以为zookeper挂了，结果发觉正常也没有其他错误就一个错误：java.lang.RuntimeException: Failed construction of Master: class org.apache.hadoop.hbase.master.HMasterat org.apache.hadoop.hbas
2016-11-22 22:55:26
11446
2
转载 转Oracle Cursor用法总结
cursor分为三种，一是直接声明为cursor变量，二是首先声明类型再声明变量，三是声明为sys_refcursor。（1）直接声明declare cursor emp_cur is select * from emp; emp_record emp%rowtype;begin open emp_cur; loop fetch emp_cur
2016-10-20 20:47:38
4037
转载 dorado 高效遍历Dataset
当使用到了marmotUpdateCommand来计算绑定的dataset中一共修改了多少条记录时，而这个dataset中的记录是通过其他控件的操作赋值的，这时其实已经修改了dataset的记录，但是如果修改的是多条记录的话，需要使用的dataset遍历方式需要是如下的方法一，方法一在遍历的时候移动了当前记录，而方法二没有。2010-10-20>如何高效遍历Dataset遍历一
2012-07-02 15:00:36
3381
转载 Dbutils 详解
Common Dbutils是操作数据库的组件，对传统操作数据库的类进行二次封装，可以把结果集转化成List。DBUtils包括3个包：org.apache.commons.dbutils org.apache.commons.dbutils.handlers org.apache.commons.dbutils.wrappersDBUtils封装了对JDBC的操作，简化了
2012-02-06 17:43:39
350
转载 获取 Proxool 连接池 连接数量
SnapshotIF snapshot = ProxoolFacade.getSnapshot("alias",true);int curActiveCount= snapshot.getActiveConnectionCount();// 获得活动连接数int availableCount= snapshot.getAvailableConnectionCount();//
2012-02-06 17:42:17
1193
原创 i=i++的迷惑
学习过一门计算机语言的人一定知道j=i＋＋的运算结果，整个表达式的值为i，而i的值变为i+1；那么i=i＋＋又是一个什么情况呢？下面分别用java 和 c 两种语言来做个测试：JAVA:public class test{ public static void main(String args[]){ inti,j; i=0; for(j=0;j{
2012-01-06 10:14:43
588
原创 使用java基本语法实现的小程序(从1000年1月1日到9999年12月31日所有的对称日)
前面一篇博文虽然写的也对，但是逻辑有点问题，逻辑不是很清楚，所以又写了一份，更改了下逻辑，做一点小记。 public class CopyOfCompare{ public static void main(String[] args) { CopyOfCompare cm = new CopyOfCompare(); int i;/
2011-12-10 20:36:20
1585
1
原创 写了个小程序，计算所有的对称日，如20111102日这种类型的。
public class CopyOfCompare{ public static void main(String[] args) { CopyOfCompare cm = new CopyOfCompare(); int i;//年份 int j = 0;//月份 int k;//日
2011-12-10 00:46:04
508
原创 JDBC数据库连接池配置
dbcp配置中文版本，翻译自apache 官方文档，原文请见http://commons.apache.org/dbcp/configuration.html。参数 描述 username 传递给JDBC驱动的用于建立连接的用户名 password 传递给JDBC驱动的用于建立连接的密码 url 传递给JDBC驱动的用于建立连接的URL driverClassName 使用
2011-11-29 10:28:05
709
转载 SVN switch 用法详解
一直知道SVN有个switch命令，但是对它的介绍教程却很少，大多是生硬的svn帮助文档里的文字，从而一直不怎么会用。今天看了这篇文章，突觉豁然开朗，整理下来以备查阅。使用SVN，自然是需要与别人合作开发才能体现出作用。两个人如果都在trunk上工作，那么每次提交时都要保证代码的正确性，否则自己提交一个bug百出的版本，对方一更新就挂了，所以提交时都要很谨慎。但我觉得应该有人会像我一样有这样的
2011-11-23 10:10:14
622
原创 Struts2 action之间传参
方法一：使用result type="redirect" 配置如下所示： "redirect" >/action2.action?user.id=${user.id}&user.name=${user.name}.... 方法二：使用result type="chain" chain会把前一个Action里的所有属性值带到下一个Action中来。logi
2011-11-22 17:16:39
1099
原创 ORACLE客户端的字符编码设置
今天在利用PL/SQL DEVELOPER 往oracle中导入日文数据时，总是出现乱码。我想肯定是客户端和服务端的字符编码设置不一致导致的。上网google得知oralce字符编码设置和查询的一些方法，记录如下： 1. NLS_LANG 参数组成 NLS_LANG参数由以下部分组成: NLS_LANG=_. NLS_LANG各部分含义如下: LANGUAGE指
2011-11-18 15:44:48
2019
转载 Action 跟 Actionsupport 的区别
Action 跟 Actionsupport 的区别当我们在写action的时候,可以实现Action接口,也可以继承Actionsupport这个类.到底这两个有什么区别呢?Action接口有:public static final java.lang.String SUCCESS = "success";public static final java.lang.Strin
2011-11-11 14:28:20
857
原创 Struts2 Action中得到request对象的几种方法.
Struts2 的把request对象封装了，设置request对象保存session到页面上获取时出错，要实现requst.getSession.setAttribute(String,Object)方法就必须重写request第一种：在Action中使用ActionContext类和ServletActionContext类。 例如：在Action中的任一个方法中：
2011-11-11 14:17:41
1051
空空如也
急求使用sparkGraphx实现相关联元素合并。
2019-01-17
请问各位大神spark sql中如果要实现 update操作该如何做？
2017-03-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人