自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(10)
  • 资源 (3)
  • 收藏
  • 关注

原创 浅谈Mongodb性能优化

项目中使用到了mongdb,在小数据量时,和关系型数据库一样,看不出任何问题。当数据的操作变的频繁,如对10万级的数据表连续进行查询操作,mongdb会变的非常缓慢。到底是什么原因呢?这是spring版本的mongdb操作,spring的MongoTemplate只是对源生方法的一些封装,如果spring环境下有这些问题,直接使用源生方法进行的数据操作也会产生同样的问题。下

2016-04-25 16:15:54 4261

原创 hadoop2解决 NameNode 单点故障问题的 高可用集群配置

以前用hadoop2.2.0只搭建了hadoop的高可用,但在hadoop2.2.0中始终没有完成YARN HA的搭建,直接下载了hadoop最新稳定版本2.6.0完成了YARN HA及HADOOP HA的搭建流程,没有仔细看hadoop的官方文档,貌似hadoop2.2.0不支持YARN HA,如果说错了谢谢指正呀,下面总结一下我的搭建流程:首先完成虚拟机的搭建:

2016-01-13 14:53:57 5378 2

原创 windwos7+Eclipse+hadoop2.4.1开发等一系列问题的解决

一、代码如下:import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import o

2015-10-23 16:49:18 779

转载 Java 线程池学习

原文链接:http://www.cnblogs.com/jersey/archive/2011/03/30/2000231.htmlReference: 《创建Java线程池》[1],《Java线程:新特征-线程池》[2], 《Java线程池学习》[3],《线程池ThreadPoolExecutor使用简介》[4],《Java5中的线程池实例讲解》[5],《ThreadPoolExecutor

2015-10-19 09:50:12 413

转载 Hbase shell命令学习

进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)> whoami表的管

2015-10-19 09:30:59 371

原创 MySQL主从复制几个重要的参数

自己搞主从复制也有一段时间,成功配置一个主从复制的架构出来是很简单,三五个操作步骤就能完成,但是想要提一个高可用的主从复制数据库又下几个参数是必不可少的(1)  log-slave-updates  log-slave-updates这个参数用来配置从服务器的更新是否写入二进制日志,这个选项默认是不打开的,但是,如果这个从服务器B是服务器A的从服务器,同时还作为服务器C的主服务器,

2015-08-25 09:21:47 492

转载 Mysql 官方Memcached 插件初步试用感受

话说,4月11号,Mysql 官方发布了一个Memcached 的插件。以前,曾经也有MemcacheDB 做过相同的事情,不过似乎它现在没啥声音了,而非官方、非Memcached 协议的HandlerSocket 最近反响挺强烈的。这些都有一个共同点:基于Mysql 的storage engine,然后在其上构建一层自有API。 一、安装 安装这个挺简单的,因为此插件需要My

2015-08-20 08:41:30 422

转载 MySQL性能优化的21个最佳实践

今天,数据库的操作越来越成为整个应用的性能瓶颈了,这点对于Web应用尤其明显。关于数据库的性能,这并不只是DBA才需要担心的事,而这更是我们程序员需要去关注的事情。当我们去设计数据库表结构,对操作数据库时(尤其是查表时的SQL语句),我们都需要注意数据操作的性能。这里,我们不会讲过多的SQL语句的优化,而只是针对MySQL这一Web应用最多的数据库。希望下面的这些优化技巧对你有用。

2015-08-14 13:21:28 350

原创 Apache2.2+Tomcat7.0集群 完美攻略

Apache2.2+Tomcat7.0集群完美攻略 一、软件准备Apache 2.2  tomcat-7.0.42mod_jk-1.2.31-httpd-2.2.3.so 二、Apache安装1、先准备好软件: 2、安装Apache,配置成功一个普通网站服务器3、运行下载好的“Apache2.2.msi”,出现如下界面:4、 出现Apache

2015-08-13 10:41:47 805

原创 Mysqldump参数大全

参数参数说明--all-databases , -A导出全部数据库。mysqldump -uroot -p --all-databases--all-tablespaces , -Y导出全部表空间。mysqldump -uroot -p --all-databases --all-tablespaces--no-tablespaces

2015-08-13 10:06:46 378

hadoop 64位本地库

我们从官网上下载的hadoop的本地库是在32位系统中编译。所以,如果你的linux系统是64位的那么运行的时候可能会出现一些错误导致namenode上hdfs不能启动,这时需要去下载64位本地库来进行替换。

2016-01-13

XStream组件进行Object与XML互转用法

XStream组件进行Object与XML互转用法 1.所需求jar包: xstream-1.3.1.jar 2.如果仅进行OBJECT与XML之间互转只需要这一个jar 包及XStream这一个类就可又了 用法说明: 1.OBJECT 转XML //第一步:准备好要进行XML转换的OBJECT对象,并且类里的属性都要有get与Set方法; 如下: Address address1 = new Address("郑州市经三路", "450001"); Address address2 = new Address("西安市雁塔路", "710002"); List addList = new ArrayList(); addList.add(address1); addList.add(address2); Profile profile = new Profile("软件工程师", "13512129933", "备注说明"); Person person = new Person("熔岩", "27", profile, addList); //第二步:创建一个XStream对象 XStream xStream = new XStream(); //第三步:进行转换 String xml = xStream. toXML(person); System.out.println(xml); //输出如下: //你会发明输出的XML节点的类名是类的全路径名 //如果要解决这一问题就需要进行转换前的装配XStream为此提供一个配置类名的方法 alias(“nodeName”,”class”); 其中nodeName 即XML的节点名称 其中class 即要映射到XML节点上的类 如: xStream.alias("PERSON", Person.class); xStream.alias("PROFILE", Profile.class); xStream.alias("ADDRESS", Address.class); //配置完成输出结果 可以看出person类的name和age属性映射出的节点名称与属性名称相同,那么XStream也支持对类属性的映射配置方法 : aliasField(“节点名称”,”类名称”,”属性名”) 如下: xStream.aliasField("PROFILE", Person.class, "profile"); xStream.aliasField("ADDLIST", Person.class, "addlist"); xStream.aliasField("Add", Address.class, "add"); xStream.aliasField("Job", Profile.class, "job"); 注:如果没有特殊要求最好不要配置属性节点的映射,否则如果再将生成的XML转换成OBJECT时将会非常麻烦。 //如果我们想实现又下的需求。 //XStream 还提供了装配节点属性的方法, useAttributeFor(“类”, “属性名”); 如下: xStream.useAttributeFor(Person.class,”name”); xStream.useAttributeFor(Person.class,”age”); 2.XML转OBJECT XML 转OBJECT 只要调用xStream.fromXML(xml)方法,但同样要进行相关属性及类的映射。

2015-04-30

塔建memcache(JAVA+WIN+MYSQL)服务器

1 MySql安装 绿色版 MySQL 安装配置: 本人下载的MySQL是5.1版的 下载地址: http://dev.mysql.com/downloads/mysql/ 下载 免安装包(mysql-noinstall-5.1.45-win32.zip) 解压该压缩文件到E:\mysql-5.1.39-win32 1.在系统环境变量path中添加 E:\mysql-5.1.39-win32\bin (注:这是本人的MySQL安装路径) 2.编辑mysql的运行配置文件my.ini,如果没有,可以拿 my-medium.ini复制然后更名成 my.ini 分别copy一份到E:\mysql-5.1.39-win32和 C:\WINDOWS 中 编辑该文件my.ini文件 1. [mysqld] 设置绿色版MySQL 安装目录 1. basedir=E:/mysql-5.1.39-win32/ 设置mysql数据库的数据的存放目录,必须是data,或者是\\xxx\data 1. datadir=E:/mysql-5.1.39-win32/data 设置mysql服务器的字符集 1. default-character-set=utf8 2. [client] 设置mysql客户端的字符集 1. default-character-set=gbk 注:分割线中的配置为可选,可以在建立数据库的时候自行设置。 3.安装mysql服务 从MS-DOS窗口进入目录E:\myserver\mysql-5.0.37-win32\bin,运行如下 命令: 1. mysqld --install mysql5 --defaults-file=C:\WINDOWS\my.ini 其中,mysql5 只是该服务的名字,可以自己另外设置,比如改为 xiaomai 即: 1. mysqld --install xiaomai --defaults-file=C:\WINDOWS\my.ini 4.启动mysql数据库 还在上面的命令窗口里面,输入命 令:net start mysql5 这样就启动了mysql 服务。 5.停止服务 执行 net stop mysql5 即可 6.以上5步绿色版MySQL 安装完毕之后,MySQL默认的root用 户密码为空的。 可以设置一下root的密码: win+R -> 输入cmd->打开windows命令控制台,随意定位文件目录,如下 1. E:\erlangPro\mysqlTest\src>mysql -u root -p 2. Enter password: 3. Welcome to the MySQL monitor. Commands end with ; or \g. 4. Your MySQL connection id is 8 5. Server version: 5.1.39-community MySQL Community Server (GPL) 6. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. 7. mysql> use mysql 8. Database changed 9. mysql> update user set passwordpassword=password('admin') where user='root'; 10. Query OK, 2 rows affected (0.03 sec) 11. Rows matched: 2 Changed: 2 Warnings: 0 12. mysql> 2 Memcached安装 Windows下的Memcache安装: 1. 下载memcache(Memcached_1.2.5.zip)的windows稳定版,解压放某个盘下面,比如在c:\memcached , 地址:http://code.google.com/p/memcached/downloads/list。 不能下 可以到csdn上去下。 2. 在终端(也即cmd命令界面)下输入 ‘c:\memcached\memcached.exe -d install’ 安装 3. 再输入: ‘c:\memcached\memcached.exe -d start’ 启动。NOTE: 以后memcached将作为windows的一个服务每次开机时自动启动。这样服务器端已经安装完毕了。 3 Java调用memcached import java.util.Date; import com.danga.MemCached.*; public class BasicTest { private static final String POOL_NAME="test_pool"; protected static MemCachedClient mcc; static { //设置缓存服务器列表,当使用分布式缓存的时,可以指定多个缓存服务器 String[] servers = { "127.0.0.1:11211" }; //与服务器列表中对应的各服务器的权重 Integer[] weights = {3}; //创建Socked连接池 SockIOPool pool = SockIOPool.getInstance(POOL_NAME); //向连接池设定服务器和权重 pool.setServers( servers ); pool.setWeights( weights ); //连接池参数 pool.setInitConn( 5 ); pool.setMinConn( 5 ); pool.setMaxConn( 250 ); pool.setMaxIdle( 1000 * 60 * 60 * 6 ); // set the sleep for the maint thread // it will wake up every x seconds and // maintain the pool size pool.setMaintSleep( 30 ); // set some TCP settings // disable nagle // set the read timeout to 3 secs // and don't set a connect timeout pool.setNagle( false ); pool.setSocketTO( 3000 ); pool.setSocketConnectTO( 0 ); // initialize the connection pool pool.initialize(); // lets set some compression on for the client // compress anything larger than 64k mcc=new MemCachedClient(POOL_NAME); mcc.setCompressEnable( true ); mcc.setCompressThreshold( 64 * 1024 ); } public static void main(String[] args) throws Exception{ mcc.set("msg","Hello,world!",new Date(System.currentTimeMillis()+1300)); Thread.sleep(500); System.out.println(mcc.get("msg")); } } 4 Memcached连Mysql Mysql 触发器实现。 5 分布式算法: 主要是根据自身业务以及架构,确定数据读取流程。

2015-04-30

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除