- 博客(46)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 数据库表快速更新
一，背景。1，在线上版本开发的时候，会经常遇到一些对原来的表字段进行拆分，将表格的字段复制到另一个表。主要介绍几种数据库字段更新的方式。二， 更新方式。1，使用java代码进行更新，不过会经常需要读取数据库，更新数据的值。适合处理很复杂的逻辑，但是更新时间会长点，有可能影响到线上的服务。2，使用mysql语句进行更新，其实基本上都可以解决数据库更新的问题。处理的速度也会快很多。三，mysq
2017-10-22 22:34:50
1970
原创 Linux shell脚本编程-将一行中的某个部分去重
一，背景。 今天遇到了一个使用场景，获取文件中每一行的某个属性数据，然后将该属性数据去重。二，shell脚本编写。bash 1 #!/bin/bash 2 for line in `cat test1|awk -F "|" '{print $4}'|awk -F "[" '{print $2}'|awk -F "\]" '{print $1}'` 3 do 4
2017-10-09 23:25:10
2298
1
原创 数据库快速获取数据库表字段名
1， select COLUMN_NAME from information_schema.COLUMNS where table_name = ‘tmp’;
2017-09-08 11:49:40
989
原创 nginx学习
背景：今天在搞nginx配置的问题，但是发现nginx的access.log日志没有记录下自己想要的内容。记录不到经过nginx的配置后会去到哪个ip一， log_format查看对比，发现自己少了$upstream_addr的内容。 http://www.cnblogs.com/LoveJulin/p/5082363.html二，http 下的includ1，有些时候需要配多个配置文件，可以在
2017-08-18 19:46:39
266
原创 mac下常用的命令
一，mac下的命令模式1，在输入命令的时候，删除指令的后面部分： control + k。2，在输入命令的时候，删除指令的前面部分： control + u。3，进入命令搜索模式：control+r .然后可以输入相应搜索内容，继续按control+r就可以继续搜索。
2017-08-18 19:21:11
569
原创 futureTask和线程池
import java.util.ArrayList; import java.util.List; import java.util.Random; import java.util.concurrent.*;/** * Created by taoshao on 17/8/16. */ public class ThreadTest {public static void mai
2017-08-16 22:43:43
434
原创 JAVA修改运行内存
-server -Xms4g -Xmx4g -Xmn2g -Xss1024k -XX:PermSize=128m -XX:MaxPermSize=512m -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=60 -XX:+UseCMSInitiatingOccupancyOnly -XX:AutoBoxCacheMax=20000
2017-07-03 19:38:34
4435
原创 mysql数据库导入导出
一，CSV格式采用csv格式导入导出mysql中的数据都会非常快，经过测试，通过csv格式导入1566w的数据只需要花了112mins。 * 1，导出csv格式 select * from test_info into outfile ‘/tmp/test.csv’ fields terminated by ‘,’ optionally enclosed by ‘”’ escaped by
2017-06-04 12:45:47
350
原创 mybatis小坑总结
一，批量插入失败。1，在执行批量插入的时候,会出现批量插入失败的情况。 <update id="batchUpdate" parameterType="java.util.List"> <foreach collection="list" item="item" index="index" separator=";"> UPDATE user <s
2017-05-27 14:34:30
283
原创 这些年，踩过的mysql坑。
一,tmpdir空间不足。出现问题: 在修改数据库表格 Incorrect key file for table ‘test.sql’; try to repair it in mysql? 问题解决： 是由于tmpdir的空间不足。 在my.cnf中修改tmpdir的地址，指向一个有足够空间的文件夹。重启服务即可。 相关链接： http://stackoverflow.com/ques
2017-02-24 16:16:28
526
原创 Linux常用命令
一，系统相关1，查看linux的位数。 file /bin/ls /bin/ls: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.24, BuildID[sha1]=0x37cdd635587f519989044055623
2017-01-17 16:07:41
378
原创 mysql分区类型及操作
一，什么是分区？1，通俗点说：分区就是将表格里面的数据横向切分，同一个区的数据会放在一起，然后在查询的时候只查某个或某些区的数据。但是分区对于用户是透明的，因为数据库的分区表还是一张表。这和分表是有区别的，分表是拆分为了几张表，分区还只是一张表。2，mysql数据库中的数据是以文件的形势存在磁盘上的，默认放在/mysql/data下面（可以通过my.cnf中的datadir来查看），一张表主要对
2016-12-25 11:52:49
4168
原创 mysql分区分表对比测试过程
一，故事背景。某一天，几位大哥找小Q说：小Q，最近我们要做数据分区和分表的测试，这个任务就交给你了。小Q内心是紧张的：mysql学习还没开始，分区分表的测试居然交给了我。不过，想着反正也没学过，趁着机会学学看。小Q就答应下来了。开始项目分区分表测试。二，测试阶段。明确了测试任务后，小Q就开始屁颠屁颠地准备测试阶段1，第一阶段。 1）从DAO层的sql语句开始。测试分区和不分区之间的性能区别。比
2016-12-22 20:29:49
3150
原创 Redis数据结构和对象（七）——对象
一，对象。1,Redis的主要数据结构：简单动态字符串（SDS）,双端列表，字典，压缩列表，整数集合，跳跃表等。Redis内包的对象包括以下五种字符串对象，列表对象，哈希对象，集合对象，有序集合对象。这些对象都使用到最少一种的前面介绍的数据结构。2，Redis的对象系统还实现了基于引用计数技术的内存回收机制。3，对象的引用计数还带有对象共享作用。Redis在初始化服务器时就会创建一万个字符串对
2016-11-27 14:49:18
890
原创 Redis数据结构和对象（六）
一，压缩列表。1,用途：列表键和哈希键的底层实现之一。当一个列表键只包含少量列表项，并且列表项要么是小整数值，要么是长度比较短的字符串。2,数据结构。 1）压缩列表的构成。2）压缩列表节点的构成。 a) previous_entry_length 长度可以为1字节或者5字节。前一节点的长度小于254，这个属性的长度1.如果大于等于254,则previous_entry_length属性
2016-11-27 13:37:18
466
原创 Redis数据结构和对象（五）
Redis数据结构和对象（一） Redis数据结构和对象（二） Redis数据结构和对象（三） Redis数据结构和对象（五） Redis数据结构和对象（六） Redis数据结构和对象（七）——对象一，整数集合。1,用途：集合键的底层实现之一。当一个集合中只包含整数值元素时，并且元素数量不多时。2,数据结构。 3，升级。 1）操作。 a) 根据新元素类型，扩展整数集合底层数组的空间
2016-11-27 13:06:22
375
原创 Redis数据结构和对象（三）
一，字典。1,用途：表示数据库，哈希键的底层实现之一。2,数据结构。 1）哈希表结构。 2）哈希表节点结构。 3）字典结构。 4）字典特定类型函数。 3，算法实现。 1）哈希算法：根据键值对的键计算出哈希值和索引值。再根据索引值，将包含新键值对的哈希表节点放到哈希表数组的指定索引上。2）解决键冲突：使用链地址法解决冲突。多个哈希表节点可以用next指针构成一个单向链表。3）rehash。
2016-11-27 12:52:36
585
原创 Redis数据结构和对象（二）
一，链表1,用途：链表键，发布与订阅，慢查询，监视器。2,数据结构。 3，特点： 双端。带有prev和next指针。无环。prev和next指针都指向NULL。带表头指针和表尾指针。带链表长度计时器。访问长度的复杂度为O(1)。多态。链表节点使用void*指针来保存节点值。可以为链表设置不同类型特定函数。
2016-11-27 11:32:16
373
原创 Redis数据结构和对象（一）
一，简单动态字符串(SDS)1,用途：保存数据库中的字符串值，及用作缓冲区（AOF）。2,数据结构。 3，SDS与C字符串的区别。 1）常数复杂度获取字符串长度。SDS会记录自身的长度信息。2）杜绝缓冲区溢出。C字符串不记录自身长度很容易造成缓冲区溢出。3）减少修改字符串时带来的内存重分配次数。 a) c字符串内存重分配。 拼接：拼接前需要内存重分配，扩展底层数组的大小，——如果忘了可
2016-11-27 11:19:20
482
转载 mysql 启动问题总结：the server quit without updating PID file（转）
1 问题 [root@localhost mysql]# /etc/rc.d/init.d/mysql status MySQL is not running, but lock file (/var/lock/subsys/mysql[FAILED] [root@localhost mysql]# /etc/rc.d/init.d/mysql start Starting MySQL…Th
2016-08-14 17:33:59
14901
2
原创 mac下的常用命令
1，查找文件命令。 find / -iname “文件名”链接：http://www.macx.cn/thread-2070979-1-1.html-
2016-07-22 10:57:06
250
原创 mysql错误总结
mysql Access denied for user root@localhost错误解决方法总结 http://www.111cn.net/database/mysql/44142.htm 在这篇博客中有个很重要的地方：需要先关闭mysql服务器。
2016-07-19 13:59:51
253
原创 Telnet连接
Telnet可以直接连接一个服务器。 如： telnet 127.0.0.1 3000.这个是node服务器的ip和端口。然后通过telnet来进行连接。GET / HTTP/1.1再输入两个回车就可以完成请求了。
2016-06-12 11:49:43
579
原创 nodejs中tcp服务器和http服务器实现的异同
一，相同点1，都调用了createServer方法。2，当客户端接入时都会执行一个回调函数。二，不同之处1，回调函数的中对象的类型。net服务器中，是个连接（connect）对象，而在HTTP服务器中，则是请求和响应对象。2，原因： 1，http服务器是更高层的API，提供了控制和HTTP协议相关的一些功能。2，浏览器在访问站点时不会只用一个连接，很多主流的浏览器为了更快的加载网站内容
2016-06-11 15:53:45
3212
原创 nodejs的模块引用
一，模块系统JavaScript原生态是一个全局的世界，所有如setTimeout，document等这样在浏览器中使用的API，都是全局定义的。而Node摒弃了采用定义一堆全局变量的方式，转而引入了一个简单但却强大无比的模块系统，该模块系统有三个核心的全局对象：require，module(模块)和export。二，require1，通过require来引入模块。2，引入的模块可以分为两种：绝
2016-06-10 20:26:20
2612
原创 nodejs特性
1，共享状态的并发。在node中，你需要对回调函数如何修改当前内存中的变量（状态）特别小心，除此之外，你还特别注意对错误的处理是否会潜在地修改这些状态，从而导致了整个进程不可用。因为node采用一个长期运行的进程，如果修改了内存中的变量，下次再发出相同请求的时候将会返回的是修改后的变量。这个和Apache中的不一样，Apache会产生多个进程（每个请求一个进程）。
2016-06-10 17:34:02
1289
转载 js中bind、call、apply函数的用法
最近一直在用 js 写游戏服务器，我也接触 js 时间不长，大学的时候用 js 做过一个 H3C 的 web的项目，然后在腾讯实习的时候用 js 写过一些奇怪的程序，自己也用 js 写过几个的网站。但真正大规模的使用 js 这还是第一次。我也是初生牛犊不怕虎，这次服务器居然抛弃 C++ 和 lua 的正统搭配，而尝试用 nodejs 来写游戏服务器，折腾的自己要死要活的我也是醉了。
2016-06-10 17:11:06
457
原创 git 相应的链接
链接：http://blog.csdn.net/collonn/article/details/39259227 介绍：简单地介绍github和sourceTree相应的使用步骤。 链接：http://my.oschina.net/nyankosama/blog/270546 介绍：git-flow开发流程。 链接：http://www.cnblogs.com/cspku/articles/
2016-05-31 11:17:51
477
转载 Linux 技巧：让进程在后台可靠运行的几种方法
先放链接：http://www.ibm.com/developerworks/cn/linux/l-cn-nohup/迟点补充
2016-05-28 10:08:51
264
原创 mac下mysql workbench导出数据库
每次导出数据库的时候都要找上半天，这次先记录下来。 1，点击要导出最上面导航栏的”Server”,然后选择”Data Export”。 2，选择对应的Schema数据库表格，以及下面是选择把这些sql代码是分为一个个sql文件导出或者直接导出为一个sql文件。然后直接导出就可以了。
2016-05-19 17:16:32
1166
原创 JS回调函数
一，回调函数概念JS API：A callback is a function that is passed as an argument to another function and is executed after its parent function has completed. 把函数当做一个参数传递，能够更加灵活地调用函数。<!DOCTYPE HTML> <html> <hea
2016-05-18 23:46:57
334
原创 nodejs 小工具——supervisor
一，supervisor1，介绍nodejs下supervisor的介绍。 A little supervisor script for nodejs. It runs your program, and watches for code changes, so you can have hot-code reloading-ish behavior, without worrying about
2016-05-16 22:08:21
433
原创 mysql 远程访问不行解决方法,Host '' is not allowed to connect to this MySQL server
这个问题是因为远程主机没有授权登录的问题。网上提供了两种解决方法，我使用了第一种。1。 改表法。可能是你的帐号不允许从远程登陆，只能在localhost。这个时候只要在localhost的那台电脑，登入mysql后，更改 "mysql" 数据库里的 "user" 表里的 "host" 项，从"localhost"改称"%"mysql -u root -pvmwaremy
2016-04-23 11:00:34
2502
转载 [转]从零认识tomcat，构建一机多实例tomcat集群
转自：http://grass51.blog.51cto.com/4356355/11234001、了解tomcatTomcat不是一个完整意义上的Jave EE（j2ee）服务器，因为它没有提供完整的Java EE企业应用平台的API。但是由于Tomcat遵循apache开源协议，并且对当前Java开发框架开源组件Structs、Spring和Hibernate等实现完美
2015-12-30 15:52:16
269
转载 详解Linux下SSH远程文件传输命令scp
一：Linux ssh scp的简介及作用：在日常linux服务器操作中，传输文件是必不可少的操作。以前章郎虫一直用他来翻墙，可以算是偏门，今天介绍SSH的正途啦。。。scp就是secure copy的简写，用于在linux下进行远程拷贝文件的命令,和它类似的命令有cp,不过cp只是在本机进行拷贝不能跨服务器. 有时我们需要获得远程服务器上的某个文件，该服务器既没有配置ftp服务器，也没有
2015-12-30 14:12:14
893
转载 [转]导致java.net.SocketException: Connection reset 的原因
原博客地址：http://blog.sina.com.cn/s/blog_4b6f8d1501017tqa.html第1个异常是java.net.BindException:Address already in use: JVM_Bind。该异常发生在服务器端进行new ServerSocket(port)（port是一个0，65536的整型值）操作时。异常的原因是以为与port一样的一个端口
2015-12-30 10:24:13
6540
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人