stevenprime-CSDN博客

原创 epoll原理

深入浅出的epoll原理https://zhuanlan.zhihu.com/p/63179839https://zhuanlan.zhihu.com/p/64138532https://zhuanlan.zhihu.com/p/647465091.select首先创建需要监听的socket数组然后调用select方法，得到有数组的socket数量（如果一个都没有，会...

2019-05-15 20:19:05 200

原创 mq消息处理关键技术

1.幂等性（1）消息发送和落地a。全局id，mq server根据全局id决定是否落地（2）消息接受和处理a.操作带id（全局id或者业务id），消费者维护一张消费表，如果消费表中存在该记录，则不进行操作。b.版本控制，操作带版本，如果符合版本，才进行操作，类似cas消息队列讲的比较透彻的文章https://juejin.im/entry/578b3fe98ac2...

2019-05-14 10:03:16 435

原创 netbeans phpstorm 通过 xampp xdebug 开启单步调试

1.下载xampp，编辑php.ini打开xdebugzend_extension = "D:\xampp\php\ext\php_xdebug.dll"xdebug.remote_enable = 1xdebug.remote_handler = "dbgp"xdebug.remote_host = "localhost"xdebug.remote_mode = "r

2014-07-20 09:33:04 2415

原创 java高级技巧

1.JProfiler2.jvm

2014-05-05 16:44:13 1153

原创 mysql安装完无法登陆

自己在N台服务器上安装过mysql了但是今天安装了一台mysql安装后发现无法登陆已经根据安装脚本执行了初始化db的语句了scripts/mysql_install_db --user=mysql登陆提示root@hout:~# mysql -urootERROR 2002 (HY000): Can't connect to local MySQL server t

2012-12-11 10:24:08 1509 1

原创 nginx location 执行顺序

locationSyntax:location [ = | ~ | ~* | ^~ ] uri { ... }location { } @ name { ... }Default: Context:serverlocationReference:location

2012-11-29 18:46:50 3709

原创互联网永远有机会

刚才在北邮人论坛上看关于美团前景的分析的时候有人提到马占凯搜索了一下马占凯,原来他是搜狗输入法之父他在总结搜狗输入法的时候,写了这么一段话在gmail之前大家以为email就是这样了，在搜狗输入法之前大家以为输入法就是这样了，中国互联网领域很多都没有开始商业化运作，机会还很多看了很有感触,互联网的机会的确还会有很多.

2012-11-25 23:43:55 991 1

原创 mysql url较长情况下的索引优化

今天dba告诉我的，貌似是个很好的方法

2012-10-10 14:23:16 1531

原创 limit 覆盖索引优化

公司dba帮忙优化数据库的时候给我看的资料

2012-09-29 11:01:14 749

转载使用nginx后如何在web应用中获取用户ip及原理解释

http://gong1208.iteye.com/blog/1559835 使用nginx后如何在web应用中获取用户ip及原理解释 -------gongyong 问题背景：在实际

2012-08-28 23:15:48 2373

原创移动互联网数据分析移动客户端流量统计移动客户端数据统计(三)

原创文章,转载请注明原地址http://blog.csdn.net/stevenprime 三.数据的分析数据的分析其实分为实时与非实时,非实时的话比较好办,就是将收集收集到的日志用程序来跑就行,java,python,hadoop都可以. 首先讲讲非实时数据分析(离线数据分析)数据分析的方法其实看数据量的大小,现在很火的是hadoop分布式,但是如果数据量太小,其

2012-08-14 23:18:02 3704

原创移动互联网数据分析移动客户端流量统计移动客户端数据统计(二)

原创文章,转载请注明原地址http://blog.csdn.net/stevenprime 二.数据的收集移动客户端收集数据后,一般通过http协议或者其它方式上传到服务器.服务器将客户端传过来的数据进行持久化.刚开始的时候,我的做法比较山寨,起了一个web应用,写了一个servlet,从http请求中将数据提取出来,直接插入数据库.这样的问题很明显,如果并发稍高,数据

2012-08-14 22:53:09 3053

原创移动互联网数据分析移动客户端流量统计移动客户端数据统计(一)

移动互联网数据分析移动客户端流量统计移动客户端数据统计原创文章,转载请注明原地址http://blog.csdn.net/stevenprime在这个公司两年多了,期间做了移动客户端数据分析,视频播放器数据分析,短地址数据分析等数据分析方面的工作,公司提供的平台还算大,每日分析的数据好几千万,期间积累了一些经验和教训,和大家一起分享一下.欢迎批评指正.这里主要讲的是移动

2012-08-14 22:23:10 4524

原创网易内部邮箱coremail smtp pop设置

使用foxmail最新版还是不能正确识别网易邮箱的smtp 和 pop服务器手动都修改为corp.netease.com就好了

2012-07-30 22:56:20 34232 1

转载 nginx basic auth 登陆验证模块

#1. 新建一个pw.pl文件专门用来生成密码#!/usr/bin/perluse strict;my $pw=$ARGV[0];print crypt($pw,$pw)."\n";#2. 修改Nginx配置文件，添加，用户名和密码存放的位置auth_basic "nginx status";auth_basic_user_file /usr/local/we

2012-07-23 19:40:34 6073

转载 openresty 编译出错

debian下运行openresty的编译命令出错luaconf.h:275: fatal error: readline/readline.h: 没有那个文件或目录则需要安装readline库解决办法:apt-get install libreadline5-dev然后即可完成编译

2012-07-02 13:48:08 1351

原创 debian中某用户的环境变量代替全体环境变量的方法

如在/etc/profile中增加的环境变量是全体的.bash_profile.bashrc这两个文件在当前用户的文件夹下,是针对当前用户的.修改这两个文件即可让当前用户的环境变量代替全体的

2012-06-20 15:25:45 1314

转载 linux debian 下安装gcc及nginx

默认的debian 6 下载nginx后无法安装提示找不到编译器gcc修改vi /etc/apt/sources.list里面的debian源全部删掉填入163的debian源deb http://mirrors.163.com/debian/ squeeze main non-free contribdeb http://mirrors.163.com

2012-06-20 13:19:26 10399

转载设置SVN忽略文件和目录（文件夹）

在多数项目中你总会有文件和目录不需要进行版本控制。这可能包括一些由编译器生成的文件，*.obj,*.lst，或许是一个用于存放可执行程序的输出文件夹。只要你提交修改，TortoiseSVN 就会在提交对话框的文件列表中显示出未版本控制文件。当然你可以关闭这个显示，不过你可能会忘记添加新的源文件。最好的避免类似问题的方法是添加参考文件到该项目的忽略列表。这样他们就永远不会出现在提交对话框中，而真

2012-06-19 13:32:24 1641

原创 java 环境变量设置 windows下

新建 JAVA_HOME 值D:\Java\jdk1.6.0_32修改 Path 值在最后添加 %JAVA_HOME%\bin新建 CLASSPATH 值为.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar

2012-06-19 13:14:35 668

转载解决Eclipse中SVN版本比较中文乱码问题

如果是UTF-8编码的文件，历史版本比较时中文会显示为乱码，解决方法见下图：

2012-06-15 14:41:35 22633 3

原创 eclipse 常用插件

svnhttp://subclipse.tigris.org/update_1.6.x/pydevhttp://pydev.org/updates

2012-06-13 18:25:56 946

转载 rsync 同步文件包括目录

rsync -Rr 文件夹名 ip::目标模块选项说明 -v, --verbose 详细模式输出-q, --quiet 精简输出模式-c, --checksum 打开校验开关，强制对文件传输进行校验-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD-r, --recursive 对子目录以递归模式处理-R, -

2012-05-25 11:30:30 21046

转载 Python安装MySQLDb模块的相关步骤

python 安装./configure --prefix=/home/python27makemake installPython安装MySQLDb模块的种种问题及解决 1，看看有没有安装进入python的命令行，输入 import MySQLdb 如果没有报错，证明此模块已经安装，可以跳过以下步骤。2，安装setuptools h

2012-05-22 10:34:37 785

转载 mysqldump 导出的时候忽略某些表|排除某些表

ignore-table使用这个命令

2012-05-10 18:30:37 3869

原创 hadoop eclipse plugin 插件

使用apache 官方下载的hadoop 安装包后在windows上使用eclipse连接hadoop时报错org/codehaus/jackson/map/jsonmappingexception经过查询,是由于hadoop的eclipse 插件里面缺少了包按照这篇文章的说明修改包后重新运行成功http://hi.baidu.com/wangyucao1989/blo

2012-05-06 14:10:53 1269

原创 hadoop安装集群完毕

今天经过一天的努力终于将hadoop集群搭建完毕一共三台机器一台namenode 两台datanode其中一台datanode 是jobtracker和tasktracker 另一台datanode是tasktracker其中参考了文章 http://blog.csdn.net/lee_leefox/article/details/7071692和hadoop官方文档和同事搭建

2012-05-05 23:50:18 433

原创 linux下修改hostname

修改linux hostname以使用hadoop1.修改/etc/hostnamevi /etc/hostname比如改为hadoop1保存2.修改/etc/hosts修改为本机内网ip hadoop13.保存后输入命令 hostname hadoop1退出重新登录,即可看到hostname改了

2012-05-04 22:07:51 449

原创 linux常用命令

1.查找曾经使用过得命令ctrl + r 然后输入命令

2012-05-04 13:09:14 428

转载 linux新建用户在命令行下使用tag没有提示解决办法

我新建了一个用户，默认提示符是$，而且没用前面的提示符，比如：root@ubuntu-server#按tab键没有命令自动补全，按方向键上键，也没有历史命令。在使用adduser/useradd新建用户时通过--shell参数指定使用bash，默认的/bin/sh是指向dash的对于已创建用户，自己修改/etc/passwd，将/bin/sh改成/bin/bash再或者

2012-04-02 22:34:46 1869 1

转载 ubuntu下vi有问题解决办法

最近安装了Ubuntu 10.10 ,使用vi命令时，不能正常编辑文件，使用方向键时老是出现很多字母在网上找了个方法问题已经解决分享一下：只要依次执行以下两个命令即可完美解决Ubuntu下vi编辑器方向键变字母的问题。　　一.执行命令 sudo apt-get remove vim-common　　二.执行命令 sudo apt-get install vim

2012-04-02 18:56:26 967

原创 linux 下增加语言的方法

比如linux系统下,如果原来的语言是 zh_CN.gbk如果代码中文件的编码为UTF-8 并且含有中文那么在ant编译文件的时候将会报错因此需要增加 zh_CN.UTF-8的编码步骤为echo >> /etc/locale.gen "zh_CN.UTF-8 UTF-8"然后locale-gen退出后重新登录就可以了

2012-03-19 13:00:49 627

原创 mysql 删除分区表

ALTER TABLE employees DROP PARTITION p0

2012-03-05 21:28:04 5604 1

转载 vi快捷键必知必会

文本编辑器是所有计算机系统中最常用的一种工具。UNIX下的编辑器有ex,sed和vi等，其中，使用最为广泛的是vi，而vi命令繁多，论坛里好像这方面的总结不多，以下稍做总结，以资共享！渴望更正和补充！进入vi的命令vi filename :打开或新建文件，并将光标置于第一行首vi +n filename ：打开文件，并将光标置于第n行首vi + filename ：打开文件，并

2012-02-06 15:15:53 616

原创 nginx开发

( 2012-02-03 09:30:56 )Yichun: 因为许多公司在使用了我们的东西之后，并没有告诉我们，所以我没有应用的完整列表，只列举我所知道的：淘宝的“淘宝灰度发布”、“淘宝弹性私有云平台”、“淘宝 P4P 报表”、“淘宝量子统计”都使用了 ngx_openresty去哪儿网的机票等前端业务接口大量使用了 ngx_openresty新浪的一些产品（新浪微盘？

2012-02-03 09:47:30 999

原创 mysql日志复制方式,删除方式

binlog_format=’STATEMENT’#binlog_format=’ROW’#binlog_format=’MIXED’mysql的日志有时候太大了使用这个语句删除PURGE MASTER LOGS BEFORE 'XXXX-XX-XX'expire_logs_day=3 在mysqld下这样设置可以让日志自动删除

2012-01-09 14:44:30 438

原创 activemq安全设置设置admin的用户名和密码

ActiveMQ使用的是jetty服务器, 打开conf/jetty.xml文件，找到将property name为authenticate的属性value="false" 改为"true"，控制台的登录用户名密码保存在conf/jetty-realm.properties文件中,内容如下:

2011-12-21 14:25:00 64854 2

原创 hadoop用户使用svn时无法保存密钥的解决办法

groupadd hadoopuseradd -g hadoop hadoopmkdir /home/hadoopchown -R hadoop:hadoop /home/hadoopusermod -d /home/hadoop hadoop然后就行了

2011-12-14 17:20:02 1385

转载跳过mysql主从同步错误

stop slave;set global sql_slave_skip_counter=1;start slave;

2011-12-14 09:43:46 1086

转载 Android接收服务器参数中文乱码问题

最近在开发Android与服务器交互的一个程序,在接收服务器编码时产生乱码,用下面的方法解决,是转载自别人的.前几天解决了PHP与Android中DES加密一致性的问题，昨天遇到了访问Web中文乱码的问题。我在服务端编写了一个PHP程序，Android通过http访问。我的网站编码是UTF-8的，而由于Android的编码是iso-8859-1的，所以导致了中文乱码的问题。知道了原因，

2011-12-06 15:40:56 4711 1