sg552-CSDN博客

原创博客搬到了新地址： shensiwei.com / siwei.me

博客地址发生变化，我搭建了自己的博客，这里的文章我会慢慢的转载过去。同时不会再来这里做更新。欢迎大家光临： [url]http://www.shensiwei.com[/url] 或者 [url]http://www.siwei.me[/url]谢谢...

2012-08-28 15:34:54 276

原创转载: nginx 域名跳转一例~~~(rewrite、proxy)

转载的 , [url]http://storysky.blog.51cto.com/628458/486338[/url]前几天搭了一个论坛服务器并放到了公司的局域网里面，论坛用的是9066端口并在路由器上面做了个端口转发，而且把bbs.xxx.com这个域名也指向了公司的公网IP，因为想让用户在访问的时候不用输入端口号于是就想在公司的web服务器上面做个跳转，将访问bbs.xxx.c...

2012-08-07 13:20:25 520

原创 python 读写yaml

[url]http://mikkel.elmholdt.dk/?p=4[/url]1. install pyyaml: ([url]http://pyyaml.org/wiki/PyYAMLDocumentation[/url])1.1 wget http://pyyaml.org/download/pyyaml/PyYAML-3.01.tar.gz1.2 tar zxvf Py...

2012-08-06 10:39:30 520

原创 ruby中的单元测试

单元测试中的几个术语：double: the generic term for any kind of pretend object used in place of areal object for testing purpose. 是一种通用的称呼，来指：所有用于替换真实对象的组建。Dummy: 空对象，啥都不做。仅仅用于某些parameter的占位（ fill paramet...

2012-08-04 09:05:28 217

原创对使用开源项目的一点儿讨论

原文地址： [url]http://ruby-china.org/topics/4646[/url]求一适合中国国情的B2C Ruby on Rails开源商城项目开源项目 • n5ken • 于4天前发布 • 最后由 kevin__liu 于3天前回复 • 274次阅读[quote="n5ken"]找了一圈Google，Github，国外的最好的应该就是Spree，但是研究一下...

2012-08-04 08:42:51 92

原创 capistrano 的几个参数（ logger, set-before)

Capistrano 灰常好用。不过有几个常用的用法还是要留意一下：1. 总览： [code="java"]$ cap --help[/code]2. 使用logger，特别是在其他语言调用CAP时，非常有用（例如被fabric 调用）: [code="java"]$ cap setup --logger STDOUT[/code]3. 使用变量，要记得: ...

2012-08-03 14:34:11 302

原创多个workers下 delayed_job的问题：

会导致“多个workers" （单个 worker 下工作正常）的状态下，导入 CSV 文件之后，不能正常的根据导入的 device进行 query remote, update emails . 这两个操作。根据Randy的要求，导入CSV之后，可以自动的查询远程，然后更新本地的device信息。所以后来的代码是这样做的：1. 建立优先级是 0 的JOB （最高），来导入CSV...

2012-08-02 09:52:33 134

原创 linux link (ln) 的用法： ln -s <目标文件> <link_name>

linux link (ln) 的用法： ln -s 总之，目标文件（被link的文件或文件夹）永远在前面，我总是把两者弄混淆。。。

2012-08-02 08:52:48 2018

原创 linux 中的 photoshop/paintshop: GIMP

[url]www.gimp.org[/url]G - GNUI - ImageM - ManipulationP - Program非常棒，正是我想要的！直追 paint.net

2012-08-01 09:11:53 1603

原创 ruby 中的多行字符串(multiple lines of string) %Q, %w, %q

%Q 代表一个双引号的字符串，例如 a = "foo"a = %Q{ foo }%q 代表单引号字符串，不能使用 #{var}的形式。例如：b = 'bar bar'b = %q{barbar}[code="ruby"] CONST = "apple" abc = %q[ abc abc cde def this is a C...

2012-07-31 10:01:38 1101

原创 ruby , rspec中测试 module

见： [url]http://stackoverflow.com/questions/1542945/testing-modules-in-rspec/1546493#1546493[/url]What mike said. Here's a trivial example:module code...[code="ruby"]module Say def hell...

2012-07-30 10:29:32 126

delayed_job 的基本用法

delayed_job 是用来做某些可以延后的，对时间要求不高的任务，例如：发送1W个邮件，处理10W个数据，不能在规定的时间内（例如1秒）立即执行完的任务。delayed_job 有两个版本，一个是最初的： [url]https://github.com/tobi/delayed_job[/url]另一个是改进的：[url]https://github.com/collec...

2012-07-28 12:15:31 575

原创有webservice参与的系统的单元测试, 使用mock object (三)

经过近4个工作日的整理，终于把整个系统基本都搞定：[quote="使用了MOCK"]Finished in 32.84 seconds390 examples, 0 failures, 6 pending[/quote][quote="原来的"]Finished in 21 minutes 11.65 seconds421 examples, 13 failures[/qu...

2012-07-27 15:05:03 143

原创有webservice参与的系统的单元测试, 使用mock object (二)

前天写了文章： [url="http://sg552.iteye.com/blog/1604010"]有webservice参与的系统的单元测试，最好使用mock object[/url]如果某个mock对象，要求模拟 POST 这样的修改数据的操作，而不是简单的GET 这样的查询，该如何做呢？我现在使用的办法，是使用yaml文件来存储数据，达到简单的模仿数据库的目的。...

2012-07-25 09:51:39 181

RUBY中重新定义常量（redefine constants in Ruby)

有个需求：生产环境中的代码，有一个常量。但是需要在测试环境中修改它，把它从一个真正的对象变成mock object. (提示：核心方法： const_set, const_defined? , remove_const ) 所以搜索了一下，有这个文章：( [url]http://stackoverflow.com/a/3377188/445908[/url] )...

2012-07-24 07:09:27 180

原创有webservice参与的系统的单元测试，最好使用mock object

手头上的一个项目，是以另外一个系统的webservice做为底层基础。里面大约有50的操作，最终都要调用这些 web service。大约有200个test case, 跑完一边居然要15～ 30分钟。因为调用一次WS，大约25秒左右。而且随着远程webservice 服务器的性能问题，这个时间还在增加。程序员感觉很麻烦。因为调试的时候，如果远程 Webservice出了问...

2012-07-23 10:03:22 386

curl 的典型用法

1. 最简单的用法（GET 80端口）： $ curl www.site.com 1.2 如果希望待上参数，记得用引号把URL 括起来： $ curl 'www.somesite.com?param1=foo&param2=bar' 2. 使用 POST 请求：$ curl www.site.com -X POST -d "say=hi" ...

2012-07-17 10:11:46 84

delayed_job 的 workers 至关重要啊。。。。

之前使用delayed_job , 发现从来不并发。都是顺序执行。今天才发现，必须要启动多个workers，才行。之前是由于只启动了一个worker...所以。。。。 $ RAILS_ENV=production script/delayed_job -n 8 start 这样就可以启动8 个进程了。 ^_^...

2012-07-11 16:36:09 120

原创学习 PYTHON 看哪本书。。。

http://stackoverflow.com/q/111857/445908 The best way to learn python (or any programming language) is to pick something you want to do and start doing it in the language you want to learn.Pick ...

2012-07-07 07:30:09 163

原创 conjecture: the architecture of some portal

1. 用全文检索进行搜索2. 用的是JAVA 3. 信息量很大，会不定时的进行各个城市服务器之间的信息汇总。4. 在同步时，信息发布的时间不是特别精确。估计只精确到分，造成了多个服务器的数据合并之后，顺序跟原有顺序不相同的情况。每次同步，会有 2K 个打算顺序的数据产生。其中1K2是原有的重复数据， 0.8K是新数据。07-02 846 newed, 48...

2012-07-01 18:43:18 60

原创 CENTOS的使用笔记 .

1. 查看当前的LINUX 的名称命令 [quote][[email protected] ~]$ cat /etc/*-releaseCentOS release 5.3 (Final)[/quote]以及 uname -a 2. 查看哪个包已经被安装了 $ yum list installed | grep $ rpm -qa | grep ...

2012-06-27 12:53:58 54

原创全文检索的几个重要概念: Analyzer, tokenizer, token filter, char filter

Analyzer: The index analysis module acts as a configurable registry of Analyzers that can be used in order to both break indexed (analyzed) fields when a document is indexed and process query stri...

2012-06-26 11:44:22 664

elasticsearch的基本用法

开始学习使用 elasticsearch, 把步骤记录在这里：最大的特点：1. 数据库的 database, 就是 index2. 数据库的 table, 就是 tag3. 不要使用browser，使用curl来进行客户端操作. 否则会出现 java heap ooxx...curl: -X 后面跟 RESTful ： GET, POST ...-d 后...

2012-06-25 09:41:02 931 1

原创 mongodb 的基本操作

备份：mongodump --db --collection -o - > db/.bson这里记得使用 -o -，才是正确的把数据导出。还原：mongorestore --drop -d -c db/.bson增加索引：db.items.ensureIndex({original_url:1})...

2012-06-23 16:37:12 69

原创 tire的使用入门

(tire 调试的关键是：1. 会一些基本的elasticsearch 操作， curl -XDELETE... 2. 看log 3. 看 test 目录。这个是最好的文档。)tire 是 elasticsearch的 RUBY工具 (大部分是RUBY，而不是RAILS），下面是几个基本用法的笔记：比较全面的文档见： (example 文件夹）[url]ht...

2012-06-23 16:28:28 404

solr 与 elasticsearch的比较（翻译）

[url]http://stackoverflow.com/a/10213568/445908[/url]There are many comparisons between Apache Solr and ElasticSearch available, so I'll reference those I found most useful myself, i.e. covering t...

2012-06-15 13:17:12 90

原创主流全文索引工具的比较（ Lucene, Sphinx, solr, elastic search)

前几天的调研（ [url=http://sg552.iteye.com/blog/1558180]Rails3下的 full text search (全文本搜索，全文匹配？）[/url] ），我发现了两个不错的候选：1. lucene (solr, elasticsearch 都是基于它） 2. sphinx 两者都有很不错的口碑。所以今天更加进一步的调查。把看到的...

2012-06-15 12:56:50 1155 1

原创 mongoid 3 发布了。彻底不支持 ruby 1.8 。同学们注意了啊。

mongoid2 站点：http://two.mongoid.org/关于mongoid 查询的返回即时结果：用 to_a 就可以了。相当于ActiveRecord3 中的 .all 方法。Item.limit(3).to_asee: [url]http://stackoverflow.com/a/6607689/445908[/url]...

2012-06-12 12:39:47 61

原创 Rails3下的 full text search (全文本搜索，全文匹配？）

最近遇到了一个问题，大数据量下的全文搜索，比较费时。例如： 100W的数据下，想要搜索，使用where的话，有的时候耗时 20+ 秒。无法忍受。同时，100W 的数据，占用了至少1G的空间。光是全盘扫描的话，也无法在1秒内完成。所以，还得求助于索引(index)记得在JAVA项目中，lucene 是个非常好的工具，貌似现在也是。不知道RAILS的世界中如何？...

2012-06-11 13:11:26 116

mongodb 的ID还是比较特殊的

貌似不能用 _id : /1234/ 查询只能用： _id: ObjectId()这个方法db.your_collection_name.find({_id : ObjectId("4fceb476d09cbc0d0f000001")}, {_id: 1 ,name:1})参考 [url]http://realguess.net/node/201[/url]...

2012-06-06 13:27:52 365

ubuntu 安装 fabric 步骤

一句话：$ sudo apt-get install fabric以下的不用看了。我是个python 盲，近期一个项目的部署要用到fabric，所以记录一下步骤：1. 先安装pip （估计类似于rubygem) http://www.pip-installer.org/en/latest/installing.html$ curl -O https://raw....

2012-06-01 10:53:33 636

linux 性能优化笔记。。。（1 G内存服务器）

近期服务器性能极不稳定，打开首页速度时快时慢（目前只有一个用户，属于企业内部应用，重点是数据量非常大， 1K～ 100K 之间）下面是从我的邮件摘录出一部分内容：1. 访问速度不稳定。时快时慢。[quote]下面是今天的 (2012-05-25) 的日志：可以看到，前两个操作，耗费的时间非常久。。。 00:50:33 INFO: Completed ...

2012-05-28 09:48:20 498

原创 ubuntu 安装 node.js

这个文章在官网上不太好找。。。。很不起眼的地方。。。。。https://github.com/joyent/node/wiki/Installing-Node.js-via-package-managerUbuntuExample install:sudo apt-get install python-software-propertiessudo apt-...

2012-05-24 19:03:55 74

原创还是记录一下吧。。。capistrano for Rails3

最新的文章看这里： [url=http://siwei.me/blog/posts/capistrano-basics]http://siwei.me/blog/posts/capistrano-basics[/url]参考这个文章：[url=http://stackoverflow.com/questions/4294970/rails-3-capistrano-tutorial...

2012-05-24 18:39:42 82

原创 ruby metaprogramming examples

看附件吧。。。 Extracted from:Metaprogramming RubyThis PDF file contains pages extracted from Metaprogramming Ruby, published by thePragmatic Bookshelf. For more information or to purchase a paperb...

2012-05-22 11:18:21 211

原创 ubuntu下安装 mongodb

根据官方文档来安装还是比较靠谱的。貌似apt-get的方式不太好用。（在我之前的经验中，服务器异常关机的话，mongodb就再也起不来。而且还需要手动干嘛干嘛。。。而且mongodb的版本也不是最新的）参考： [url]http://docs.mongodb.org/master/tutorial/install-mongodb-on-debian-or-ubuntu-linux/[/ur...

2012-05-15 11:57:59 104

原创 rails3 使用 mongoid的步骤

mongodb 官方的文档 ([url]http://www.mongodb.org/display/DOCS/Rails+3+-+Getting+Started[/url]) 是专门为 "mongomapper" 准备的。不适用于 "mongoid"，所以，大家不要看了。参考mongoid的官方文档： [url]http://mongoid.org/[/url]1. 在 Gem...

2012-05-15 11:21:30 104

原创使用哪个？mongo mapper? mongoid? mongomastic?

在一个新项目中使用mongodb, 选择Object mapper的时候，看到官方的推荐，我凌乱了：Several mappers are available: MongoMapper from John Nunemaker Mongoid from Durran Jordan Mongomatic from Ben Myles ...

2012-05-15 10:51:42 144

原创 rails 性能优化心得

近期一个项目要上线（终于要交付了），交付前进行了一些大数据量下的性能优化，心得记录下来：1. 在开发的初期就要使用大量的数据。10K 比较合适。有生产数据最好（比如需要跟其他系统进行交互），没有的话，就自己生成（factory girl). 很多时候，打开一个性能糟糕的页面，100条数据下看不出来什么，但是10K数据下就看出速度来了。2. 使用设计良好的MVC模式。该放在MO...

2012-05-11 10:46:00 127

原创使用 asset pipleline的步骤

最近在改进自己做过的一个项目，在开发测试过程中感觉页面的打开时间比较久，看了下FIREBUG，发现每次打开页面的时间，加载 js/css 居然用了5秒多。所以下定决定，把rails3的 asset pipeline用上。步骤记录在这里，供自己或其他人参考：1. 使用3.2.0 版本的Rails. （只要支持 asset pipeline就好。） $ vim Gemf...

2012-04-26 09:31:22 203

Checkstyle中文文档（原创）

空空如也