- 博客(37)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Hadoop资源感知调度器
1. 什么是Hadoop资源感知调度器？Hadoop资源感知调度器是指调度器根据各个TaskTracker当前资源负载情况（cpu，内存，网络io等）动态决定将新任务调度给哪个节点处理。2. Hadoop资源感知调度器的必要性和重要性当前绝大多数Hadoop调度器是按照slot多少进行调度。在Hadoop中，存在两种slot：map slot和reduce slot，每个节点可以根据自
2012-03-15 00:36:48
2860
原创 Hadoop学习随笔(一)
1、MR是一种用于数据处理的编程模型，MapReduce和关系型数据库之间的区别是: MapReduce关系型数据库一次写入多次读写多次读写PBGB非结构化结构化 2、MR具有"数据本地化"功能，即尝试在计算节点本地存储数
2012-03-15 00:33:46
790
原创 PM启程
最近发现自己强烈的喜欢做PM，但是在我们部门做PM和别的部门感觉还不太一样，接触的东西也不太一样，不过行业决定了差距，数据仓库的PM可能就是这样的。先不管那么多，多多学习PM相关的知识。《PMPBOK》、《敏捷项目管理》等通通拿来，还有什么项目管理好的书籍欢迎大家推荐
2011-11-29 00:08:31
742
2
原创 常用vi命令
vi命令很多，目前我在工作中常用的就以下这些，后续如果还有需要再添加。:x 同 :wq 保存后退出:n 光标移到文件的第n 行:0 光标移到文件的第一行:$ 光标移到文件的最后一行u 取消前一步操作. 执行一个重复命令 其结果是
2011-10-07 16:35:01
535
原创 apt-get命令的使用
最近在学习linux，在ubuntu上安装中文输入法的时候总要求用sudo apt-get命令运行一系列东东，对于为什么要用不是很了解。因此，特意在网上学习了下。下面是讲的比较直白的一些记录。 什么是apt-get apt-get是一条linux命令，适用于deb包管理式的操作系统，主要用于自动从互联网的软件仓库中搜索、安装、升级、卸载软件或操作系统。
2011-06-15 23:11:00
1637
原创 oracle匿名表分区
以前一开始以为建立表分区的时候必须写名字，某天一个同事突然问我，我建表分区的时候忘记写名字了，我怎么删除这个表分区呢？这下子我突然在想，没有分区名字的表分区可以建立成功吗？于是以下就自己来试验了下。 结论：1.建立没有表分区名字的表是可以建立的，这个时候系统会为该表分配一个系统随机名称。 2.在删除时，需要去系统表查看这个分区名称，然后再删除。
2011-06-15 19:25:00
1189
原创 numtodsinterval and interval for oracle
今天无意间在itpub论坛发现了两个很少用的时间间隔关键字：numtodsinterval or numtoyminterval、 interval。感觉以后可能会用到，仅以此记录下来。下面是简要的介绍：一、 语法：NUMTOYMINTERVAL ( n , char_expr ) char_expr：日期描述，可以是YEAR和MONTH； 作
2011-06-07 23:35:00
3216
转载 用SQL判断法定节假日——oracle
先收藏以下网址：http://hi.baidu.com/assassinann/blog/item/38bd14ddcdc9d11d632798a3.htmlhttp://www.cnblogs.com/ChuttySonic/archive/2009/07/13/1522195.htmlhttp://topic.csdn.net/u/20090119/17/61baeefe-0
2011-06-03 13:58:00
7366
原创 interval year to month and interval day to second
<br />转载自：<br />http://space.itpub.net/18801059/viewspace-571258<br />http://rocolex.blog.163.com/blog/static/68446410201031210442396/<br /> <br />先记录这两篇比较好的文章，下次再来总结，占座
2011-02-10 23:42:00
1023
原创 CSDN博客总是修改不了头像，望解决
<br />RT。<br />每次修改总是显示：服务器故障，暂停个人空间头像更新。<br />真不知道啥时候才能好！<br />是不是服务器一直故障啊？望CSDN的客户关怀部赶紧解决。真是影响心情！
2010-12-30 19:39:00
1512
2
原创 next_day函数用法
在Oracle是提供了next_day求指定日期的下一个日期.语法 : next_day( date, weekday )date is used to find the next weekday. weekday is a day of the week (ie: SUNDAY, MONDAY, TUESDAY, WEDNESDAY, THURSDAY, FRIDAY, SATURDAY)可用于: Oracle 9i, Oracle 10g, Oracle 11g
2010-12-30 19:35:00
20516
1
原创 日期转换函数
<br />--日期转换毫秒SELECT TO_NUMBER(TO_DATE('2005-03-29 12:30:45', 'YYYY-MM-DD HH24:MI:SS') - TO_DATE('1970-01-01 8:0:0', 'YYYY-MM-DD HH24:MI:SS')) * 24 * 60 * 60 * 1000 FROM DUAL; <br /><br />--毫秒转换日期SELECT TO_CHAR(1112070645000 / (1000 *
2010-12-24 17:37:00
661
原创 错的人
<br />明知道爱情并不牢靠 <br /><br /><br /> 但是我还是拼命往里跳 <br /><br /><br /> 明知道再走可能是监牢 <br /><br /><br /> 但是我还是相信只是煎熬 <br /><br /><br /> 朋友都劝我不要不要 <br /><br /><br /> 不要拿自己的幸福开玩笑 <br /><br /><br /> 但是做人已经那么累 <br /><br /><br /> 假惺惺的想要逃 <br /><br /><br /> 在爱里连真心
2010-12-19 22:52:00
589
原创 分区表的直白描述
<br />answer: <br /> 普通表呢像一个小学生用的新华字典，分区表呢像一套博士们辞海，在同一个漂亮的盒子里面(表名）有若干本辞海分册（每一册就是一个分区了）。 <br /> <br /> 如果说检索一张普通表就像查新化字典，检索分区表就像查辞海了。具体而言呢，又这么几种方式： <br /> <br /> 1). 因为你知道你查的内容只会出现在某些分册里面，于是你很快的从辞海盒子里面取出你要的那个册子，不加思索的翻到索引页，根据索引页的指示，你飞快的翻到你的目标
2010-12-01 16:47:00
668
转载 RETURNING语句
<br />先来看结论吧：<br />1.DELETE的情况，RETURNING返回的肯定是DELETE之前的结果；<br /> INSERT的情况，RETURNING返回的一定是INSERT之后的结果。<br /> UPDATE的情况，RETURNING返回的一定是UPDATE之后的结果。<br />2.RETURNING语句似乎和RETURN通用。（即两个可以相互替换）<br />3.INSERT INTO VALUES语句支持RETURNING语句，而INSERT INTO SELECT语句不支持
2010-11-13 23:59:00
916
原创 rownum注意问题2
<br />利用rownum可以得到连续数字中的一段。例如有以下数据：<br /> <br />fphm,kshm<br />2014,00000001<br />2014,00000002<br />2014,00000003<br />2014,00000004<br />2014,00000005<br />2014,00000007<br />2014,00000008<br />2014,00000009<br />2013,00000120<br />2013,00000121<br />201
2010-11-02 22:01:00
1192
原创 网站分析博客地址收集
<br /> <br />蓝鲸：<http://bluewhale.cc/web-analytics-library><br />Web Analyst视角的点点思考：<http://hi.baidu.com/hpzheng1982/blog><br />网站分析在中国 <http://www.chinawebanalytics.cn/> 网站分析从基础到前沿 <br />Mars Opinion <http://www.marsopinion.com/> 数据驱动的电子商务运营和网络营销 <br />
2010-11-02 21:11:00
496
原创 lag分析函数技巧
lag分析函数本身是用来取下一个记录，即错位，可以设置错位的位数，lag分析函数的语法&作用：lag(t.cur_value, 1)表示把t.cur_value这列错位一行重新生成一列,lag(t.cur_value, 2)表示错两行,lag(t.cur_value, 0)表示不错行(完全复制该列生成另外一列),默认错位一行(一般用来查找前一天,前一个月等数据,用来算环比,同比等);距离如下：SQL> select * from lyq_test1 order by 1; ID N
2010-10-11 12:34:00
10976
原创 rownum注意问题
众所周知，rownum、rowid是oracle的一个伪列，但是rownum和rowid的不同时，rowid是唯一的标识了列的存储位置，rownum是按照用户的插入语句顺序，给一个序列号，rownum永远是从1开始，因此，绝对不能用“rownum等于”、“rownum大于”等的条件，因为当前面条件不满足时，rownum总是从1开始。 下面总结下rownum和order by的关系，因为我一直会迷糊，以前还一度认为order by排序后，rownum就会按照我们需要的顺序保存，但是往往不是
2010-09-25 23:59:00
868
原创 insert first&insert all的区别
<br />insert first/all<br /> <br />利用insert first/all使得INSERT语句可以同时插入多张表，还可以根据判断条件来决定每条记录插入到哪张或哪几张表中。<br />insert first/all语法 <br />[ ALL | FIRST ] <br />WHEN condition THEN insert_into_clause [values_clause] <br />[insert_into_clause [values_claus
2010-09-02 17:38:00
5927
2
原创 BREAK ON 与compute语句的使用技巧
<br />一、BREAK语句的语法：<br />BRE[AK] [ON report_element [action [action]]] ...<br />where report_element has the syntax {column|expr|ROW|REPORT}<br />and action has the syntax [SKI[P] n|[SKI[P]] PAGE] [NODUP[LICATES]|DUP[LICATES]]<br /><br />
2010-09-02 13:02:00
2101
原创 ratio_to_report分析函数求占比
<br /> <br /> drop table test;<br /> create table test<br /> (<br /> name varchar(20),<br /> kemu varchar(20),<br /> score number <br /> );<br /> insert into test values('testa','yuwen',10);<br /> insert into test values('testa','英语',100);<br /> insert int
2010-09-01 00:18:00
18439
原创 忘记oracle系统表名称不用愁
很多时候我们不记得数据字典，不知道该怎么查，有了dict什么都不用愁了。使用方法：select * from dict where TABLE_NAME like 'TAB%';
2010-08-30 17:08:00
1098
原创 /*+ BYPASS_UJVC*/ 的使用技巧
在使用implict update table 时，发现其中一个表一定要有唯一约束，否则会报错！但是oracle可以使用hints：/*+ BYPASS_UJVC*/ 屏蔽掉队唯一性的检查。具体测试过程如下：SQL> CREATE TABLE test_a( 2 id NUMBER , 3 score NUMBER );Table created.Elapsed: 00:00:00.10SQL> CREATE TABLE test_b( 2 id NUMBER);
2010-08-30 16:56:00
13668
1
原创 Greenplum常用sql语句
<br />1. 查看表使用空间<br />SELECT * <br />FROM PUBLIC.dba_segments <br />WHERE owner LIKE 'owber_name'<br />AND table_name LIKE '%table_name%'<br />ORDER BY table_name;<br /><br />2. GP中查看分区：<br />se
2010-07-27 15:27:00
6741
原创 十种排骨做法
1、香酥排骨 用料： 1、猪排骨一斤。 2、葱三棵。 3、老姜一块。 4、酱油一大匙。。 5、五香粉咖啡匙。 6、熟芝麻一大匙。 7、香油一小匙。 8、盐、味精适量。 9、汤或水一汤匙。 做法： 1、排骨斩段，过飞水捞出；葱切段；姜切片。 2、将排骨放沸水锅中煮约二十分钟，捞出后装碗里，放入酱油、姜片、盐，拌匀码味约三十分钟。 3、锅中放油烧至七成热，下排骨炸至表面微黄色后捞出。锅中留约一两油，放入排
2010-07-27 15:24:00
1153
原创 left outer join partition
partition outer join in oracle 10gPartition outer join is a new mechanism in 10g to "invent" data to fill the gaps in non-contiguous results. In 10g there are many methods to deal with such a problem (including the awe-inspiring, but equally terrifyi
2010-07-27 15:06:00
1055
原创 在oracle文档中找符合要求内容的快捷方式
<br /> <br /> <br />在itpub看到一帖，发现这个方法值得收藏，减少了我们网上找资料的时间。<br /> <br />目的：在oracle文档中找符合要求内容的快捷方式<br />方法：1.在google输入 site:download.oracle.com 内容(比如model)<br /> 2.在google输入 link:download.oracle.com 内容(比如model)<br /> <br />原帖地址：<br />http://www.itpub.n
2010-07-04 15:04:00
620
原创 Oracle Golden Gate实时数据集成
<br />转自：http://news.newhua.com/news1/program_database/2009/1223/091223153410872F8K68804G0274C9EG7HF0FB5F4F256897GG1F6B060_2.html?lt=common<br /><br /> 在数据集成方面，Oracle主要有三大产品：（1）Oracle新收购的Golden Gate，主要强调数据的实时性，号称数据提取最快，对源端开销影响最小；（2）Oracle原有的产品ODI（Orac
2010-06-18 22:24:00
606
转载 数据仓库之拉链算法
链:古代软兵器的中介之物,故名思意.有着连接、衔接的意思.拉链算法是目前数据仓库领域比较XX的算法之一..通用非常广.记录数据量很大且为全量实体记录历史的操作。例如，某某移动通信公司客户资料，以河北为例，河北有客户2800W，客户资料每个一条就是2800W条记录算上历史客户，全量大概有5000W条左右。作为数据仓库来存储这些信息几千万条记录不算什么。可是要是记录历史全量所用到的存储就非常的庞大。问题实例为：一般正常情况下，从河北移动的BOSS系统上每天采集全量的日数据大概为250
2010-06-12 12:59:00
2845
转载 Oracle用户、权限、角色管理
Oracle用户、权限、角色管理 Oracle 权限设置一、权限分类：系统权限：系统规定用户使用数据库的权限。（系统权限是对用户而言)。实体权限：某种权限用户对其它用户的表或视图的存取权限。（是针对表或视图而言的）。 二、系统权限管理：1、系统权限分类：DBA: 拥有全部特权，是系统最高权限，只有DBA才可以创建数据库结构。RESOURCE:拥有Resource权限的用户只
2010-05-30 12:51:00
483
转载 创建Oracle数据库索引的三个标准
讲的很有道理，受益匪浅，本人现在就遇到这样的问题，对于数据表刚刚建立直到运行到现在，索引完全已经不起作用了，甚至导致Oracle不能正确的选择执行计划，头疼啊。现转载过来了。【原文】出自http://www.soft6.com/tech/16/162805.html 在Oracle数据库中，创建索引虽然比较简单。但是要合理的创建索引则比较困难了。笔者认为，在创建索引
2010-05-24 00:04:00
512
转载 在windows xp下如何彻低卸载oracle
在windows xp下如何彻低卸载oracle 回忆起自己装oracle都装了6次，呵呵，忽然间感觉自己还很坚持的，呵呵，以下是每一次装机后要执行的删除干净的步骤，特此贴出，本文章也是在网上查找到的。 删除实现方法： 1、 开始－＞设置－＞控制面板－＞管理工具－＞服务，停止所有Oracle服务。 2、 开始－＞程序－＞Oracle - OraHome81－＞
2010-05-21 00:05:00
721
2
转载 oracle字符集
查看Oracle 表结构的创建和最后修改时间 SELECT a.owner, a.table_name, created, last_ddl_time FROM dba_tables a, SYS.dba_objects bWHERE a.tablespace_name = USERS AND a.owner = b.owner AND a.tabl
2010-05-20 23:03:00
404
原创 好的SQL收集--不断更新中
1.求1..10偶数之和select sum(level) from dual where mod(level,2)=0connect by level 2.将update改换成用rowid来实现。（1）新的写法：merge into SNAPSHOT120_2010_572 t1using (select a.rowid rid, b.vip_level,
2010-05-20 22:59:00
537
原创 常用SQL语句收集
1.删除表 select drop table || table_name || purge; from user_tables where length(table_name) 删除带约束的表 Drop table 表名 cascade constraints;2.查询view&同义词 --说明：可以根据视图的text_length值设定set lo
2010-05-20 22:40:00
557
6
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人