- 博客(44)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 高等数学
泰勒公式动点用静点表示，在点某邻域具有阶导，则可推出常用函数的等价无穷小，所以常用于求无穷小的极限。常用于求高阶导数。拉格朗日中值定理函数和导数关联。在[a,b]上连续，在(a,b)内可导，则在(a,b)存在一个，使得常用于求复杂极限、估值不等式、牛顿-莱布尼斯公式求定积分在连续，则欧拉公式将三角函数与复数指数函数相关联虚数...
2020-01-30 11:33:44
690
原创 数据结构部分
顺序有序存储的线性表，删除重复元素/**顺序有序存储的线性表，删除重复元素*/int purge(int a[], int n){ int i,k=0; if(n>1){ for(i=1; i<n; i++){ if(a[i]!=a[k]){ a[++k]=a[i]; } } n=k+1; } return n;}前序遍历...
2020-01-05 17:00:18
202
原创 storm安装
1、启动zookeeper storm运行依赖zookeeper，所以在安装storm前必须安装和启动zookeeper2、配置storm的storm/conf/storm.yaml文件内容： storm.zookeeper.servers: - 127.0.0.1 storm.zookeeper.port: 2181 nimbus.host: "1
2015-11-18 09:53:55
979
原创 Storm的系统架构
系统架构 nimbus 调度topology，将调度信息写入ZK 管理集群，检查supervisor/worker心跳，处理异常 处理topology submit、kill、rebalance等请求 提供查询cluster/topology状态的thrift接口 提供文件（如topology程序jar包）上传下载服务 supervisor 管理worker 根据ZK调度信息启动w
2015-08-13 17:44:12
1034
原创 Storm简介及计算模型
Storm概述 Storm是一个开源的分布式实时流式计算系统 特点： -分布式：水平扩展，自动容错 -实时：低延迟(毫秒级) -流式:数据不间断流入、流出 -DAG：Spout Bolt组成DAG计算模型 -易用：像写单机程序一样简单，支持各种语言 -Apache顶级开源项目 业务场景： 实时统计、实时预警 实时ETL：日志过滤、标注化等 持续计算-如新闻自动发现分析Stor
2015-08-13 17:34:31
2310
原创 WebAPP开发之viewport的深入理解
平常移动端开发中，页面的head中都会引入下列这句话，那Viewport是什么，理解了这个才能让我们开发的网页更好适配不同的移动设备。Viewport是手机屏幕上能用来显示我们的网页的那一块区域。但是viewport并不等于浏览器的可视区域。可以自定义，自定义后，手机按这个尺寸的比例在可视区域缩放。 手机的默认Viewport多大？手机屏幕可视区域区域有多大？可能大家想
2015-04-23 16:13:05
2392
转载 app翻页
var myScroll;var black_flag=true;function pullUpAction () { queryParam.page = queryParam.page+1; doSearch(true); myScroll.refresh(); }function loaded() { //myScroll = new iScroll('wrapper');
2015-03-19 22:39:24
1026
原创 Linux下的JFreeChart中文乱码解决（图片生成后中文显示为“口”）
JFreeChart默认字体有"Arial", "Dialog", "Dialog", "SansSerif", "Tahoma"而需要用到是宋体等中文字体时，JVM找不到相关字体文件，所以会显示乱码，解决方法如下。方法一：复制所使用的中文字体文件（如simsun.ttc）到此目录中(如果没有fallback目录，请手动建立。)$JAVA_HOME/jre/lib/font
2014-12-23 14:02:38
3025
2
转载 linux常用命令加实例大全
目 录引言 1一、安装和登录 2(一) login 2(二) shutdown 2(三) halt 3(四) reboot 3(五) install 4(六) mount 4(七) umount 6(八) chsh 6(九) exit
2014-10-28 10:12:42
1954
原创 MapReduce笔记（架构及工作原理）
Mapreduce架构：JobTracker:•Master•管理所有作业•将作业分解成一系列任务•将任务指派给TaskTracker•作业/任务监控、错误处理等TaskTracker：•Slave•运行Map Task和Reduce Task•与JobTracker交互，执行命令，并汇报任务状态
2014-10-27 10:04:55
2259
1
原创 mapreduce配置调优
默认情况下，hadoop为各个守护进程分配1000M(1G)内存，该值在文件hadoop-env.sh的HADOOP_HEAPSIZE属性控制，tasktracker启动子JVM运行map和reduce任务也需要内存。按照默认配置，一个tasktracker可运行2个map(mapred.tasktracker.map.tasks.maximum)和2个reduce(mapred.tasktr
2014-10-23 16:37:02
1700
原创 DIV多行文字显示不下时显示...的css
display:-webkit-box;-webkit-line-clamp:2;-webkit-box-orient: vertical;多行文字显示，数字表示显示行数，文字超出时显示...
2014-08-20 17:48:42
3078
转载 Linux shell脚本的字符串
来源:假设有变量 var=http://www.google.com/test.htm一 # 号截取，删除左边字符，保留右边字符。echo ${var#*//}其中 var 是变量名，# 号是运算符，*// 表示从左边开始删除第一个 // 号及左边的所有字符即删除 http://结果是 ：www.google.com/test.htm二 ## 号截取，删除左
2014-08-20 10:17:53
662
转载 linux命令之wget
Linux系统中的wget是一个下载文件的工具，它用在命令行下。对于Linux用户是必不可少的工具，我们经常要下载一些软件或从远程服务器恢复备份到本地服务器。wget支持HTTP，HTTPS和FTP协议，可以使用HTTP代理。所谓的自动下载是指，wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统，启动一个wget下载任务，然后退出系统，wget将在后台执行直到任务完成，相对于其它大
2014-08-01 11:31:32
665
转载 shell变量算数运算
#!/bin/sha=1a=$(($a+1))a=$[$a+1]a=`expr $a + 1`let a++let a+=1((a++))echo $a
2014-07-29 11:15:42
16881
原创 手机web自己定义滑动事件
var dataScrol = {startY:0,endY:0,posY:0,maxScroll:1,isBind:false}; var scrollHandler = function (e) { e.preventDefault(); };//禁用自定义滑动事件 document.addEventListener('touchmove', scrollHa
2014-07-25 10:14:08
2626
原创 Spring MVC源码分析
1、MVC模式：2、Web环境中使用Spring MVCSpring Mvc是建立在IOC容器基础上的，所以需要在web环境中进行配置，在tomcat中web.xml相关的代码：3、在Web环境启动过程详解ContentLoaderListener-->ContextLoader，ContentLoaderListener通过ContextLoader完成实
2014-07-14 12:02:00
3244
原创 Spring4 MVC json问题(406 Not Acceptable)
解决方法：1、jackson。需要导入jackson-mapper-asl-1.9.10.jar和jackson-core-asl-1.9.10.jar。
2014-07-07 17:20:09
32817
10
转载 执行ajax返回代码中的脚本，支持document.write
来源：http://bluehua.org/2009/07/14/325.html/comment-page-1#comment-5409有个产品要速度改版，改用ajax实现分页，可是页面中有很多内联脚本，求技术改比较慢，于是采用了最速都的方法：返回内容之后，把html塞到对应的层里，然后手动eval一下脚本。这里有点小困难的就是脚本里面有document.write…。不过李
2014-03-13 15:18:31
1761
转载 HTML5 LocalStorage 本地存储JSON数据
JSON数据存储在本地，需调用JSON.stringify()将其转为字符串。读取出来后调用JSON.parse()将字符串转为json格式。如写入的时候：var json_data = {id:12,name:"yang",email:"[email protected]"}; storage.setItem("json_data",JSON.stringify(json_data));读取的时
2014-03-04 16:21:03
1541
原创 HDFS笔记（特点、原理与基本架构）
产生背景以文件为基本存储单位的缺点1、文件大小不同，难以实现负载均衡。2、处理一个文件时，只能利用一个节点资源，无法动用集群。HFDS的定义源自于Google的GFS论文 发表于2003年10月 HDFS是GFS克隆版Hadoop Distributed File System 易于扩展的分布式文件系统 运行在
2014-02-26 17:27:33
19390
2
原创 Hadoop生态系统介绍
1、Hadoop生态系统概况Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。下图为hadoop的生态系统：2、HDFS（Hadoop分布式文件系统）源自于Google的GFS论文，发表于2003年10月，HDFS是GFS克隆版。是Hadoo
2014-02-22 16:27:47
52574
4
转载 Hadoop的那些事儿
来源：http://www.searchtb.com/2010/11/talk-about-hadoop.html?spm=0.0.0.0.lzKpKO在说Hadoop之前，作为一个铁杆粉丝先粉一下Google。Google的伟大之处不仅在于它建立了一个强悍的搜索引擎，它还创造了几项革命性的技术：GFS，MapReduce，BigTable，即所谓的Google三驾马车。Google虽然没有公
2014-02-03 18:05:13
2218
1
原创 Hive笔记
搭建环境官网参考：https://cwiki.apache.org/confluence/display/Hive/GettingStarted1、简要安装流程##配置环境变量(在/etc/profile尾部添加)export HIVE_HOME=/usr/hiveexport PATH=$HIVE_HOME/bin:$PATH##解压$ tar -xzvf hive-x.y.
2014-02-03 10:45:03
2805
原创 tomcat中搭建solr Cloud、日志、多Core以及常见问题
solr版本：4.5.11、搭建solrCloud参照这个网址：http://blog.csdn.net/a221133/article/details/11819483官网：http://wiki.apache.org/solr/SolrTomcathttp://wiki.apache.org/solr/SolrCloud最后修改solr.xml ${h
2014-01-26 11:45:00
13093
转载 Hbase设计以及优化
1、表的设计1.1、Column Family由于Hbase是一个面向列族的存储器，调优和存储都是在列族这个层次上进行的，最好使列族成员都有相同的"访问模式(access pattern)"和大小特征。不要在在一张表里定义太多的column family。目前Hbase并不能很好的处理超过2~3个column family的表。因为某个column family在flush的时候，它邻
2014-01-22 17:32:49
12165
1
原创 Sqoop笔记
Sqoop是什么Sqoop:SQL-to-Hadoop传统数据库与Hadoop间数据同步工具利用Mapreduce分布式批处理，加快了数据传输速度，保证了容错性Sqoop1架构sqoop1 import原理：从传统数据库获取元数据信息(schema、table、field、field type)，把导入功能转换为只有Map的Mapreduce作业，在mapreduc
2014-01-22 12:17:08
7270
原创 Linux安装mysql——源码安装
软件：cmake-2.8.12.1.tar.gzmysql-5.5.31.tar.gz1、安装cmake (如果存在旧的，卸载掉，卸载命令apt-get autoremove cmake)root@ubuntu:/usr/local# tar -zvxf cmake-2.8.12.1.tar.gzroot@ubuntu:/usr/local# cd cmake
2014-01-16 18:39:28
977
转载 tomcat下搭建SolrCloud
solr版本：4.5.1参考地址：http://blog.csdn.net/a221133/article/details/11819483补充点：修改solr.xml ${host:} 7080 ${hostContext:solr} ${zkClientTimeout:15000} ${genericCoreNodeNa
2014-01-15 15:35:37
5925
7
转载 ZooKeeper客户端命令
ZooKeeper服务命令: 在准备好相应的配置之后，可以直接通过zkServer.sh 这个脚本进行服务的相关操作1. 启动ZK服务: sh bin/zkServer.sh start2. 查看ZK服务状态: sh bin/zkServer.sh status3. 停止ZK服务: sh bin/zkServer.sh stop4. 重启ZK服务:
2014-01-15 11:35:41
18061
2
原创 Hbase访问方式之Mapreduce
概述：Hbase对Mapreduce API进行了扩展，方便Mapreduce任务读写HTable数据。一个简单示例：说明：从日志表中，统计每个IP访问网站目录的总数package man.ludq.hbase;import java.io.IOException;import org.apache.hadoop.conf.Configu
2014-01-06 18:07:24
15983
4
原创 Hbase访问方式之Java API
Hbase的访问方式1、Native Java API：最常规和高效的访问方式；2、HBase Shell：HBase的命令行工具，最简单的接口，适合HBase管理使用；3、Thrift Gateway：利用Thrift序列化技术，支持C++，PHP，Python等多种语言，适合其他异构系统在线访问HBase表数据；4、REST Gateway：支持REST 风格的Http API
2013-12-30 12:09:06
14539
1
原创 Hbase访问方式之Hbase shell
Hbase的访问方式1、Native Java API：最常规和高效的访问方式；2、HBase Shell：HBase的命令行工具，最简单的接口，适合HBase管理使用；3、Thrift Gateway：利用Thrift序列化技术，支持C++，PHP，Python等多种语言，适合其他异构系统在线访问HBase表数据；4、REST Gateway：支持REST 风格的Http API
2013-12-27 14:54:49
28116
原创 Hbase原理、基本概念、基本架构
概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于Google BigTable模型开发的，典型的key/value系统；HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、行和列进行存储。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算...
2013-12-26 16:36:37
229773
28
原创 Hbase部署
伪分布式部署： [root@hadoop hadoop]#cp /home/hadoop/soft/hbase-0.94.14.tar.gz /usr [root@hadoop hadoop]#cd /usr [root@hadoop hadoop]#tar -zxvf hbase-0.94.14.tar.gz [root@hadoop hadoop
2013-12-23 18:20:15
2815
原创 Hadoop集群部署笔记
参考网址：http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html1、修改hostname [root@QQT hadoop]# hostname hadoop.datanode1.com [root@QQT hadoop]# vi /etc/sysconfig/network 修改:
2013-11-21 15:44:13
1562
原创 linux命令之vi
(1)打开文本 vi + filename 打开文件，并将光标置于最后一行首 vi +n filename 打开文件，并将光标置于第n行首 vi filename...filename 打开多个文件，依次编辑 vi +/pattern filename 打开文件，并将光标置于第一个与pattern匹配的
2013-11-12 15:33:04
812
原创 myeclipse优化
1、用myeclipse打开ＪＳＰ卡死解决方法重新设置JSP默认打开方式，参看下图：2、编辑ＪＳＰ卡死问题，尤其编写之间的代码右键工程-->Properties-->Java Build Path-->Libraries找到 JRE System Libraries->charsets.jar->Javadoc location 选中Javadoc location
2013-11-08 15:31:04
841
hadoop2.2 hbase0.96 hive0.12安装整合详细高可靠文档及经验总结
2015-02-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人