- 博客(409)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 七位高僧大德的临终开示，非大福报者不得见
http://www.xuefo.net/nr/article47/465546.html #一、印光大师 印光大师临终时当晚对身边的弟子说：“净土法门，别无奇特，只要恳切至诚，没有不蒙佛接引，带业往生。” 此后精神逐渐疲惫，体温降低。夜里一时半，大师从床上起坐说：“念佛见佛，决定生西。”说完，于是大声念佛。二时十五分，要水洗手后，站起来说：“蒙阿弥陀佛接引，我要去了。大家要念佛，要发愿，要生西
2017-06-18 21:36:06
1963
转载 Spark学习(文件读取路径）
在不同的启动模式下，加载文件时的路径写法是不一样的，对于local模式下，默认就是读取本地文件，而在standlone或者yarn-client,或者cluster模式下，默认读的都是hdfs文件系统，这几种模式下很难读取本地文件（这是很显然的事情，但你可以通过指定节点的文件服务曲线救国）。下面的代码在local模式下有效，在其它模式下无效： var theP1 = sc.textFile(“f
2017-05-05 11:10:13
1903
转载 Spark服务启动的一些总结
1、我理解常用的Spark部署方式有三种 1）、本地服务，就是所谓的local，在IDE上本地跑程序，用于调试 2）、Standalone，使用自己的master/worker进行服务的调度。 脱离yarn的资源管理 3）、Spark on yarn。 使用yarn来进行资源的调度2、在spark-env.sh中配置export HADOOP_CONF_DIR= ，这样就可以使用
2017-05-05 11:08:30
2116
转载 简单了解JavaScript操作XPath的一些基本方法
XPath构建于XML之上,以表示路径的方式来确定XML中元素位置,事实上并不是太常用,这里我们来简单了解JavaScript操作XPath的一些基本方法# Xpath现在很少被我们使用，因为JSON现在很盛行。可是在XML做为数据交换格式的年代，Xpath在我们随机访问大的xml文档结构的时候扮演着非常重要的位置。#也许大家现在很多没有注意到，DOM Level 3 XPath指定的接口已
2017-03-03 23:59:56
9000
转载 Java中包名、类名、方法名、成员变量名、属性名 大小写问题
java中包名、类名是不区分大小写的，也就是说包名：com.wang 和com.Wang是相同的包名（即只要字母相同，不区分大小写，都是相同的包名）；Aa和aA 是相同的类名 。这种情况小编译都会报错！# 但在使用命令窗口执行java类是，类名是区分大小写的! 例如：类名是HelloWorld的类 执行时的命令是 java HelloWorld 不能是 java helloworld
2017-02-22 20:40:02
8374
转载 Linux 如何清理僵尸进程
今天在维护服务器的时候，发现有5个nova-novncproxy的僵尸进程。 26327 ? S 0:05 _ /usr/bin/python /usr/bin/nova-novncproxy –config-file=/etc/nova/nova.conf 4765 ? Z 0:00 _ [nova-novncproxy]
2017-02-22 16:10:27
1566
转载 Linux-top命令使用总结
简介 top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。 top显示系统当前的进程和其他状况,是一个动态显示过程,即可以通过用户按键来不断刷新当前状态.如果在前台执行该命令,它将独占前台,直到用户终止该程序为止. 比较准确的说,top命令提供了实时的对系统处理器的状态监视.它将显示系统中CPU最“敏感”的任务列表.该命令
2017-02-22 16:01:44
380
原创 总结几个G1垃圾收集器重要调优参数
总结几个G1垃圾收集器重要调优参数（大致按重要性排序）-XX:+UseG1GC -Xmx< nG > -Xms< nG > -XX:MaxGCPauseMillis=< ms > -XX:InitiatingHeapOccupancyPercent=< % >-XX:+PrintGCDetails-XX:+PrintAdaptiveSizePolicy-XX:G1HeapRegion
2017-02-21 19:47:23
4794
转载 Linux中find常见用法示例
Linux中find常见用法示例：$find path -option [ -print ] [ -exec -ok command ] {} \;find命令的参数：pathname: find命令所查找的目录路径。例如用.来表示当前目录，用/来表示系统根目录。 -print： find命令将匹配的文件输出到标准输出。 -exec： find命令对匹配的文件执行
2017-02-21 16:38:17
490
原创 Linux下查看内存使用情况方法总结
Q：我想监视Linux系统的内存使用情况，在Linux下有哪些视图或者命令行工具可用呢？在做Linux系统优化的时候，物理内存是其中最重要的一方面。自然的，Linux也提供了非常多的方法来监控宝贵的内存资源的使用情况。下面的清单详细的列出了Linux系统下通过视图工具或命令行来查看内存使用情况的各种方法。1. /proc/meminfo查看RAM使用情况最简单的方法是通过/proc/meminfo
2017-02-21 16:23:10
389
转载 Java调用phantomjs采集ajax加载生成的网页
日前有采集需求，当我把所有的对应页面的链接都拿到手，准备开始根据链接去采集（写爬虫爬取）对应的终端页的时候，发觉用程序获取到的数据根本没有对应的内容，可是我的浏览器看到的内容明明是有的，于是浏览器查看源代码也发觉没有，此时想起该网页应该是ajax加载的。不知道ajax的小朋友可以去学下web开发啦。# 采集ajax生成的内容手段不外乎两种。一种是通过http观察加载页面时候的请求，然后我们模仿
2017-02-21 15:40:43
781
转载 文章标题
堆大小设置 JVM 中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统下，一般限制在1.5G~2G；64为操作系统对内存无限制。我在Windows Server 2003 系统，3.5G物理内存，JDK5.0下测试，最大可设置为1478m。典型设置：java -Xmx3550m -Xms3550m -X
2017-02-21 15:20:49
351
转载 XZ压缩最新压缩率之王
xz这个压缩可能很多都很陌生，不过您可知道xz是绝大数Linux默认就带的一个压缩工具。之前xz使用一直很少，所以几乎没有什么提起。 我是在下载phpmyadmin的时候看到这种压缩格式的，phpmyadmin压缩包xz格式的居然比7z还要小，这引起我的兴趣。 最新一段时间会经常听到xz被采用的声音，像是最新的archlinux某些东西就使用xz压缩。不过xz也有一个坏处就是压缩时间比较长，比7
2017-02-17 21:14:07
590
转载 MongoDB中ObjectId生成规则参考
MongoDB中我们经常会接触到一个自动生成的字段：”_id”，类型为ObjectId。本文会详解ObjectId的构成和使用。ObjectId构成之前我们使用MySQL等关系型数据库时，主键都是设置成自增的。但在分布式环境下，这种方法就不可行了，会产生冲突。为此，MongoDB采用了一个称之为ObjectId的类型来做主键。ObjectId是一个12字节的 BSON 类型字符串。按照字节顺序，一
2017-02-17 15:41:13
21498
原创 Python爬虫之Selenium+PhantomJS组合
简介 一直以来我们在使用Python的urllib2、httplib等通信框架来抓取网页，但是涉及到JavaScript渲染的页面却不能抓取，所以采用Web自动化测试工具Selenium，无界面浏览器PhantomJS来抓取JavaScript渲染的页面，带我们熟悉使用后，爬虫技能将大大提升。 Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就
2017-02-17 15:23:54
2477
原创 PhantomJS应用简介
Phantom JS是一个服务器端的 JavaScript API 的 WebKit。其支持各种Web标准： DOM 处理, CSS 选择器, JSON, Canvas, 和 SVG使用场景：无需浏览器的 Web 测试页面访问自动化屏幕捕获网络监控屏幕捕获示例代码： # var page = require(‘webpage’).create(); page.open(‘http:/
2017-02-16 23:04:52
431
转载 Java Remote Debug（远程调试）
新接手的项目采用的是Maven作为编译管理工具，项目内容则是按子模块Module来划分。由于模块太多，且都比较大（基本上都能独立运行并负责处理一方面的业务），并采用Socket来进行模块之间的数据通信，结果就导致一个略显臃肿的系统产生了。最重要的是，不知道maven的pom.xml文件出了什么问题，Eclipse也一直无法成功加载部分重要模块（以致最后切换到JetBrain IDEA(Open So
2017-02-16 19:45:30
547
原创 Linux环境常用解压命令参考
从网络上下载到的源码包，最常见的是 .tar.gz 包，还有一部分是 .tar.bz2包，要解压很简单 ：.tar.gz 格式解压为 tar -zxvf xx.tar.gz.tar.bz2 格式解压为 tar -jxvf xx.tar.bz2
2017-02-16 19:05:21
286
原创 MySql增加用户、授权、修改密码等语句
1.新建用户 //登录MYSQL @>mysql -u root -p @>密码 //创建用户 mysql> mysql> insert into mysql.user(Host,User,Password,ssl_cipher,x509_issuer,x509_sub ject) values(“localhost”,”pppadmin”,password(“passwd”)
2017-02-16 15:49:26
459
原创 常用Ubuntu Linux系统的APT命令
整理了常用Ubuntu Linux系统的APT命令参数：apt-cache search package 搜索包 apt-cache show package 获取包的相关信息，如说明、大小、版本等 # sudo apt-get install package 安装包 sudo apt-get install package - - reinstall 重新安装包 sudo apt-get
2017-02-16 15:44:05
435
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-02-16 15:40:52
155
转载 Python模块之urllib和urllib2结合使用
简介：urllib2是python的一个获取url（Uniform Resource Locators，统一资源定址器）的模块。它用urlopen函数的形式提供了一个非常简洁的接口。这使得用各种各样的协议获取url成为可能。它同时 也提供了一个稍微复杂的接口来处理常见的状况-如基本的认证，cookies，代理，等等。这些都是由叫做opener和handler的对象来处理的。以下是获取u
2015-05-25 17:05:56
614
转载 Python模块之urllib和urllib2之间的区别
#Ps：urllib常和urllib2结合使用作为一个Python菜鸟，之前一直懵懂于urllib和urllib2，以为2是1的升级版。今天看到老外写的一篇《Python: difference between urllib and urllib2》才明白其中的区别。You might be intrigued by the existence of two sep
2015-05-25 17:02:51
488
转载 Python正则及re模块
本文介绍了Python对于正则表达式的支持，包括正则表达式基础以及Python正则表达式标准库的完整介绍及使用示例。本文的内容不包括如何编写高效的正则表达式、如何优化正则表达式，这些主题请查看其他教程。注意：本文基于Python2.4完成；如果看到不明白的词汇请记得百度谷歌或维基，whatever。尊重作者的劳动，转载请注明作者及原文地址 >.html1. 正则表达式基础
2015-05-25 16:58:27
605
1
转载 python模块之urllib
urllib模块提供的上层接口，使我们可以像读取本地文件一样读取www和ftp上的数据。每当使用这个模块的时候，老是会想起公司产品的客户端，同事用C++下载Web上的图片，那种“痛苦”的表情。我以前翻译过libcurl教程，这是在C/C++环境下比较方便实用的网络操作库，相比起 libcurl，Python的urllib模块的使用门槛则低多了。可能有些人又会用效率来批评Python，其实在操作网络
2015-05-25 16:56:37
452
转载 linux之curl命令常用总结
#原文地址： http://www.thegeekstuff.com/2012/04/curl-examples/下载单个文件，默认将输出打印到标准输出中(STDOUT)中curl http://www.centos.org通过-o/-O选项保存下载的文件到指定的文件中：-o：将文件保存为命令行中指定的文件名的文件中-O：使用URL中默认的文件名保存文件到本地
2015-05-11 17:12:38
740
转载 linux用curl命令测试Post请求
POST请求 http://172.16.102.208:8089/wiapi/score?leaderboard_id=1&score=36&app_key=66 目的1：通过脚本发送post请求。 答案： curl -d "leaderboard_id=7778a814
2015-05-11 17:12:05
11320
转载 MySQL中char，varchar与text类型的区别和选用
关于char，varchar与text平时没有太在意，一般来说，可能现在大家都是用varchar。但是当要存储的内容比较大时，究竟是选择varchar还是text呢？不知道。。。。。。于是去查阅了一些资料，顺便将这三种类型做个比较：（1）char: char不用多说了，它是定长格式的，但是长度范围是0~255. 当你想要储存一个长度不足255的字符时，mysql会用空格来填充剩下
2015-05-06 16:53:27
477
转载 MapReduce之join和sort
MapReduce的Join#http://blog.csdn.net/a4342502cld/article/details/18841673MapReduce的Sort#http://blog.csdn.net/a4342502cld/article/details/18950777Hadoop Pipes & Streaming#http://blog.c
2015-04-29 13:12:47
441
转载 MapReduce之Recordreader组件
（1）以怎样的方式从分片中读取一条记录，每读取一条记录都会调用RecordReader类；（2）系统默认的RecordReader是LineRecordReader，如TextInputFormat；而SequenceFileInputFormat的RecordReader是SequenceFileRecordReader；（3）LineRecordReader是用每行的偏移量作为
2015-04-29 12:01:20
1195
转载 MapReduce之计数器
（1）计数器主要用来收集系统信息，以及相关作业的运行时候的统计数据，用于知道作业成功、失败等情况；（2）相比而言，计数器方式比日志更易于分析。内置计数器：（1）Hadoop内置的计数器，主要用来记录作业的执行情况（2）内置计数器包括MapReduce框架计数器（Map-Reduce Framework） ——文件系统计数器（
2015-04-29 11:59:33
1238
转载 hive学习笔记之配置MySQL数据库
默认情况下，Hive的元数据信息存储在内置的Derby数据中。Hive支持将元数据存储在MySQL中，配置过程如下：1.安装MySQL创建用户hadoop$ mysql -u root -pEnter password:进入MySQL后，mysql> CREATE USER 'hadoop'@'localhost' IDENTIFIED BY 'ha
2015-04-27 17:33:18
841
转载 hive学习笔记之配置MySQL数据库
1.Hive简介 起源自facebook由Jeff Hammerbacher领导的团队 构建在Hadoop上的数据仓库框架 设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据 2008年facebook把hive项目贡献给Apache Hive的组件与体系架构 用户接口：shell, thrift, web等 Th
2015-04-27 17:28:59
680
转载 MySQL 新增、删除用户和权限分配-直接修改mysql.user表
1. 新增用户复制代码代码如下:mysql>insert into mysql.user(Host,User,Password) values("localhost","lionbule",password("hello1234"));mysql>flush privileges;2. 修改用户密码复制代码代码如下:m
2015-04-27 17:24:10
1225
转载 Linux命令之crontab定时任务执行
基本格式 : * * * * * command 分 时 日 月 周 命令 第1列表示分钟1～59 每分钟用*或者 */1表示 第2列表示小时1～23（0表示0点） 第3列表示日期1～31 第4列表示月份1～12 第5列标识号星期0～6（0表示星期天） 第6列要运行的命令 crontab文件的一些例子： 30 21 * * * /usr/local
2015-04-27 16:58:18
471
转载 Linux之yum命令的使用总结
yum（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及SUSE中的Shell前端软件包管理器。基於RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软体包，无须繁琐地一次次下载、安装。yum提供了查找、安装、删除某一个、一组甚至全部软件包的命令，而且命令简洁而又好记。yum的命令
2015-04-27 12:01:42
472
转载 python升级导致yum命令无法使用的解决办法
1、报错信息如下：[plain][root@develop bin]# yum [root@develop local]# yum -y install prce There was a problem importing one of the Python modules required to run yum. The error
2015-04-27 11:25:58
1271
转载 Python的lambda匿名函数
lambda函数也叫匿名函数，即，函数没有具体的名称。先来看一个最简单例子：参考：http://www.cnblogs.com/coderzh/archive/2010/04/30/python-cookbook-lambda.htmldef f(x):return x**2print f(4)Python中使用lambda的话，写成这样g = lamb
2015-04-24 17:57:28
483
转载 Python定义函数
1.1 定义函数基础参考：http://www.cnblogs.com/xuqiang/archive/2011/04/22/2025276.html# define the functiondef fib(n): # print the Fibonacci series up to n. a, b = 0, 1; whil
2015-04-24 17:54:54
511
转载 Python的函数返回值
Python的函数返回值最近学一些Python的基本用法，看到定义函数，发现似乎只能返回一个返回值，想想matlab里返回多个返回值多方便啊，网上查了查，看到有返回多个值的方法。参考：http://www.cnblogs.com/tqsummer/archive/2011/01/25/1944382.html python 函数返回值有两种形式：1 返回
2015-04-24 17:53:04
1036
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人