- 博客(86)
- 资源 (1)
- 收藏
- 关注
RSS订阅
转载 龙应台：孩子，我为什么要求你读书？
全文如下：本文是龙应台记录下儿子21岁时他们的一场对话。她写给儿子安德烈的一段话也在微信微博上疯转：孩子，我要求你读书用功，不是因为我要你跟别人比成绩，而是因为，我希望你将来会拥有选择的权利，选择有意义、有时间的工作，而不是被迫谋生。当你的工作在你心中有意义，你就有成就感。当你的工作给你时间，不剥夺你的生活，你就有尊严。成就感和尊严，给你快乐。那天我问你，“你将来想做什么”
2017-10-01 00:44:19
3118
转载 穷人和富人
扯几句闲话。想发财的人，对自己工作的要求，得按照有钱人工作的标准。我们受的教育，貌似都是有钱人都很懒，穷人都很勤奋。比如穷人的孩子才早当家之类的。实际上恰恰相反。有钱人都很勤奋。有钱人都是不敢按自己的情绪去做事的，无论任何时候都小心翼翼地。我说的没用。希望大家多观察。得意识到原来对自己的要求很低，然后才可能真的改，才可能发财。大多人，都不知道高标
2017-02-14 11:57:47
352
原创 spark Streaming从kafka消费数据遇到的问题，求解
问题：INFO JobScheduler: Added jobs for time消费kafka数据的过程中，有时候会一直出现 INFO JobScheduler: Added jobs for time ，百度说的是设置的单线程，但是在程序里面设置的是local[*]，偶然跑了下，发现会有Added jobs for time和数据一起出现的情况，求解~~...
2019-03-13 16:36:50
1638
1
原创 spark原理概念
spark有哪些组件：master：管理集群和节点，不参与计算worker：计算节点，进程本身不参与计算，向master心跳（不包含节点资源）Driver：运行程序的main方法，创建spark context对象spark context：控制整个application的生命周期，包括DAGSchedule和 TaskSchedule等client：用户提交程序的入口spark的优...
2019-03-01 18:18:38
307
原创 leetcode:165. 比较版本号
比较两个版本号 version1 和 version2。 如果 version1 > version2 返回 1，如果 version1 < version2 返回 -1， 除此之外返回 0。你可以假设版本字符串非空，并且只包含数字和 . 字符。. 字符不代表小数点，而是用于分隔数字序列。例如，2.5 不是“两个半”，也不是“差一半到三”，而是第二版中的第五个小版本。...
2018-07-17 09:48:11
911
原创 matplotlib中给图形设置文本注释
主要方法1.figure #标题2.xlable() #x轴标签3.ylable() #y轴标签4.title() #图形标题5.text() #文本注释6.grid() #是否启用方格[true/false]annotate()
2018-04-23 17:43:18
15010
1
原创 hive脚本挂后台命令
nohup sh xxx.sh xxx> xxx.log & nohup sh：.sh脚本挂后台命令 xxx:脚本中的参数（可无） xxx.log 将日志写到xxx.log文件中 & 挂后台标志
2018-03-29 11:40:05
2718
原创 我的2017--生活篇
记得很清楚，在17年大年三十晚上，一个人躺在床上回想着16年发生的一切，做了什么事？去了哪里？认识了哪些人...？很模糊的印象，很多事又好像是15年发生的......时间太快，记忆混乱不堪。 然后，我决定用手机记录下每天的发生的事情，这就是我一整年在做的事情。很开心自己能坚持下来，虽然中间有很多天忘了或者无聊到不知道拍什么好，总体看来，我成功了。
2018-02-08 12:02:40
383
原创 微信跳一跳问题总结
在测试大佬写的python跳一跳时候刚开始就出问题了，本人用的是小米Note，总结如下： 1.python安装，最好选用anaconda版本。anaconda集成了很多包，省去了很多不必要的麻烦。2.安装adb的时候出现offline问题，看了网上的很多解决方法 下载adb，在下载的过程中随便下载了一个，配置环境变量，又去设备管理器里面看黄色的图标（按照百度经验来的），没作用。用cmd命令检测发
2018-01-03 14:24:58
3926
原创 scrapy爬虫案例爬取赶集网租房信息并入库
本案例有以下几个步骤1、scrapy shell 使用2、创建scrapy项目3、创建数据库4、编写爬虫一、scrapy shell 使用安装pycharm专业版（数据库要用到），ipython，打开windows命令提示符，然后输入scrapy，会列出用法。也可以用pycharm自带的Terminal，打开pycharm后在底行有个Termin
2017-11-14 11:58:41
2835
1
原创 pandas练习
更多函数查阅http://pandas.pydata.org/pandas-docs/stable/10min.htmlimport pandas as pd#两种数据结构from pandas import Series,DataFrame#Series由一组数据和一组索引组成# obj=Series([2,3,5,7,3,1])# print(obj)#建立Series的时候
2017-11-14 09:23:45
958
原创 Numpy练习
import numpy as np import pandas as pd from numpy import random from numpy.random import randn #######生成矩阵################ # #将列表放入Numpy数组 # data=[2,3
2017-11-14 09:21:30
665
原创 NumPy基础练习（练一遍搞定NumPy）
import numpy as npimport pandas as pdfrom numpy import randomfrom numpy.random import randn#######生成矩阵################# #将列表放入Numpy数组# data=[2,3,4,5]# arr=np.array(data)# print(arr)# #创建二维
2017-11-01 20:56:08
1059
原创 正则表达式
软件：regexbuddy基本语法 \d 0-9任意一个数字 \w 任意一个字母数字，下划线 \s 空白符 [] 包含中括号中的任意【一个】字符 [ab5@]:匹配a,b,5,@ 中的任意一个字符 [f-k]：匹配f-k之间的任意一个字符 [^A-F0-3]:匹配A-F0-3之外的任意一个字符
2017-10-17 21:07:25
262
转载 SAXReader简单实例解析HTML
转载自：http://blog.csdn.net/seayqrain/article/details/5024068#使用SAXReader需要导入dom4j-full.jar包。dom4j是一个Java的XML API，类似于jdom，用来读写XML文件的。dom4j是一个非常非常优秀的Java XML API，具有性能优异、功能强大和极端易用使用的特点，同时它也是一个开放源代码
2017-10-11 10:21:24
1122
原创 日常错误
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:643)at org.apache.hadoop.fs.RawLocalFileSystem.pathToFile(RawLocalFileSystem.java:80)
2017-10-10 11:24:45
621
原创 java中的缓冲流BufferedWriter和BufferedReader
java中的缓冲流有BufferedWriter和BufferedReader在java api 手册中这样说缓冲流：从字符输入流中读取文本，缓冲各个字符，从而实现字符、数组和行的高效读取。可以指定缓冲区的大小，或者可使用默认的大小。大多数情况下，默认值就足够大了。 通常，Reader 所作的每个读取请求都会导致对底层字符或字节流进行相应的读取请求。因此，建议用 BufferedRea
2017-10-09 19:37:59
655
原创 jsoup从表单中取数据
表单的格式如下user ccpass 123如何从这里面取到pass和123呢？jsoup主要用select来选择和定位标签代码如下：importorg.jsoup.Jsoup;importorg.jsoup.nodes.Document;importorg.jsoup.select.Elements;publicclassTest{ publi
2017-10-01 00:38:03
1583
2
原创 实例理解mapreduce任务的串行运行过程
一、准备：eclipse，hadoop集群注意：为了方便测试和修改，我用的是 windows 连接hadoop集群，这样在windows 下直接就能够执行 mapreduce 任务，方便程序调试。在 windows 下执行 mapreduce 任务需要安装相关插件，可以参考 windows连接hadoop集群下执行MapReduce任务数据下载地址：数据下载密码：idnx
2017-09-29 09:22:48
924
原创 Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException):
用windows连接hadoop集群执行mapreduce任务的时候出现以下错误：org.apache.hadoop.security.AccessControlException:Permission denied: user=Administrator, access=WRITE,inode="/output":hadoop:supergroup:drwxr-xr-xC
2017-09-29 08:43:38
3768
原创 window10下的eclipse用java连接hadoop执行mapreduce任务
一.准备工作1.eclipse连接hadoop的插件，需要版本匹配，这有几个常用的 2 版本的插件hadoop2x-eclipse-plugin-master 密码：feg12.hadoop-common-2.2.0-bin-master，这个跟版本无关，直接用就可以。hadoop-common-2.2.0-bin-master密码：nr3h
2017-09-27 22:35:16
1081
原创 ssh: connect to host master port 22: Connection refused
hadoop集群启动的时候namenode显示Connection refused到windows下ping master 显示传输中过期ip是静态的ssh master 也是连接拒绝重启ssh服务发现这个问题。。。Sep 27 16:13:15 master sshd[1708]: Server listening on :: port 22.Sep 27 16:
2017-09-27 17:55:17
1214
原创 java爬虫--jsoup简单的表单抓取案例
分析需求：某农产品网站的农产品价格抓取网站链接：点击打开链接页面展示如上:标签展示如上:分析发现每日价格行情包括了蔬菜，水果，肉等所有的信息，所以直接抓每日行情的内容就可以实现抓取全部数据。软件环境：eclipse，Jsoup包下载地址：点击打开链接 密码：bmrr抓取表单比较简单，直接用select选择标
2017-09-25 09:16:43
2289
原创 CentOs6.8 hadoop集群搭建过程中的问题
以下是地方1.Error: Java heap space网上有很多说是java虚拟机内存不够的，我也试着修改内存大小，但是没起作用，后来发现是文件在传输过程中失真。文件在上传到HDFS后变成乱码，重新上传文件后解决。卡在running jobYarn-site.xml配置错误
2017-09-23 07:19:10
296
原创 python3 字符串操作相关函数
整理自python基础|菜鸟教程 感谢菜鸟教程提供的优质资源！ 1.capitalize()将字符串的第一个字符转换为大写实例以下实例展示了capitalize()方法的实例：#!/usr/bin/python3str = "this is string example from runoob....wow!!!"print ("str.capitaliz
2017-09-23 07:03:54
2785
原创 CentOs7相对于CentOs6的常用命令变化
比如说防火墙在CentOS6中为 iptables，在CentOS7中变为 firewalld。service iptables stop/start/restartsystemctl stop/start/restart firewalld 主要还是操作服务的改变，由原来的service+服务进程+操作变为systemctl+操作+服务，顺序稍微改变了一下，用起来可能不是很顺手，熟悉
2017-09-22 16:13:13
2418
1
原创 echarts2.2.7本地搭建
1.首先下载echarts2.2.7，解压到本地，解压后的目录如下：2.在WebContent下建立一个名为build的目录，复制echarts2.2.7下面的build下面的dist目录到eclipse的WebContent下，再将dist目录改名为echarts或者直接将build目录复制到eclipse的WebContent下（因为只用到了build下的dist目录，并没有用到s
2017-09-01 17:39:53
2780
原创 初入servlet：Allocate exception for servlet
老板，来一碗错误垫垫肚子！页面报错如下：java.lang.NoClassDefFoundError:IllegalName: firstDemo/Test java.lang.ClassLoader.preDefineClass(Unknown Source) java.lang.ClassLoader.defineClass(Unknown
2017-08-13 11:09:48
23554
5
原创 The superclass "javax.servlet.http.HttpServlet" was not found on the Java Build Path
初学前端，遇到了这个问题，在jsp页面的开头会有个红色的波浪线，鼠标放上去会报这个错。The superclass "javax.servlet.http.HttpServlet" was not found on theJavaBuild Path解决方法：
2017-08-12 17:03:47
515
原创 hbase的HQuorumPeer和QuorumPeerMain
hbase是列式数据库，既可以单机也可以以集群的方式搭建，以集群的方式搭建一般建立在hdfs之上。分布式的hbase如何启动？首先启动hadoop，然后就来问题了：zookeeper和hbase的启动顺序是什么？1,先启动hbase:hbase有内置的zookeeper，如果没有装zookeeper，启动hbase的时候会有一个HQuorumPeer进程。2.先启动
2017-08-07 11:29:07
5712
原创 idea tomee required to support ear ejb deployment问题
先删掉原来的uname，然后添加项目即可
2017-08-02 00:25:36
9863
转载 Windows下命令（bat可用）
转自http://blog.csdn.net/CDersTeam/article/details/51346911gpedit.msc—–组策略 2. sndrec32——-录音机 3. Nslookup——-IP地址侦测器 ，是一个 监测网络中 DNS 服务器是否能正确实现域名解析的命令行工具。 它在 Windows NT/2000/XP 中均可使用 , 但在 Win
2017-07-20 23:43:06
488
原创 no device found for connection ‘ System eth0′问题
我用的是centos6在ping 百度的时候ping不通提示错误no device found for connection ‘ System eth0′解决方法：注意创建的是一个wired
2017-06-19 16:16:34
492
原创 流式计算storm，spark文章
使用Storm实现实时大数据分析！http://www.csdn.net/article/2012-12-24/2813117-storm-realtime-big-data-analysis 主要讲strom组件。
2017-06-15 23:03:58
300
转载 mysql索引优化建议
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id fro
2017-06-01 15:04:08
268
转载 solr安装血泪史
Windows10专业版，solr6.5.1,tomcat8.5.14，jdk1.8转自http://www.jianshu.com/p/dd7a59b3f0b5科普篇来自百度百科：Solr简介Solr是一个基于Lucene的Java搜索引擎服务器。Solr 提供了层面搜索、命中醒目显示并且支持多种输出格式（包括 XML/XSLT 和 JSON 格式）。它易于安装和配置，而且附
2017-05-11 01:21:05
549
原创 最最简单的CentOs6在线源搭建
非常实用的在线源搭建，只要4步骤1.点击进入http://mirrors.aliyun.com/repo/epel-6.repo ，这是阿里云的源2.复制所有的代码，这个不用教吧 ctrl+a,ctrl+c3.进入root 用户，进入源：vim /etc/yum.repos.d/CentOS-Base.repo4.在最后粘贴复制的代码，保存退出，o
2017-05-09 12:15:28
423
spring4个核心包加两个日志包
2017-08-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人