- 博客(58)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 hadoop插件 hive安装
一、前提条件hadoop 3.1.2mysql 5.6.45二、下载hive安装包地址：hive三、安装步骤mysql数据库操作打开mysql创建hive数据库 create database hive;tar -zxvf apache-hive-3.1.1-bin.tar.gzmv apache-hive-3.1.1-bin /opt/hivecd /opt...
2019-08-02 11:44:44
260
原创 pycharm docker 配置测试环境、开发环境
pycharm docker 配置python测试环境1、docker环境搭建2、本地pycharm配置3、主要原理将本地文件同步上传到远程服务器，然后运行解析具体实现1、docker环境搭建 docker pull centos ## 下拉最新centos服务器 2、启动 centos 容器配置好python环境 启动时 暴漏22端口 {本地映射}:22 docker ...
2018-11-06 13:05:29
6435
原创 python chrome 无GUI centos selenium
centos 安装 chrome 无GUI 情况下1. 安装Xvfb、google-chrome2. 测试3. 本例子使用 chrome-driver 2.35.528139 google-chrome 70.0.3538.77-1.x86_64一、安装 google-chrome添加 google安装源vim /etc/yum.repos.d/google.repo...
2018-11-06 11:53:03
546
原创 PYTHON PT时间格式 IOS8601 duration相互转换
场景 在公司任务开发时，爬取youtube数据转换PT格式时间为duration解决方案 安装 isodate 和 duration pip install isodatepip install durationfrom duration import to_secondsimport isodateprint(to_seconds(isodate.parse_d...
2018-06-21 21:04:53
3921
1
原创 shell脚本 批量机器管理 跳板机登陆
shell脚本 批量机器管理 跳板机登陆#!/usr/bin/env bashconfig=( "ip#备注信息" "ip#备注信息")alphabet=({a..z})#十进制转十六进制function dec2hex(){ printf "%x" $1}#十六进制转十进制function hex2dec(){ printf "%d" $...
2018-05-29 15:49:57
1268
原创 pycharm 使用docker 配置环境
前提：windows pycharm使用docker 中的python3搭建运行环境配置环境：pycharm version:2018.1.2docker 18.03.1-ce-win65 windows 10 专业版启动dockerdocker pull python3 ## download python3容器默认latest版本 无需运行该容器，若需要安装...
2018-05-21 16:50:47
31641
5
原创 u盘装载windows系统 无法识别系统 u盘分区 系统与数据分割开来
问题将windows系统.iso文件解压到u盘后，无法正常在启动中运行。u盘启动 文件原理可以参照百度文库以下借助diskgenius 磁盘管理工具来进行处理解决方案下载安装diskgeniusu盘插入，并打开diskgenius，左侧便可显示u盘选项选择u盘选项，选择u盘包含windows系统文件的分区，右键激活分区即可将系统与数据分割开来1....
2018-04-04 17:59:17
756
原创 老毛桃安装U盘 格式化 不可删除的部分
问题用了老毛桃等U盘一键装机工具之后，想还原回原来的U盘，使用格式化，但是依然无法删除老毛桃在U盘隐藏分区中的系统部分。解决方法方法使用Windows Dispart 命令来清除U盘中看不到并且不可删除的部分一、步骤打开命令行，输入diskpart 然后回车查看有哪些硬盘/U盘： 输入 list disk可以根据容量判断出自己的U盘，我一共有两块硬盘，一个本机(磁...
2018-04-04 17:33:10
7282
3
原创 elasticsearch 查询基本结构 数组查询 对象查询 字段是否存在 是否为空
#基本结构{ "query":{ "bool":{ "must":{ }, "must_not":{}, "filter":{}, "should":{}, "should_not":{} } }}
2018-03-23 11:56:17
17731
原创 廖雪峰官网 python 列表生成式小结
思考：如果list中既包含字符串，又包含整数，由于非字符串类型没有lower()方法，所以列表生成式会报错：L = [‘Hello’, ‘World’, 18, ‘Apple’, None]简洁答案：[s.lower() if isinstance(s,str) else s for s in L]
2018-01-18 15:43:16
462
原创 python中系统pytz升级或无法删除
一、环境配置python version 2.7.10mac book 10.13.2二、执行操作楼主在一次项目中遇到pytz版本过低，希望升级pytz，在网上找到可以更新的方案pip install –upgrade 库名 失败，不是权限问题更新不成只能卸载，下面卸载也是failurepip uninstall pytz failure
2018-01-16 21:03:29
1506
原创 pyCharm 中 module 调用失败
检测自己当前系统环境中python是否已经安装该module，若未安装请自行安装检测自己的pycharm使用的环境变量是否与当前环境一致 若不一致，则在File中选择Default Settings点击Show All 删除掉当前目录使用的环境，然后只保留选择系统环境，点击ok即可
2018-01-16 20:49:22
1268
原创 mac安装MySQL-python失败总结
当前系统版本 10.13.2最近mac版本升级后，安装MySQL-python一直失败pip install mysql 会提示这个错误 上网找了很久，也尝试了很多次，没发现合适的答案，最后尝试到自己的xcode版本过低，于是从app store升级xcode，试玩之后还是这个错误。 ld: library not found for -lssl clang
2018-01-08 11:32:48
7060
1
原创 javascript编译php反编译后+号消失
javascript编译，php后台接收，+、加号消失简单实现方案 let dataEncode = encodeURI(data) dataEncode = dataEncode.replace(/\+/g, "%2B");php后端 $_GET或$_POST接收参数，自动将参数反编译
2017-12-28 21:05:40
567
原创 ajax传递html文本给server端失效与textarea中显示html文本
在公司的一次任务中遇到，前端界面要传递html文本到后端。但是ajax再此方面略有欠缺，楼主用一个取巧的方法解决了问题，以此记录一下。问题：ajax传递html文本到后台失效javascript 处理 textarea中显示html文本解决方案：将html文本改变为普通文本后端将普通文本转化回html文本实现方案：前端实现 /** * 将 <、>等符号替换为html转
2017-12-28 20:54:44
711
原创 JavaScript 操作JSON对象查找、删除、修改
近日根据公司需求用js对json的各种处理，完成后整理如下:对JSON的查找 /** * * 获取JSON对应叶子节点的数据 */ function getJSONData(keys, data ){ let [key, ...child] = keys if (keys.length == 1) { // delete datas[key]
2017-12-11 19:59:16
22685
2
原创 html标签的使用规范
iframe标签<iframe></iframe> ###正确<iframe/> ###错误ul 、li的使用li = document.createElement('li')ul = document.createElement('ul')var result = ul.appendChild(li)console.log(ul) ##便可以得到正确结果consol
2017-11-18 14:15:02
959
原创 mac brew和brew cask的区别
brew 是从下载源码解压然后./configure && make install,同时会包含相关依存库。并自动配置 好各种环境变量，而且易于卸载。而brew cask是已经编译好了的应用包(.dmg/.pkg). 仅仅是下载解压，放在统一的目录中(/opt/homebrew-cask/Caskroom), 省掉了自己去下载、解压、拖拽(安装)等蛋疼的步骤，同样，卸载相当容易与干净。
2017-11-06 11:23:40
14198
原创 安装tesseract_ocr失败解决方案
安装tesseract_ocr失败解决方案问题是缺少Microsoft Visual C++ 14.o is requeired直接去给的网址 http://landinghub.visualstudio.com/visual-cpp-build-tools 选择一个版本下载安装在安装Mircosoft 的时候报错需要。Net Framework4.5.1或更高的版本 所以直接安装.Net Fram
2017-11-03 14:03:02
8451
2
原创 eclipse设定使用的Java版本以及jre或jdk
1.打开eclipse 2.选择windows，点击preferences，看到弹窗，左侧选择选择Java点击Installed JREs，右边会显示出当下设定的系统java版本，可以进行修改，也可以进行添加新的路径。在使用的过程中选择指定的版本3.使用过程中项目右键Properties，选择 Java Build Path，在右侧点击Libraries，点击Edit或者Add Library，修
2017-10-30 19:55:03
910
原创 windows7环境下安装php7问题解决方案
从官网下载下来的php7，解压后运行会报如下的错误 api-ms-win-crt-runtimel1-1-0.dll缺失的 需要安装windows扩展包，windows7本身是不支持php7的所以需要安装 下载最新版本安装即可 https://support.microsoft.com/en-hk/help/2977003/the-latest-supported-visual-c-down
2017-10-30 19:42:05
567
原创 Java类加载机制
*在虚拟机的生命周期中一个类只被加载一次。 *类加载的原则：延迟加载，能少加载就少加载，因为虚拟机的空间是有限的。 *类加载的时机： 1）第一次创建对象要加载类. 2）调用静态方法时要加载类,访问静态属性时会加载类。 3）加载子类时必定会先加载父类。 4）创建对象引用不加载类.
2017-10-27 14:18:56
178
原创 Java之IntegerCache简单介绍
废话不说上代码/** * 缓存测试 * @param args * @throws NoSuchFieldException * @throws IllegalAccessException */ public static void main(String[]args) throws NoSuchFieldException, Illega
2017-10-27 11:50:32
1192
原创 Java之Integer数值比较
工作中偶然遇到下面的问题，mark以下Integer数值比较。下面展示测试代码。 public static void main(String[]args){ testInteger(); } public static void testInteger() { Integer c = 127; Integer d = 12
2017-10-27 11:03:11
1570
原创 Java调用python之lxml解析xpath
一、需求背景： 公司有爬虫需求，希望通过xpath解析网页，最早的版本是调用Java版本的Jsoup来完成的，但是Jsoup只能处理一些简单的xpath，对于一些特殊函数的xpath无法支持，后来又通过使用xpath2selector用来处理高级xpath问题，但是xpath2selector也存在一些问题，不能支持部分高级函数以及乱码问题，java版本使用xpath太难寻找，最终决定使用py
2017-09-30 17:24:27
1031
2
原创 maven java项目打包发布插件 maven-assembly-plugin
插件安装在pom.xml中配置<plugins> <plugin> <artifactId>maven-assembly-plugin</artifactId> <version>2.4.1</version> <configuration> <descriptors> <!--描述文件路径-->
2017-09-06 15:19:26
2345
转载 Java基础恶补——内存泄露、内存溢出
Java基础恶补——内存泄露、内存溢出(2010-09-15 15:56:26)转载标签：杂谈要点内存泄露是指程序中间动态分配了内存，但在程序结束时没有释放这部分内存，从而造成那部分内存不可用的情况，重启计算机可以解决，但也有可能再次发生内存泄露，内存泄露和硬件没有关系，它是由软件设计缺陷引起的。 内存泄漏可以分为4类： 1) 常发性内存泄漏。发生内存泄漏的代码会被多次执行到，每次被执行的时候
2017-09-06 14:35:43
240
原创 maven eclipse 创建包后消失，资源文件不能被识别
1.maven eclipse 创建包后消失，在eclipse上看不到由于create Package-info.java没有选中所以没有创建文件，包里面没有文件所以包并没有显出来,解决办法 在该包的最终路径里面添加一个文件。然后回到eclipse刷新项目即可看到创建的包2.maven的资源文件创建后不能被识别我们希望创建完项目之后变为途中这个样子但是例如下图情况，文件夹虽然被创建，但是并没有
2017-09-01 21:10:56
1190
原创 python之常用的时间格式转换
1.utc时间转化为当地时间(cst时间)import datetimeimport timedef utc2local(utc_date): now_stamp = time.time() local_time = datetime.datetime.fromtimestamp(now_stamp) utc_time = datetime.datetime.utcfro
2017-08-23 19:00:49
3205
1
原创 elasticsearch实用篇之head工具安装以及使用
在elasticsearch已经正常安装的情况下elasticsearch-head的安装以及使用Elasticsearch Head是集群管理、数据可视化、增删改查、查询语句可视化工具。下面是安装步骤一、下载elasticsearch-head安装包使用下载 配置git clone https://github.com/mobz/elasticsearch-headcd elasticsear
2017-08-12 16:02:16
808
原创 elasticsearch实用篇之kibana安装以及使用
kibana是由elsticsearch官方提供的一个管理elasticsearch的工具。一、下载kibana官网地址：[https://www.elastic.co/downloads/kibana](https://www.elastic.co/downloads/kibana)选择适合自己的版本，下面介绍windows版本和mac版本的使用二、mac版本安装使用进入到下载目录解压: ta
2017-08-12 15:25:43
22180
原创 elasticsearch实用篇之基础查询
之前一直按照官方文档翻译elasticsearch的部分，根据官网笔者总结了几个是实用的基础查询。一、简单的term查询{ "query":{ "term":{ "字段名": "值" } }}该查询类似于mysql中的where 字段名=”值” 一样的效果，可以用与查询类型为keywords、short、integer、long
2017-08-12 13:41:25
356
原创 python 重定向获取真实url
楼主在做公司项目的时候遇到url重定向的问题，因此上网简单查找，作出如下结果由于使用的是语言是python所以以下是python的简单解决方案http_headers = { 'Accept': '*/*','Connection': 'keep-alive', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/
2017-07-20 15:01:33
17255
2
原创 mac 安装超级vim报错ImportError: dlopen(/usr/local/Cellar/python/2.7.11/Frameworks/Python.framework/Version
错误信息ImportError: dlopen(/usr/local/Cellar/python/2.7.11/Frameworks/Python.framework/Versions/2.7/lib/python2.7/lib-dynload/_io.so, 2): Symbol not found: __PyCodecInfo_GetIncrementalDecoder解决方案 是由于_io.
2017-07-10 11:55:45
8092
原创 git使用之忽略不需要上传的文件的几种方式
在我们使用git 的时候通常会遇到一些问题，一些文件我创建了但是我并不想上传或者有些文件我修改了但是并不想上传（为了适应个自己的开发环境），但是在每次git status的时候总能看到它，不仅感到很心烦，而且有时会误上传。笔者接下来介绍两种git 忽略文件的方法。一、忽略未存在缓冲区的文件（.gitignore文件忽略的方法） 一般git clone下来的项目是没有 .gitignore文件
2017-06-20 19:20:52
7246
原创 JAVA Mac Maven项目搭建及一些初级配置
最近刚接触公司爬虫，由于爬虫代码使用的Maven作为项目管理工具，因此研究了一下Maven的搭建过程。Maven为一个Java的项目管理工具，类似于npm与node的关系。以下是环境以及搭建过程一、环境操作系统：MacOS 编辑器：eclipse二、创建步骤1.新建项目 选择Maven Project 点击Next，稍后填入group Id(包名)，articleId(项目名) 一直点击next
2017-06-10 12:16:52
598
翻译 elasticsearch之query-----执行Search
执行Search 在之前的讲述中，我们已经学会了一些基本的搜索参数，今天我们来进一步探讨Query DSL。我们先来看看返回的文档中的部分字段。 我们不希望返回所有字段，只返回我们需要的字段 下面例子显示出只返回 account_numer和 balance字段GET /bank/_search{ "query": { "match_all": {} }, "_source":
2017-04-12 20:04:48
1180
原创 PHP之0与空字符串关系测试以及详解
工作中遇到一个奇怪问题 当设置变量为零时 加以判断 zero_int=0与zero_int=”“或zero_int=”等价 测试代码<?php//定义单双引号是因为php中单双引号表达的含义不同$zero_string = '0';$zero_string_shuang = "0";$zero_int = 0;if(empty($zero_string)){ echo 'zero_
2017-04-11 21:23:48
3493
2
翻译 elasticsearch之Search API
现在我们开始一些简单的搜索。 运行检索的一共有两种方式： 一种是通过发送搜索参数REST请求URL，另一种是发送请求主体 1.发送搜索参数REST请求 GET /bank/_search?q=*&sort=account_number:asc&pretty返回结果{ "took" : 63, "timed_out" : false, "_shards" : { "total
2017-04-10 21:55:13
372
翻译 elasticsearch之批处理
批处理 除了能够索引，更新和删除单个文档之外，Elasticsearch还提供了使用_bulkAPI批量执行上述任何操作的功能。这个功能很重要，因为它提供了一个非常有效的机制来尽可能快地进行多个操作，尽可能少的网络往返行程。批处理插入的两个文档POST /customer/external/_bulk?pretty{"index":{"_id":"1"}}{"name": "John Doe"
2017-04-08 18:54:46
755
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人