wangshuang1631-CSDN博客

原创 Hive查询技巧

先说一下需求：有批次表A和批次表B，现在需要查询在A中而不在B中的记录。 hive语句： select a.* FROM A a left outer join B b on a.qq = b.qq WHERE b.qq is null;

2017-11-29 19:50:55 943

原创 shell示例

#!/bin/bashDATE_FROM=`date -d "$1" +%Y%m%d` DATE_TO=`date -d "$2" +%Y%m%d`FILE_NAME_START="icore-pnbsWII3830-"FILE_NAME_TAIL=".tgz"FILE_NAME_SIGN="acc"while [[ $DATE_FROM < $DATE_TO ]] do

2017-10-09 18:46:44 1443 1

原创《Python机器学习及实践》----模型实用技巧

本片博客是根据《Python机器学习及实践》一书中的实例，所有代码均在本地编译通过。数据为从该书指定的百度网盘上下载的，或者是sklearn自带数据下载到本地使用的。代码片段：measurements = [{'city': 'Dubai','temperature': 33},{'city': 'London','temperature': 12.},{'city': 'San Fransi

2017-09-13 15:11:33 3588

原创《Python机器学习及实践》----无监督学习之特征降维

本片博客是根据《Python机器学习及实践》一书中的实例，所有代码均在本地编译通过。数据为从该书指定的百度网盘上下载的，或者是sklearn自带数据下载到本地使用的。代码片段：# coding: utf-8import numpy as npM = np.array([[1, 2], [2, 4]])np.linalg.matrix_rank(M, tol=None)import pan

2017-09-12 17:31:54 3596 1

原创《Python机器学习及实践》----无监督学习之数据聚类

本片博客是根据《Python机器学习及实践》一书中的实例，所有代码均在本地编译通过。数据为从该书指定的百度网盘上下载的，或者是sklearn自带数据下载到本地使用的。代码片段：# coding: utf-8# 分别导入numpy、matplotlib以及pandas，用于数学运算、作图以及数据分析。import numpy as npimport matplotlib.pyplot as

2017-09-12 16:48:22 3827

原创《Python机器学习及实践》----监督学习经典模型

本片博客是根据《Python机器学习及实践》一书中的实例，所有代码均在本地编译通过。数据为从该书指定的百度网盘上下载的，或者是sklearn自带数据下载到本地使用的。代码片段：import pandas as pdimport numpy as npcolumn_names = ['Sample code number', 'Clump Thickness', 'Uniformity of

2017-09-12 16:05:57 3209

原创《Python机器学习及实践》----良/恶性乳腺癌肿瘤预测

本片博客是根据《Python机器学习及实践》一书中的实例，所有代码均在本地编译通过。数据为从该书指定的百度网盘上下载的。代码片段：import pandas as pdimport matplotlib.pyplot as pltimport numpy as npfrom sklearn.linear_model import LogisticRegressiondf_train = p

2017-09-11 17:06:41 6605 3

原创《利用Python进行数据分析》笔记---第11章金融和经济数据应用

写在前面的话：实例中的所有数据都是在GitHub上下载的，打包下载即可。地址是：http://github.com/pydata/pydata-book还有一定要说明的：我使用的是Python2.7，书中的代码有一些有错误，我使用自己的2.7版本调通。# coding: utf-8import numpy as npimport pandas as pdfrom pandas impor

2017-08-11 11:24:26 3979

原创《利用Python进行数据分析》笔记---第10章时间序列

写在前面的话：实例中的所有数据都是在GitHub上下载的，打包下载即可。地址是：http://github.com/pydata/pydata-book还有一定要说明的：我使用的是Python2.7，书中的代码有一些有错误，我使用自己的2.7版本调通。# coding: utf-8from __future__ import divisionfrom pandas import Serie

2017-08-10 16:13:35 3010

原创《利用Python进行数据分析》笔记---第9章数据聚合与分组运算

写在前面的话：实例中的所有数据都是在GitHub上下载的，打包下载即可。地址是：http://github.com/pydata/pydata-book还有一定要说明的：我使用的是Python2.7，书中的代码有一些有错误，我使用自己的2.7版本调通。# coding: utf-8from pandas import Series, DataFrameimport pandas as pd

2017-08-10 14:34:19 2860 1

原创《利用Python进行数据分析》笔记---第8章绘图和可视化

写在前面的话：实例中的所有数据都是在GitHub上下载的，打包下载即可。地址是：http://github.com/pydata/pydata-book还有一定要说明的：我使用的是Python2.7，书中的代码有一些有错误，我使用自己的2.7版本调通。# coding: utf-8from pandas import Series, DataFrameimport pandas as pd

2017-08-09 17:48:53 3066

原创《利用Python进行数据分析》笔记---第7章数据规整化：清理、转换、合并、重塑

写在前面的话：实例中的所有数据都是在GitHub上下载的，打包下载即可。地址是：http://github.com/pydata/pydata-book还有一定要说明的：我使用的是Python2.7，书中的代码有一些有错误，我使用自己的2.7版本调通。# coding: utf-8from pandas import Series, DataFrameimport pandas as pd

2017-08-09 15:53:27 3124 1

原创《利用Python进行数据分析》笔记---第6章数据加载、存储与文件格式

写在前面的话：实例中的所有数据都是在GitHub上下载的，打包下载即可。地址是：http://github.com/pydata/pydata-book还有一定要说明的：我使用的是Python2.7，书中的代码有一些有错误，我使用自己的2.7版本调通。# coding: utf-8from pandas import Series, DataFrameimport pandas as pd

2017-08-08 13:42:42 3261

原创《利用Python进行数据分析》笔记---第5章pandas入门

写在前面的话：实例中的所有数据都是在GitHub上下载的，打包下载即可。地址是：http://github.com/pydata/pydata-book还有一定要说明的：我使用的是Python2.7，书中的代码有一些有错误，我使用自己的2.7版本调通。# coding: utf-8from pandas import Series, DataFrameimport pandas as p

2017-08-07 17:49:22 2982

原创 Cause: org.postgresql.util.PSQLException: ERROR: cached plan must not change result type的前因后果

首先说明一下遇到的问题： PG数据库，对其中的某张表增加一列后，应用报错，信息如下：应用使用相关框架如下：SpringBoot、MyBatis。### Cause: org.postgresql.util.PSQLException: ERROR: cached plan must not change result type; uncategorized SQLException for

2017-08-07 10:49:49 7436 1

原创 Java判断String类型变量是否可以转换数字类型

正则表达式首先要import java.util.regex.Pattern 和 java.util.regex.Matcherpublic boolean isNumeric(String str){ Pattern pattern = Pattern.compile("[0-9]*"); Matcher isNum = pattern.matcher(

2017-08-07 10:26:16 14885

原创解决Uploadify上传控件加载导致的GET 404 Not Found问题

使用Uploadify创建上传文件，当打开上传页面没有做任何事情时，报了一个404错误！错误页面如下图：经过各方查找资料，找到原因如下： Uploadify调用供支持Flash上传用的，但是其没有对button_image_url进行判断，导致如果button_image_url为空的话就默认请求了当前根路径，修改的方法也比较简单，加个判断即可：将下面代码：this.settings.

2017-08-03 16:41:47 3463

原创《利用Python进行数据分析》笔记---第4章NumPy基础：数组和矢量计算

写在前面的话：实例中的所有数据都是在GitHub上下载的，打包下载即可。地址是：http://github.com/pydata/pydata-book还有一定要说明的：我使用的是Python2.7，书中的代码有一些有错误，我使用自己的2.7版本调通。# coding: utf-8import numpy as npdata1 = [6.,7.5,8.,0.,1.]arr1 = np.ar

2017-08-02 19:17:38 3970

原创《利用Python进行数据分析》笔记---第2章--1880-2010年间全美婴儿姓名

写在前面的话：实例中的所有数据都是在GitHub上下载的，打包下载即可。地址是：http://github.com/pydata/pydata-book还有一定要说明的：我使用的是Python2.7，书中的代码有一些有错误，我使用自己的2.7版本调通。# coding: utf-8import pandas as pdimport numpy as npnames1880 = pd.re

2017-08-01 10:16:49 4371 1

原创《利用Python进行数据分析》笔记---第2章--MovieLens 1M数据集

写在前面的话：实例中的所有数据都是在GitHub上下载的，打包下载即可。地址是：http://github.com/pydata/pydata-book还有一定要说明的：我使用的是Python2.7，书中的代码有一些有错误，我使用自己的2.7版本调通。# coding: utf-8import pandas as pdunames = ['user_id','gender','age','

2017-08-01 10:14:16 5131

原创《利用Python进行数据分析》笔记---第2章--来自bit.ly的1.usa.gov数据

写在前面的话：实例中的所有数据都是在GitHub上下载的，打包下载即可。地址是：http://github.com/pydata/pydata-book还有一定要说明的：我使用的是Python2.7，书中的代码有一些有错误，我使用自己的2.7版本调通。# coding: utf-8import jsonpath = 'D:\Source Code\pydata-book-master\c

2017-08-01 10:11:42 5648 1

原创 TypeError: pivot_table() got an unexpected keyword argument 'rows'

利用Python进行数据分析》第二章，处理MovieLens 1M数据集，有句代码总是报错：mean_rating = data.pivot_table('rating', rows='title', cols='gender', aggfunc='mean')报错信息如下：Traceback (most recent call last): File "D:\Users\wangshuang8

2017-07-31 16:06:32 5617

原创 Python报错IOError: [Errno 22] invalid mode ('r') or filename

IOError: [Errno 22] invalid mode (‘r’) or filename: 这种错误的出现是在使用built-in函数file()或者open()的时候。或者是因为文件的打开模式不对，或者是文件名有问题。前者的话只需要注意文件是否可读或者可写就可以了。后者则是与文件路径相关的问题，需要在文件名前加r或者R转义，如：file(r”e:\Test.txt”,’r

2017-07-31 15:38:42 16916

原创 Java数据封装类

项目中用到，比较好用！！用户前端与后台的交互数据，这个封装类中包含分页、数据、错误码、状态码等信息！！亲测好用哦！一个类DataWrapperpublic class DataWrapper<T>{ private CallStatusEnum callStatus; private ErrorCodeEnum errorCode; private T data;

2017-07-27 17:21:45 2359

原创 index、noindex、follow、nofollow的使用说明

爬虫是目前最常见的网络程序，曾经有过统计，说是目前的网络流量有一半以上是爬虫使用的。虽然爬虫程序随处可见，但是并不代表这种做法就是合理合法的。在抓取网页时，我们要让自己的爬虫遵守Robot.txt协议。一般网站有两种方式声明不想被爬虫爬取按：第一种是在站点的根目录下增加一个纯文本文件，例如http://www.aaa.com/robots.txt。第二种是直接在页面中使用robots的meta标

2017-07-27 14:16:06 5701

原创数据库连接池----Druid配置详解

什么是连接池？数据库连接池出现的原因在数据库连接资源的低效管理，使用数据库连接池是基于设计模式中的资源池的概念，从而解决资源频繁是分配、释放所造成的问题。数据库连接池的基本思想就是为数据库连接建立一个“缓冲池”。预先在缓冲池中放入一定数量的连接，当需要建立数据库连接时，只需从“缓冲池”中取出一个，使用完毕之后再放回去。我们可以通过设定连接池最大连接数来防止系统无尽的与数据库连接。更为重要的是我们

2017-07-27 13:44:18 2910

原创使用sessionStorage实现页面间传值与传对象

问题描述：业务从A页面跳转到B页面，需要由A页面向B页面传入一个对象。B页面解析对象中的值，然后根据这些值做具体的业务逻辑。一般的传值方法如下： A页面跳转到B页面时： b.html?xxx=xxxxxx&qqqq=qqqqq B页面使用jquery直接可以get到相应的key的value值。这种方法的弊端：无法完成一个对象的传递。解决方法：使用sessionStorage会话存储

2017-07-19 19:46:16 16141 1

原创 PostgreSQL递归查询

首先看一下表结构：CREATE TABLE ide_iedp_project( project_id integer NOT NULL , project_code character varying(50), project_name character varying(255), access_token character varying(255), parent_pro

2017-07-19 19:25:28 2341

原创 HTTP返回结果状态码小结

HTTP 状态码负责表示客户端 HTTP 请求的返回结果、标记服务器端的处理是否正常、通知出现的错误等工作。一、状态码的类别状态码的职责是当客户端向服务器端发送请求时，描述返回的请求结果。借助状态码，用户可以知道服务器端是正常处理了请求，还是出现了错误。状态码中的数字的第一位指定了响应类别，后两位无分类。响应类别有以下 5种。 - 1XX Informational（信息性状态码）接收的请

2017-07-07 15:11:13 2549

原创 Eclipse查看方法被哪些地方调用的快捷方式

以前查看方法被哪些地方调用，总是Ctrl + H,显得很笨。尤其是在项目很大的时候，搜索的效率很低。一下几个方法是在网上看到的，亲测好用，尤其是第一个。一、双击选中该方法，Ctrl+Alt+H 如果你想知道一个类的方法到底被那些其他的类调用，那么请选中这个方法名，然后按“Ctrl+Alt+H”， Eclipse就会显示出这个方法被哪些方法调用，最终产生一个调用关系树。二、选中该方

2017-07-04 18:39:46 10561 1

原创基于Netty4构建HTTP服务----浏览器访问和Netty客户端访问

基于Netty构建HTTP访问分为两类，使用浏览器访问的和使用Netty客户端访问。在介绍之前，先简单说一下如何使用Netty实现Http服务的。 Netty的Http服务的流程是： 1、Client向Server发送http请求。 2、Server端对http请求进行解析。 3、Server端向client发送http响应。 4、Client对http响应进行解析。在网上看到一个很好

2017-06-14 18:41:21 35055 4

原创对Java多线程在Netty中的应用的理解

对共享的可变数据同步经常使用Java的老司机都知道，synchronized关键字可以保证同一时刻只有一个线程执行某个方法或者代码块。同步的作用不仅仅是互斥，也是共享可变数据。当一个线程修改可变数据并释放锁后，其他线程可以获得修改后的新值。下面以ServerBootstrap类为例来分析，该类的初始变量有如下代码：private final Map<ChannelOption<?>, Objec

2017-06-13 21:02:09 2167

原创 Linux文件删除后磁盘没有释放

问题描述：使用SpringBoot开发，使用log4j2保存日志，日志级别是INFO，保存全量日志。系统运行一段时间后，日志文件大小达到20G，公司运营发出报警邮件，要求检查问题。检查后发下文件太大，所以通过rm -rf xxxxxxxxxx指令删除文件。删除文件后，报警并未解除。在检查，使用df -h指令查看，磁盘使用还是在报警界线以上，即刚刚的文件并没有真正的删除。通过各

2017-06-13 20:07:06 2942

原创 Netty的分隔符解码器的使用

TCP以流的方式进行数据传输，上层的应用协议为了对消息进行区分，采用消息长度固定、以回车换行符作为结束标志、特殊分隔符作为结束标志、消息头中定义长度等方式。Netty对于这几种方式做了统一的抽象，分别提供四种解码器解决。在这里，我使用DelimiterBasedFrameDecoder解码器来解决以分隔符作为结束标志的消息的解码。 PS：FixedLengthFrameDecoder是定长消息

2017-06-09 15:32:48 2537

原创基于Netty解决TCP的粘包拆包问题

TCP是一个流协议，即TCP的数据时没有界限的一串数据。而这样的数据方式必然会导致数据粘包。为了解析TCP数据，我们相对应的也要对数据进行拆包。粘包的原因： 1. 应用程序write的字节大于套接口发送缓冲区大小； 2. 进行MSS大小的TCP分段； 3. 以太网帧的payload大于MTU进行IP分片；未考虑粘包问题的异常代码服务器端： TimeServerpublic class T

2017-06-08 18:00:41 3097 2

原创 Netty简单示例----客户端与服务器通信

本例实现功能为客户端获取服务器的时间并显示，参考《Netty权威指南》一书，不过书中使用Netty5实现的，考虑到Netty已经下架5，本例子使用Netty4.1.6版本。首先服务器端，包括TimeServer、TimeServerHandler两个类： TimeServerimport io.netty.bootstrap.ServerBootstrap;import io.netty.c

2017-06-08 11:14:31 7005 1

一般的开发，我们都习惯把数据库密码配置在属性文件中，这样配置方便好用，但是缺点也是很明显的。这样配置的密码是静态的、明文的。一般都安全要求比较严格的公司，这些密码都会被统一管理，定期修改。我们需要动态获取密码。下面是结合SpringBoot实现动态获取密码的一个简单例子：首先是applicationContext.xml配置<bean id="dataSource" class="${spring.

2017-06-07 20:48:37 12931 6

原创 SpringBoot应用监控

SpringBoot提供了运行时的应用监控与系统管理功能，一般可以通过http、JMX、SSH协议来进行操作。SpringBoot提供的监控和管理的端点如下： actuator—-所有EndPoint的列表，需要加入Spring Hateoas的支持； autoconfig—-当前应用的所有自动配置； beans—-当前应用的所有Beans的信息； configprops—-当前应用中的所有

2017-05-30 16:27:26 5456

原创成长，从你发现自己写的代码很LOW开始

这几天在赶项目，一个人单双周的版本迭代，表示压力很大。其实这对于刚刚工作不到一年的小菜来说，是极大的锻炼机会。正应了那句话痛并快乐着的话，其实我是痛并成长着。这几天修改之前写的接口，其实间隔时间并不长，差不多一个月之前写的吧。由于业务方修改需求，需要在原来接口基础上增加多种自定义异常判断处理及代码复用。当我看到之前写的接口时，傻眼了。如果不是明确知道这部分代码是我写的，真想吐槽一下：这是哪个二逼

2017-05-27 17:23:04 3006 1

原创 SpringBoot整合ElasticSearch

ElasticSearch作为基于Lucene的搜索服务器，既可以作为一个独立的服务部署，也可以签入Web应用中。SpringBoot作为Spring家族的全新框架，使得使用SpringBoot开发Spring应用变得非常简单。本文要介绍如何整合ElasticSearch与SpringBoot。实体设计：每一本书（Book）都属于一个分类（Classify），都有一个作者（Author）。生成这

2017-05-22 16:25:22 6982

空空如也

空空如也