游侠509-CSDN博客

转载数据仓库

1. 什么是数据仓库1.1 数据仓库的概念官方定义数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，用于对管理决策过程的支持。这个定义的确官方，但是却指出了数据仓库的四个特点。特点面向主题：数据仓库都是基于某个明确主题，仅需要与该主题相关的数据，其他的无关细节数据将被排除掉集成的：从不同的数据源采集数据到同一个数

2017-04-03 20:12:20 467

转载 DataScience

技术方向：

2017-03-29 13:45:35 664

转载 Hive操作

数据操作能力是大数据分析至关重要的能力。数据操作主要包括：更改(exchange)，移动(moving)，排序(sorting)，转换(transforming)。Hive提供了诸多查询语句，关键字，操作和方法来进行数据操作。一、数据更改数据更改主要包括：LOAD, INSERT, IMPORT, and EXPORT1. LOAD DATA load关键字的作用是将数据移动到hive中。如果

2017-03-19 16:33:59 666

转载 HttpClient

2017-03-17 12:51:23 691

转载高并发解决方案——提升高并发量服务器性能解决思路

高并发解决方案——提升高并发量服务器性能解决思路一个小型的网站，可以使用最简单的html静态页面就实现了，配合一些图片达到美化效果，所有的页面均存放在一个目录下，这样的网站对系统架构、性能的要求都很简单。随着互联网业务的不断丰富，网站相关的技术经过这些年的发展，已经细分到很细的方方面面，尤其对于大型网站来说，所采用的技术更是涉及面非常广，从硬件到软件、编程语言、数据库、WebSer

2017-03-16 16:25:47 12256

转载 Nginx

如何将 Nginx 配置为Web服务器建议先阅读初识 Nginx。之后，我们来了解一下 Nginx 配置。抽象来说，将 Nginx 配置为 Web 服务器就是定义处理哪些 URLS 和如何处理这些URLS 对应的请求。具体来说，就是定义一些虚拟服务器（Virtual Servers），控制具有特定 IP 和域名的请求。更具体的来说， Nginx 通

2017-03-16 16:13:05 305

原创 SpringMVC 上传图片和头像

//上传图片证件照 @RequestMapping(value = "/uploadPoster.do") public @ResponseBody Object uploadPoster(HttpServletRequest request, HttpServletResponse response) throws Exception { HttpJson httpJs

2017-03-16 09:17:14 720

原创 SpringMVC生成Excel模板

1,前台js发送生成Excel请求，封装请求参数。@RequestMapping(value = "/downProjectInfotoExcel.do", method = RequestMethod.GET) public void downAgendaInfotoExcel(HttpServletRequest request, HttpServletResponse resp

2017-03-15 10:37:26 452

原创 SpringMVC上传图片代码

// 上传图纸 @RequestMapping(value = "/uploadPaper.do") public @ResponseBody Object uploadPoster(HttpServletRequest request, HttpServletResponse response) throws Exception {

2017-03-15 09:44:46 495

转载 sklearn 数据加载工具

sklearn.datasets 包提供了一些小的toy数据集。为了评估数据特征(n_samples,n_features)的影响,可以控制数据的一些统计学特性，产生人工数据。这个包提供一些接口，来获取真实的机器学习社区常用于基准算法的大数据集。常见的dataset APIsklearn对于不同的数据类型提供三种数据接口。 - sample images是最简单的接口d

2017-03-14 22:47:57 637

原创 KMeans案例

#coding=utf-8""" 2017.3.14 天气数据分析"""import osimport xlrddata = []xls =xlrd.open_workbook("weather.xls")sheet = xls.sheets()[0]result1 = sheet.col_values(2)print result1result2 = she

2017-03-14 22:34:19 762

转载 mybatis-generator

2017-03-14 22:02:49 280

转载 scala Object

Scala之Object (apply) dycopy　　一、前言　　前面学习了Scala的Methods，接着学习Scala中的Object二、Object　　Object在Scala有两种含义，在Java中，其代表一个类的实例，而在Scala中，其还是一个关键字，本篇首先将会把object当成一个类的实例看待，展示如何将对象从一种类型转化为另一种类型，之后将展示如何创建

2017-03-13 16:31:17 453

转载机器学习

转载] 机器学习科普文章：“一文读懂机器学习，大数据/自然语言处理/算法全有了”标签：机器学习普及知识2015-02-09 19:06 2061人阅读评论(0)收藏举报分类：编程杂谈（7）机器学习（18） PS:文章主要转载自CSDN大神"黑夜路人"的文章: htt

2017-03-13 09:05:50 428

转载 Python数据可视化—matplotlib笔记

Python数据可视化—matplotlib笔记作者：qq_34264472在参加数据挖掘竞赛中，经常需要对数据进行可视化。今天有空就对数据可视化— matplotlib这块内容系统的整理下，方便查找使用。本文来自于对《利用python进行数据分析》以及网上一些博客的总结。1 matplotlib简介matplotlib是Pythom可视化程序库的泰斗，经过几十年它仍然是

2017-03-12 21:01:48 364

转载 matplotlib一些常用知识点的整理

本文作为学习过程中对matplotlib一些常用知识点的整理，方便查找。强烈推荐ipython无论你工作在什么项目上，IPython都是值得推荐的。利用ipython --pylab，可以进入PyLab模式，已经导入了matplotlib库与相关软件包（例如Numpy和Scipy)，额可以直接使用相关库的功能。这样IPython配置为使用你所指定的matplotlib GUI后端（TK

2017-03-12 20:43:01 716

原创 Hive报错

Logging initialized using configuration in jar:file:/cloud/apache-hive-0.13.0-bin/lib/hive-common-0.13.0.jar!/hive-log4j.propertiesException in thread "main" java.lang.RuntimeException: java.lang.Ru

2017-03-12 17:21:40 360

转载注册校验

HTML实现注册功能正则表达式，验证用户的输入是否符合系统要求"text/javascript"> function check_input() { var username = document.getElementById("username").value; var passwor

2017-03-12 16:34:47 685

原创 MongoDB&管道概念

管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的参数。MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。表达式：处理输入文档并输出。表达式是无状态的，只能用于计算当前聚合管道的文档，不能处理其它的文档。聚合框架中常用的几个操作：$project：修改输入文档的结构。可以用来重命名、增加或删除

2017-03-12 14:31:07 638

原创 windows启动MongoDB

windows下mongo的启动必须在cmd命令下，输入以下命令：mongod --dbpath "D:\MongoDB\Server\3.4\bin"然后，另外开启个cmd，在相应的bin目录下输入：mongo，才可以正常登录mongo。

2017-03-10 10:27:45 577

转载爬虫入门

Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。Scratch，是抓取

2017-03-09 15:04:56 658

转载 Shiro权限框架简介

Shiro权限框架简介什么是Apache Shiro？ Apache Shiro（发音为“shee-roh”，日语“堡垒（Castle）”的意思）是一个强大易用的Java安全框架，提供了认证、授权、加密和会话管理功能，可为任何应用提供安全保障 - 从命令行应用、移动应用到大型网络及企业应用。你可以用 Apache Shiro做下面的

2017-03-08 09:51:52 191

转载数据分析

数据分析是一个被广泛使用的技能标签。在真实工作环境下，至少有三个类型的职位可以算作和数据分析师相关，分别是：BI (Business Intelligence), QA (Quantitative Analyst / Data Scientist), 以及BA (Business Analyst)。a) BA首先定义业务的度量方式，比如付费用户还是活跃用户，1天日活重要还是30天日活重要。

2017-03-08 08:58:38 2245

转载 MapReduce编程

1、数据去重　　 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述　　对数据文件中的数据进行去重。数据文件中的每行都是一个数据。　　样例输入如下所示： 1）file1： 2012-3-

2017-03-07 20:45:44 480

转载 SpringBoot入门

Spring Boot 快速入门今天给大家介绍一下spring Boot MVC，让我们学习一下如何利用Spring Boot快速的搭建一个简单的web应用。环境准备一个称手的文本编辑器（例如Vim、Emacs、Sublime Text）或者IDE（Eclipse、Idea Intellij）Java环境（JDK 1.7或以上版本）Maven 3.0+（Eclipse和

2017-03-06 14:11:22 206

原创 js实现二维码弹出

LIGHTBOX EXAMPLE function showImg(){document.getElementById("wxImg").style.display='block';}function hideImg(){document.getElementById("wxImg").style.display='none';}

2017-03-06 10:38:00 9984 1

转载天气API

中国天气网-天气预报接口api　　中国天气网地址：http://www.weather.com.cn　　请求服务 : 查询实时天气信息http://www.weather.com.cn/data/sk/101110101.html　　在浏览器中输入请求地址，获得西安的天气。　　其中101110101是城市的代码，如果要查询其他城市的天气，只需要修改城市的代码

2017-03-05 21:35:14 964

转载 springMVC，Excel上传下载

之前曾经介绍过一个最简单的spring mvc的项目如何搭建，传送门在这里。这次就基于这个工程，继续实现上传下载的小例子。需要做下面的事情：1 增加index.html，添加form提交文件2 引入commons-fileupload、commons-io、jxl等工具包3 创建upload download接口4 注入multipartResolver bean5 在upload中使

2017-03-03 15:19:32 278

转载 SpringMVC操作Excel

POI操作Excel，读取，写入package com.ucf.boss.utils;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.io.InputStream;import

2017-03-03 14:27:19 608

转载 springmvc生成Excel

1. 模板视图FreeMarkerViewResolver 、 VolocityViewResolver 这两个视图解析器都是 UrlBasedViewResolver 的子类。 FreeMarkerViewResolver 会把 Controller 处理方法返回的逻辑视图解析为 FreeMarkerView ，而 VolocityViewResolver 会把返回的逻辑视图解析为 Volo

2017-03-03 10:17:06 514

转载 springMVC生成二维码

java springMVC生成二维码Zxing是Google提供的工具，提供了二维码的生成与解析的方法，现在使用Java利用Zxing生成二维码1），二维码的生成将Zxing-core.jar 包加入到classpath下。我的下载地址：http://i.cnblogs.com/Files.aspx 下zxing.zip包1.RqCodeController 类

2017-03-03 09:24:04 1116

转载支付宝借口

java服务端–支付宝APP支付接口java服务端–支付宝APP支付接口1、首先设置支付宝账户有关信息及返回路径/**说明： *以下代码只是为了方便商户测试而提供的样例代码，商户可以根据自己网站的需要，按照技术文档编写,并非一定要使用该代码。 *该代码仅供学习和研究支付宝接口使用，只是提供一个参考。 */public class AlipayConfig {//↓↓↓↓

2017-03-02 11:13:08 375

转载在JAVA中封装JSONUtils工具类及使用

在JAVA中封装JSONUtils工具类及使用在JAVA中用json-lib-2.3-jdk15.jar包中提供了JSONObject和JSONArray基类，用于JSON的序列化和反序列化的操作。但是我们更习惯将其进一步封装，达到更好的重用。封装后的JSON工具类JSONUtils.java代码如下：import java.util.ArrayList;

2017-02-28 20:29:23 2393

转载 Java读取json文件并对json数据进行读取、添加、删除与修改操作

Java读取json文件并对json数据进行读取、添加、删除与修改操作转载：http://blog.csdn.net/qing_yun/article/details/46865863#t0 1.介绍开发过程中经常会遇到json数据的处理，而单独对json数据进行增删改并不方便，尤其是Geojson文件的处理，通过对网络资料的整理总结，下面介绍Java语言方法

2017-02-28 20:23:50 10477 1

转载 JSON

Json 和 Jsonlib 的使用原文:http://www.cnblogs.com/sunzn/archive/2013/02/12/2910241.html什么是 JsonJSON（JvaScript Object Notation）（官网网站：http://www.json.org/）是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于

2017-02-28 20:06:39 182

转载数据挖掘算法

国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART.不仅仅是选中的十大算法，其实参加评选的18种算法，

2017-02-28 14:31:35 282

转载 Apache Lucene初探

首先呢，学习任何一门新的亦或是旧的开源技术，百度其中一二是最简单的办法，先了解其中的大概，思想等等。这里就贡献一个讲解很到位的ppt。已经被我转成了PDF，便于搜藏。　　其次，关于第一次编程初探，建议还是查看官方资料。百度到的资料，目前Lucene已经更新到4.9版本，这个版本需要1.7以上的JDK，所以如果还用1.6甚至是1.5的小盆友，请参考低版本，由于我用的1.6，因此在使用Luc

2017-02-27 19:18:37 176

转载 spring4.x注解

spring4.x注解概述1. 背景注解可以减少代码的开发量，spring提供了丰富的注解功能，因项目中用到不少注解，因此下定决心，经spring4.x中涉及到的注解罗列出来，供查询使用。2. spring注解图 2.1 spring-context模块的注解图 2.2 spring-web注解2.3 spring其它模块的注解3. 注解实例说

2017-02-26 20:14:32 193

转载 Spring注解详解

Spring注解详解标签： springautowiredbeanofficeclassxml2012-02-28 19:04 172897人阅读评论(75)收藏举报概述注释配置相对于 XML 配置具有很多的优势：它可以充分利用 Java 的反射机制获取类结构信息，这些信息可以有效减少配置的工作。如使用 JPA 注释配置 ORM

2017-02-26 19:57:39 151

转载 SpringMVC获取请求参数

Spring3 MVC请求参数获取的几种方法一、通过@PathVariabl获取路径中的参数 @RequestMapping(value="user/{id}/{name}",method=RequestMethod.GET) public String printMessage1(@PathVariable String id,@PathVariable

2017-02-26 09:53:49 205

空空如也

空空如也