4 陈郑游

尚未进行身份认证

暂无相关简介

等级
TA的排名 1w+

每天定时采集(当前时间到月底)携程机票数据

每天定时早上八点、下午三点、晚上八点采集数据if __name__ == "__main__": schedule.every().day.at('08:00').do(saveData) schedule.every().day.at('15:00').do(saveData) schedule.every().day.at('20:00').do(saveData...

2019-10-29 09:14:20

GIS篇—搭建本地地图服务器(geoserver )和 leaflet 绘制多边形,点击事件等

因系统开发需求,要开发一个地图数据图层叠加,很简单,但是要求是在内网部署。这就说明了,不能用第三方地图服务器,如百度地图,天地图,谷歌等。那么问题就来了,要什么地图?这个时间我才知道GIS这个名词,我记得有段时间最可笑,自己去投了找GIS地图的岗位,刚开始以为对接百度地图开发就是GIS了,哈哈~原原谅我的无知。 结果,咨询了网友和百度GIS是一门学科,还有专门的考试...

2019-08-08 10:55:21

Scrapy 框架爬虫知识、爬虫实战教程

GitHub Python库 GitHub 爬虫库 官方教程 豆瓣电影爬虫案例1、scrapyScrapy 是一个为了抓取网页数据、提取结构性数据而编写的应用框架,该框架是封装的,包含 request (异步调度和处理)、下载器(多线程的 Downloader)、解析器(selector)和 twisted(异步处理)等。对于网站的内容爬取,其速度非常快捷。...

2019-07-17 10:54:54

spring boot 过滤器 filter

一、在spring的应用中我们存在两种过滤的用法,一种是拦截器、另外一种当然是过滤器。我们这里介绍过滤器在springboot的用法,在springmvc中的用法基本上一样,只是配置上面有点区别。二、filter功能,它使用户可以改变一个 request和修改一个response. Filter 不是一个servlet,它不能产生一个response,它能够在一个request到达servle...

2019-07-11 14:42:22

spring boot 拦截器WebMvcConfigurerAdapter作用,以及高版本的替换方案

WebMvcConfigurerAdapter 的作用是:进行SpringMVC的一些配置、在Spring中,为了减少xml的配置,引入了@Configuration注解。 WebMvcConfigurerAdapter的出现是为了替代xml出现的,在这个类型里可以配置拦截器相关配置,这个类的使用是弱化繁杂xml配置的一个缩影,Adapter中文译作适配器,转换器,意思就是作为xml配置的一...

2019-07-11 11:56:32

Lvs+keepalived+Nginx双机热备实现Nginx高可用

一、背景在一般的系统架构中,往往是采用一台Nginx做负载均衡,这台Nginx可能负责着转发多台Tomcat的请求。这就有一个问题,如果这台Nginx服务器挂了,那就等于整个系统都挂了。 所以就需要引入一种机制,将Nginx集群化,同时保证有多台Nginx在运行,一台挂了,另外一台还能继续提供服务。要实现Nginx的高可用,就不得不提LVS+Keepalived。 Lvs+Keepaliv...

2019-07-09 15:49:45

Spring Controller中全局变量引起的线程安全问题

在Spring中,注解@Controller去修饰一个类时,默认这个类是单例。但是WEB容器为了性能,必然是多线程的去处理HTTP请求,多线程的HTTP请求经过WEB容器转化为servlet请求,接着由Spring的DispatcherServlet分发到对应的Controller处理类。所以在单例的Controller类中,如果存在全局变量,必然会存在线程安全问题。下面将示范多种常用写法,有...

2019-07-09 15:31:29

Visual Studio Code 终端无法使用问题-已解决

百度那么多都没有解决啊!!!然后自己静下心来,随便打开一个文件,然后右键选择‘在终端打开’快捷键:Ctrl+`

2018-09-07 11:34:44

深度学习笔记—什么是神经网络与TensorFlow实现神经网络?

 学习目录:(python自然语言处理实战-核心技术与算法书籍《涂铭 刘详 刘树春》)—推荐 (吴恩达-深度学习)[http://mooc.study.163.com/smartSpec/detail/1001319001.htm]—推荐 (莫烦系列-深度学习与机器学习)[https://morvanzhou.github.io/tutorials/machine-learning/t...

2018-08-10 11:54:08

Java操作百万数据量Excel导入导出工具类(一直维护中)

更新日志:(如果有更好的优化方案或者更高级的工具类:欢迎评论或者私信)* 1.response.reset();注释掉reset,否在会出现跨域错误。* 2.可导出多个单元、poi官方建议大数据量解决方案:SXSSFWorkbook。* 3.自定义下拉列表:对每个单元格自定义下拉列表。* 4.数据遍历方式换成数组(效率较高)、可提供模板下载、每个表格的大标题[2018-09-14]...

2018-06-28 15:12:17

Python豆瓣电影首页类别爬虫小案例 之词法分析数据采集项目

       Python is an easy to learn, powerful programming language. It has efficient high-level data structures and a simple but effective approach to object-oriented programming. Python’s elegant synta...

2018-05-27 12:02:38

IT 技术学习资料分享

1、深入浅出Hadoop实战开发(升级版)链接:https://pan.baidu.com/s/1jIAahZg 密码:pin42、SpringBoot教程链接:https://pan.baidu.com/s/1cz1bNC密码:uiqd3、大数据高并发系统架构实战方案课程链接:https://pan.baidu.com/s/1boCacO3密码

2017-12-05 17:48:43

Hadoop之旅(9)— Hbase 教程与shell实战操作

HBase 是建立在Hadoop文件系统之上的分布式面向列的数据库。它是一个开源项目,是横向扩展的。HBase是一个数据模型,类似于谷歌的大表设计,可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统(HDFS)提供的容错能力。它是Hadoop的生态系统,提供对数据的随机实时读/写访问,是Hadoop文件系统的一部分。人们可以直接或通过HBase的存储HDFS数据。使用HBase在HDFS读取消费/随机访问数据。 HBase在Hadoop的文件系统之上,并提供了读写访问。

2017-09-24 21:19:00

Hadoop之旅(8)— HDFS API 实战操作

Hadoop 实现了一个分布式文件系统(hadoop Distributed File System),简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch,后者是一个开源的网络搜索引擎,本身也是Luene项目的一部分。Aapche Hadoop架构是MapReduce算法的一种开源应用,是Google开创其帝国的重要基石。HDFS API 实战操作

2017-08-30 16:31:43

Hadoop+Spark 之旅—脚踏实地、仰望星空(教程目录)

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统

2017-07-11 09:33:15

Hadoop之旅(7)— HDFS HA Zookeeper自动故障转移

1、HDFS HA Zookeeper自动故障转移的需求     在 HDFS 集群下,我们知道也只有单个 NameNode 节点,虽然是集群但是也会有单节点故障等事故。所以需要一个协调者帮助我们遇到故障时及时帮助我们切换可用的 NameNode 节点。这个就是我们的需求、如果我们不需要ZK的话、搭建的HA需要我们手动切换,这是不可行的。所以我们需要 zookeeper安装与配置教程。

2017-06-26 12:16:06

Hadoop之旅(5)— MapReduce Java API案例实战

1、本文实现 HDFS 案例Hadoop之旅(3)— HDFS 原理讲解   和  Hadoop之旅(1)—单机与伪集群安装、简单经典案例准备好环境:idea、创建项目、添加依赖 org.apache.hadoop hadoop-client ${hadoop.versi

2017-06-23 20:15:47

Hadoop之旅(4)— MapReduce 与 YARN 原理讲解

1、MapReduce 介绍      MapReduce是一种可用于数据处理的编程框架。MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是"任务的分解与结果的汇总"。2、YARN 介绍 MapReduce has undergone a complete overhaul in hadoop-0.23 and we now have, what we ca

2017-06-20 21:53:42

Hadoop之旅(3)— HDFS 原理讲解

1、HDFS 介绍       Hadoop 实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch,后者是一个开源的网络搜索引擎,本身也是Luene项目的一部分。Aapche Hadoop架构是MapRedu

2017-06-18 20:59:25

Hadoop之旅(2)—伪集群 HDFS 文件读取与上传案例、权限与安全模式

1、准备工作环境:centsOS7.0、jdk1.8、maven3.3.9工具:idea(eclipse)、HADOOP  SHELL 、 发行版 :Hadoop2.5.0Hadoop之旅(2)—伪集群文件读取与上传案例、权限与安全模式环境上一节已经搭建好了、不明白的可以看  Hadoop之旅(1) 或者 Apache2、添加maven依赖 UTF-8

2017-06-17 20:32:32

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。