- 博客(91)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Java高并发板块（1）_内存模型
目录1.什么是JAVA内存模型？2.关于并发编程2.1 线程之间的通信2.2 线程之间的同步3.Java内存模型4.JVM对Java内存模型的实现5.共享对象的可见性6.不同线程对与对象的竞争6.volatile和 synchronized区别1.什么是JAVA内存模型？Java内存模型即Java Memory Model，简称JMM。JMM定义了Java 虚拟机(JVM)在计算机内存(RA...
2020-04-01 21:09:20
140
原创 Jenkins一键部署springboot通俗简易版教程(二)
Jenkins一键部署springboot通俗简易版教程(二)本部分为项目的部署流程,需要准备下载jenkins,并准备springboot项目,如果没有,请看上一章内容1. 基于Jenkins的jar的方式发布和部署01、准备项目创建一个springboot项目02、创建代码仓库码云地址：https://gitee.com/在gitee创建一个仓库即可，注意是开源的。查看远程仓库03、在jenkins创建一个任务1：创建一个任务#!/bin/sh# 当前工
2022-03-07 13:33:59
871
1
原创 Jenkins一键部署springboot通俗简易版教程(一)
Jenkins一键部署springboot通俗简易版教程一. 安装jenkins服务1、centos安装jenkins如下2、jenkins配置3、启动jenkins4、解锁 Jenkins5、自定义Jenkins6、创建管理员账号7、配置镜像源二. 创建一个基础的springboot项目注意:该文章分为上下两部,第一部分为安装jenkins,构建一个基础的springboot项目一. 安装jenkins服务准备一台服务器,推荐配置4core + 8G 或者 4core + 16G 越高越好。提醒
2022-03-07 11:33:54
890
原创 java(文件,图片)本地上传与阿里云oss上传
本文内容,使用springboot项目实现本地(文件,图片上传),阿里云服务器(文件,图片上传)
2021-11-25 15:17:27
1288
原创 （三）RabbitMq平台详解
RabbitMq平台详解一. 平台介绍1.1 交换机——Exchange1.1.1 fanout发布与订阅模式1.1.2 direct路由匹配模式1.1.3 topic路由模糊查询匹配模式1.1 队列——Queues前言：rabbitmq最核心的东西就是管道，交换机，队列。管道就是解决短连接问题的，解决了之前使用交互方式TCP那种3次握手，4次挥手的繁琐步骤，改为长连接的方式。而交换机呢就是一个中间储存消息的东西，然后他再将消息分发给队列，一台交换机可以绑定多个队列一. 平台介绍1.1 交换机——
2021-04-28 11:20:06
229
原创 （二）RabbitMq平台介绍以及角色配置
RabbitMq平台介绍以及角色配置一. RabbitMq角色配置1 RabbitMQ 组件介绍1.1 Queue1.2 Exchange1.3 Binding1.4 Virtual host一. RabbitMq角色配置进入首页，需要登录账户首先，咱要进入MQ平台需要配置一些用户，才能登录MQ平台，用户有4中级别：然后我们新增一个用户，执行如下sql：# 新增用户名为admin,密码为adminrabbitmqctl add_user admin admin# 配置admin用户，权限为
2021-04-26 10:51:58
213
原创 （一）RabbitMq简介与安装
RabbitMq简介与安装一. RabbitMQ 简介1. RabbitMQ优点1.1 解耦1.2 异步提升效率1.3 流量削峰二、rabbitMq在服务器上的安装一. RabbitMQ 简介网上介绍一大堆，通俗点，就是一个中间件（翻译官），中国人要跟美国人交流，就需要这么一个翻译官，RabbitMQ是使用Erlang语言开发的开源消息队列系统，基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、 安全。AMQP协议更多用在企业系统内，对数据一致性
2021-04-26 10:31:07
126
原创 真香系列_Spring框架（AOP切面）
目录一、spring的AOP（切面）1. jdk的动态代理2. cglib代理3. springAop的方式一、spring的AOP（切面）项目当中，我们可能因为一些需求，去修改其中的一个方法，因此需要切面编程。切面有两种代理方式：1.jdk动态代理（只能修改接口中的方法）2.cglib代理（只能修改类中的方法）1. jdk的动态代理首先写个类，随便写两个方法写一个接口类去实现：写一个JDK代理类：进行测试：测试结果：2. cglib代理首先写个类，随便写两个方法写一
2020-06-27 23:14:37
141
原创 数据大清洗_Pyecharts 可视化（安装Pyecharts ）（Pyecharts 图表绘制）
目录一、Pyecharts 认识（一）对 Pyecharts 认识（二）安装：二、Pyecharts 图表绘制（一）Pyecharts 绘制图表理解1、全局配置项2、系列配置项3、注意：数据格式（二）图表绘制1、柱状图2、饼图3、玫瑰图一、Pyecharts 认识（一）对 Pyecharts 认识Pyecharts 是一个用于生成 Echarts 图表的类库。Echarts 是百度开源的一个数据可视化 JS 库，主要用于数据可视化。Pyecharts 是一个用于生成 Echarts 图表的类库。实际
2020-06-23 23:27:21
956
原创 数据大清洗_Pandas库进阶（标准化数据）（转换数据）
目录一、标准化数据（一）离差标准化数据（二）标准差标准化数据（三）小数定标标准化数据（四）三种标准化的特点：二、转换数据（一）哑变量处理类别数据（二）离散化三、案例（坏账率分析案例）一、标准化数据（一）离差标准化数据离差表转化是对原始数据的一种线性变换，结果是将原始的数据映射到[0,1]区间之间， 转换公式为：import pandas as pdimport numpy as np# 剔除数据量级的影响，减小运算量 ---数据标准化""" 标准化 1、离差标准化
2020-06-22 22:16:24
879
原创 数据大清洗_Pandas库进阶（综合案例-医院数据统计）
目录一、项目介绍二、代码一、项目介绍近些年来，随着人民生活的提升，人民群众对于医疗条件的选择尤为重视，为此，各个诊所、医院应运而生来保障人民的身体健康。以下为某医院售药部分的售药记录情况，请根据该医院的售药记录数据，进行相关数据处理，并提出问题，挖掘其中有价值的信息，为该医院的下一步营销进行指导。先进行数据清洗：（1）把列索引变为容易理解的索引值（2）删掉有空值的数据（3）将’销售数量’,‘应收金额’,'实收金额’数据类型转换为 int（4）删除’销售数量’,‘应收金额’,'实收金额’中
2020-06-20 23:01:25
508
1
原创 数据大清洗_Pandas库进阶（数据重复值处理）（数据缺失值处理）
目录一、处理重复值1、记录重复2、特征重复一、处理重复值1、记录重复即一个或者多个特征某几个记录的值完全相同。方法：方法一： 利用列表（list）去重，自定义去重函数。方法二：是利用集合（set）的元素是唯一的特性去重，如 dish_set=set(dishes)。 比较上述两种方法可以发现，方法一代码冗长。方法二代码简单了许多，但会导致数据的排列发生改变。方法三：（推荐） pandas提供了一个名为drop_duplicates的去重方法。该方法只对DataFrame或者 Series 类
2020-06-20 21:15:34
2065
原创 数据大清洗_Pandas库进阶（数据合并）
目录一、认识数据处理二、数据集成-concat（一）横向堆叠-concat（二）纵向堆叠-concat三、垂钓装备的合并案例四、主键合并-megre一、认识数据处理1、现实世界的数据是“肮脏的”——数据多了，什么问题都会出现（1）不完整的：缺少属性值，缺少感兴趣的属性，或仅包含聚集数据。 如：e.g., Occupation=“”； （2）含噪声的：包含错误或者“孤立点”。 e.g.,Salary=“-10”； （3）不一致的：在编码或者命名上存在差异。E.g.Age=“42” Birthday=
2020-06-18 22:28:26
691
原创 数据大清洗_Pandas库进阶（TGI指数分析案例）（统计分析案例）
目录一、TGI指数分析案例二、连锁超市统计分析案例一、TGI指数分析案例什么是 TGI？TGI：即 Target Group Index（目标群体指数），可反映目标群体在特定研究范围(如地理区域、人口统计领域、媒体受众、产品消费者)内的强势或弱势。公式：TGI 指数= [目标群体中具有某一特征的群体所占比例/总体中具有相同特征的群体所占比例]*标准数 100。例如将某地区 15-24 岁的人作为目标群体，将去[电影网站 A]看电影作为相同特征；若该地区 15-24 岁的人中，有 8.9%
2020-06-18 20:57:23
871
原创 数据大清洗_Pandas库进阶（dataframe增删改查）（Pandas统计分析）
目录一、dataframe增删改查1.查询操作2.增加操作3.修改操作4.删除操作二、Pandas统计分析三、案例最火菜品案例菜品缺失值处理案例一、dataframe增删改查1.查询操作上一篇文章含dataframe的直接索引，本文将介绍1个新的索引方式loc与iloc。loc方式：只能使用名称 ---同时索引iloc方式：只可以使用下标import pandas as pd# 直接索引方式：先列后行# 使用loc 、iloc进行同时对行列索引# 加载数据detail = pd.
2020-06-15 21:02:02
668
原创 真香系列_Spring框架
目录一、spring的介绍二、开发流程spring的开发流程spring的生命周期(了解)IOC（控制反转） DI（依赖注入）spring和jdbc的整合一、spring的介绍Spring 框架是一个轻量级的解决方案，可以一站式地构建企业级应用。它是为了解决 企业应用开发的复杂性而创建的。Spring 使用基本的 JavaBean 来完成以前只可能由 EJB 完成的事情。然而，Spring 的用途不仅限于服务器端的开发。从简单性、可测试性和松 耦合的角度而言，任何 Java 应用都可以从 Spri
2020-06-14 20:33:14
154
原创 数据大清洗_Pandas库
目录一、 对 Pandas 库认识1.1 利器之一：DataFrame创建 DataFrame 的三种形式1.2 利器之二：Series创建 Series。1.3 Series 和 DataFrame 的关系二、Pandas 读写文件文本文件读取文本文件保存Excel 文件读取Excel 文件保存三、DataFrame 的查询操作一、 对 Pandas 库认识pandas（panel data & data analysis），是基于 numpy（提供高性能的矩阵运算）专 门用于数据分析的工具，
2020-06-14 17:26:15
244
原创 数据大清洗_Matplotlib 绘制图形
目录一、Matplotlib 数据可视化基础1. Matplotlib 认识2.Matplotlib 绘图流程二、入门案例案例1：（气象图）案例2：（气象图-图形修饰）案例3：（散点图）案例4：（柱状图）案例5：（直方图）案例6：（饼图）案例7：（箱线图）案例8：（k线图）案例9：（雷达图）一、Matplotlib 数据可视化基础1. Matplotlib 认识Matplotlib 是一个 Python 的 2D 绘图库，它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形。他的作用就是将数
2020-06-14 16:53:44
667
原创 数据大清洗_Numpy进阶（数组排序）（数组去重与重复）（数组统计分析）
目录一、数组排序二、数组去重与重复三、数组统计与分析一、数组排序sort 函数是最常用的排序方法。 arr.sort()sort 函数也可以指定一个 axis 参数，使得 sort 函数可以沿着指定轴对数据集进行排序。axis=1 为沿横轴排序； axis=0 为沿纵轴排序。import numpy as np# 创建一个一维的数组# arr = np.array([5, 4, 6, 8, 1, 2, 9])# print('arr:\n', arr)# ## # # 对数组进行排序
2020-06-14 15:48:36
1291
原创 数据大清洗_Numpy进阶（数组运算）（读写文件）
目录一、数组的运算二、读写文件一、数组的运算# 数组的全通用函数 ---是一种能够对数组中所有元素进行操作的函数--以整个数组为输出# 要求：运算的数组 ---必须是同型import numpy as np# 创建两个数组# arr1 = np.array([[1, 2], [2, 1]]) # (2,2)# arr2 = np.arange(1, 5).reshape((2, 2)) # (2,2)# print('arr1:\n', arr1)# print('arr2:\n',
2020-06-14 15:26:08
298
原创 数据大清洗_矩阵的创建与运算
目录一、矩阵创建二、矩阵的运算一、矩阵创建使用 np.mat、np.asmatrix 创建矩阵使用 np.bmat 来组合矩阵 常用import numpy as np# 生成矩阵# 可以使用np.mat np.asmatrix来创建矩阵#np.mat = np.asmatrix 一样的#np.mat 将特殊字符串转化为矩阵# m1 = np.mat('1 2 3;4 5 6;7 8 9')# print(m1)# print(type(m1)) # <class 'num
2020-06-14 14:31:34
190
原创 数据大清洗_Numpy数组基础
目录一、numpy的认识二、数组创建三、数组属性四、数组索引（数组元素查询）五、数组形状变换1、基于 shape 属性变换2、基于reshape属性变换3、基于 np.flatten 与 np.ravel 函数变换六、数组合并与拆分1、数组合并2、数组拆分一、numpy的认识Numpy 是用于数据科学计算的基础，不但能够完成科学计算任务，还能被用作高效地多维数据容器。用于存储和处理大型矩阵。Python 提供了一个 array 模块，和 list 不同，它直接保存数值，但是由于 Python 的 a
2020-06-14 14:27:05
213
原创 最帅爬虫_scrapy框架中间件的使用
目录一，中间件的概念二，案例2.1 案例（豆瓣读书）一，中间件的概念中间件是 Scrapy 里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请 求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。在 Scrapy 框架中有 两种中间件：爬虫中间件和下载中间件。一个框架图重点关注数据的流转—每个组件进出的数据都是怎么流通。对于爬虫而言其实数据主要：url-----在scrapy框架里面将来会封装成一个request对象item—提取出来的数据有两个中间件：功能是由经过他
2020-06-03 19:59:39
247
原创 最帅爬虫_scrapy框架安装与入门
目录一，简介二，安装三，入门一，简介Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。Scrapy 使用了 Twisted(其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。scrapy框架的请求流程：ScrapyEngine(引
2020-06-02 22:20:30
158
原创 手把手教Mongo基础命令
目录一、MongoDB专业术语二、表的操作（一）创建数据库和删除数据库（二）插入文档insert1、插入单条2、插入多条文档（三）查询find1、 范围匹配2、复杂的条件---逻辑关系3、案例（四）删除remove（五）更新（重点）（六）导入导出1、导出json格式2、导出csv格式一、MongoDB专业术语二、表的操作在操作前需要安装好MongoDB，配置好环境，并保证服务开启，安装地址：https://blog.csdn.net/raojiaxing_/article/details/10634
2020-05-26 23:32:48
184
原创 最简MongoDB的简介与安装
目录一、简介二、特点三、安装一、简介MongoDB属于NoSQL，指的是非关系型的数据库。NoSQL的图如下：NoSQL 用于超大规模数据的存储。(例如谷歌或 Facebook 每天为他们的用户收集万 亿比特的数据)。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。二、特点存储速度快 （不用去进行属性字段限制性检查）存储的内容既可以是结构化数据，又可以是非结构化数据。没有声明性的查询语言没有预定的模式可以拥有非结构化不可预知的数据具有高可用
2020-05-25 21:40:33
240
原创 最帅爬虫_破解安居客base64加密
目录一、实现逻辑二、代码一、实现逻辑网址： https://bj.zu.anjuke.com/二、代码import re,ioimport time,base64from fontTools.ttLib import TTFontimport requestsfrom lxml import etreedef base64_decode(page_content): """ 对base64加密的页面内容进行解密 """ # 1、提取出字体文
2020-05-25 21:26:15
924
1
原创 最帅爬虫_破解有道翻译CSS加密文件
目录一、爬取逻辑二、代码实现一、爬取逻辑基础路径：http://fanyi.youdao.com/基于XHR文件判断这是ajax请求方式二、代码实现import randomimport time,hashlibimport requestsdef get_md5(value): return hashlib.md5(bytes(value,encoding='utf-8')).hexdigest()def fanyi(kw): ''' 翻译单
2020-05-24 21:17:41
157
原创 最帅爬虫_滑动验证码解决案例
目录一、豆瓣网爬取逻辑二、代码实现一、豆瓣网爬取逻辑创建webdriver.Chrome对象，并请求登录的url （driver对象提升为全局变量到main方法当中）页面加载等待（20）秒输入账号与（错误的密码），多次登录，使其弹出验证码判断验证码是否弹出5. 如果弹出就解决5.1 点住滑块，悬浮5.2 找到滑块距离5.3 点住滑块，移动滑块距离5.4 点住滑块，到指定位置后，松开滑块6. 判断登录后标签的状态是否改变，改变就代表登录成功二、代码实现import time
2020-05-23 14:55:05
1058
4
原创 最帅爬虫_打码平台
目录一、超级鹰平台二、案例一、超级鹰平台所谓的打码平台，，它的作用就是在我们爬虫过程中，解决验证码校验的一个工具。这个工具可以自动识别验证码图片，并返回验证码图片的内容http://www.chaojiying.com/1.注册2.查看API二、案例只需要通过传入所需要的参数，即可解析返回验证码图片内容import requestsimport base64#http://my.cnki.net/Register/CheckCode.aspxdef verify_code(i
2020-05-21 22:32:29
352
原创 最帅爬虫_Selenium 手动打码
目录一、验证码问题1.1 验证码出现位置1.2 验证码分类二、selenium手动打码一、验证码问题1.1 验证码出现位置登录界面登录界面没有验证码（特别网站），只有输错了多次情况下才会出现，只要输入一次，又很少出现了。查询数据的时候，查询按钮之前要输入。当我们爬一个网站，爬到一般出现验证码-----以滑动验证码居多1.2 验证码分类图片验证码–普通验证码知网图片验证码：http://my.cnki.net/elibregister/CheckCode.aspx滑
2020-05-20 23:27:24
746
1
原创 最帅爬虫_斗鱼 selenium 翻页
网址： https://www.douyu.com/g_LOL需求：获取所有在线直播的房间信息代码实现：import timefrom lxml import etreefrom selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom seleni
2020-05-19 23:20:54
424
原创 最帅爬虫_豆瓣读书(加密数据获取)
网址： http://book.douban.com/subject_search?search_text=python&cat=1001&start=%s0需求： 获取所有 python 书籍的信息代码实现：from selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWait # 等待对象from selenium.webdriver.support import ex
2020-05-19 23:16:54
772
2
原创 最帅爬虫_Selenium 数据获取
目录一、什么是Selenium二、什么是PhantomJS三、百度 (Selenium+Phantom 快速入门)一、什么是SeleniumSelenium 是一个 Web 的自动化测试工具，最初是为网站自动化测试而开发的，类型像 我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同的是 Selenium 可以直接运行 在浏览器上，它支持所有主流的浏览器(包括 PhantomJS 这些无界面的浏览器)。Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面 截屏，或者判
2020-05-19 23:10:48
230
原创 最帅爬虫_Ajax数据获取
目录一，什么是Ajax二，Ajax请求的分析方法Ajax 请求的分析步骤可以总结为三步：1、分析请求2、分析响应3、解析响应内容三，案例（豆瓣电影网信息的爬取）一，什么是Ajax我们与网站服务器通信的唯一方式，就是发出 http 请求获取新页面。如果提交表单之 后，或从服务器获取信息之后，网站的页面不需要重新刷新，那么你访问的网站就在用 Ajax 技术。Ajax不是一门语言，而是一种异部刷新的技术。二，Ajax请求的分析方法浏览器的开发者模式是有过滤 Ajax 请求功能的。Ajax 过滤界面如
2020-05-18 23:46:54
505
1
原创 最帅爬虫_反爬虫
目录爬虫与反爬虫之间的战争第一天第二天第三天第四天第五天一、反爬虫常见方法1. IP 限制2. 验证码3. 登录限制4. 数据伪装二、反反爬虫常见方法1. 代理设置2. 构建代理池3. 设置请求频率爬虫与反爬虫之间的战争第一天小莫想要某站上所有的电影，写了标准的爬虫(基于 httpClient 库)，不断地遍历某站的 电影列表页面，根据 Html 分析电影名字存进自己的数据库。这 个 站 点 的 运 维 小 黎 发 现 某 个 时 间 段 请 求 量 陡 增， 分 析 日 志 发 现 都 是 IP(
2020-05-18 23:32:11
203
note_饶家兴.docx
2020-03-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人