- 博客(66)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 Hadoop生态圈-高可用集群
Hadoop生态圈-高可用集群Hadoop生态圈即全部组件 - 原创wnagwei（qq：[email protected]） 转载复制请联系作者，未经允许擅自操作，将追究法律责任高可用集群自动故障转移工作 机制1） 故障检测：故障检测：集群中的每个 NameNode 在 ZooKeeper 中维护了一个持久会话，如果机器崩溃，ZooKeeper 中的会话将终止，ZooKeeper 通知另一个 NameNode 需要触发故障转移。2）现役 NameNode 选择：现役 Name
2020-07-29 08:58:45
61907
原创 Hadoop生态圈hive应用
第 1 章 Hive 基本概念1.1 什么是 HiveHive：由 Facebook 开源用于解决海量结构化日志的数据统计。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。1.2 Hive 的优缺点1.2.1 优点1) 操作接口采用类 SQL 语法，提供快速开发的能力（简单、容易上手）。2) 避免了去写 MapReduce，减少开发人员的学习成本。3) Hive 的执行延迟比较高，因此 Hive 常用于数
2020-07-29 08:56:53
60947
原创 Hadoop 生态圈 - 完全分布式
Hadoop 完全分布式-wangweiHadoop生态圈即全部组建 - 原创wnagwei（qq：[email protected]） 转载复制请联系作者，未经允许擅自操作，将追究法律责任完全分布式运行模式（开发重点）分析：1）准备3台客户机（关闭防火墙、静态ip、主机名称）2）安装JDK3）配置环境变量4）安装Hadoop5）配置环境变量6）配置集群7）单点启动8）配置ssh9）群起并测试集群环境：镜像文件：CentOS7.4三台主机..
2020-07-29 08:49:33
60687
原创 Python-RPA 某银行 - 表的下载数据的清洗（真实项目需求）
需求：1、 登录表的平台（输入账号密码验证码）2、选择指定模块3、选择本日前一天日期 ----> 选择指定机构 ----> 查询报表 ----> 选择指定报表 ----> 下载报表 ----> 下载到指定路径下面（下载的内容均为压缩包）4、解压所有压缩包，放到指定路径下面5、解压后的表格数据，选择指定sheet_name,查询指定的 ‘科目编号’...
2019-08-07 09:47:35
577
原创 nacos启动报org.springframework.context.ApplicationContextException: Unable to start web server； nested错
在启动Nacos的时候报tomcat启动错误nacos启动报org.springframework.context.ApplicationContextException: Unable to start web server; nested exception is org.springframework.boot.web.server.WebServerException: Unable to start embedded Tomcat错误Because因为nacos是默认的集群模式所以我们在st
2022-03-10 09:40:33
2014
原创 spring-boot-starter-data-mongodb操纵MongoDB入门
spring-boot-starter-data-mongodb操纵MongoDB入门1.引入依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-mongodb</artifactId></dependency>application.yml引入依赖spring: data:
2022-01-27 17:30:21
13181
1
原创 Java入门-获取MySQL数据
Java入门-获取MySQL数据java代码/** * @Author 编程无忧 * @Date 2022/1/13 13:17 * @Desc */public class mysqlTest { @Test public void getMysqlCon(){ // 声明Connection对象 Connection con; // 驱动程序名 String driver = "com.mysql.cj.jd
2022-01-27 17:01:55
12155
原创 Python疫情数据可视化分析+数据预测（pandas+pyecharts+statsmodels+matplotlib+sql）
1、MySQL数据库获取数据此处的原始数据表是全国各省的实时数据集，现在只获取江苏省份的数据engine = create_engine(mysq_conn) # 具体内容以自己上就可以为准select_data = "select * from table_data where area='江苏'order by local_time desc"df = pd.read_sql(sql=select_data, con=engine)df.head()2、转存数据集至本地csv，以免每次都
2021-11-25 14:09:59
87871
7
原创 爬虫所遇反爬取措施
爬虫所遇反爬取措施1、头信息User-Agent反爬虫策略1.1、什么是User-Agent？ User-Agent是一种请求头，服务器可以从User-Agent对应的值中来识别用户端使用的操作系统、浏览器、浏览器引擎、操作系统语言等等。 浏览器User-Agent通常由浏览器标识、渲染引擎标识、版本信息这三部分来构成。1.2、解决方法1.2.1、简单粗暴使用浏览器调试工具按照下面步骤进行
2021-11-22 15:07:16
654
原创 python-hadoop-bigdata 大数据-数据可视化
大数据-数据可视化大数据处理的数据我们需要将其进行，图形化展示效果图js代码 var option1 = { tooltip: {}, legend : { data: ['销量'] }, xAxis:{ data: {{ country }}, }, yAxis: { }, ser.
2020-07-29 09:03:12
946
原创 Hadoop 生态圈 - 大数据竞赛 - 环境部署需求
经验 | Hadoop 生态圈 - 大数据竞赛 - 环境部署需求环境部署方面任务需求完成 hadoop 环境部署完成高可用集群环境部署完成高可用集群故障转移完成 hive 环境部署完成 mysql 与 hive使用 Mysql 作为外置存储引擎（机器学习 ~~~ 略过）完成效果展示：进程启动：web 页面：使用 Mysql 作为外置存储引擎...
2020-07-29 09:00:48
434
原创 运维渗透-简单
实验的网站为我私人网站** 扫描端口 **nmap 域名 # 查看开放的所有端口及作用扫描出 IP 及 Server使用 -j 参数扫描 server 的指纹信息，这里用到的是 nmap 的脚本，还有 ping、nslookup、traceroute、OS，扫描的项目比较多，所以时间可能会长些爆出一些目录：需要的时间比较长扫描目录后面是渗透的部分，就不发了不教你们干坏事了 ????通过 动态检查 我发现了 我的网站 存在 sql 盲注what？what？what？不看
2020-07-28 09:44:12
32412
1
原创 Python 爬取微信公众号文章思路
爬取微信公众号文章思路目前来说我知道的是三个方法：1、手机写按键精灵脚本2、Fiddler 设置代理和抓包3、通过 cookies 的时效性获取数据4、其他方法没试过、也有很多思路1、通过模拟浏览器的方法登录微信公众平台获取cookies2、通过cookies登录微信公众平台获取token3、通过搜索微信公众号文章拿到fakeid4、通过token和fakeid进入公众号获取所有的文章亲测可行...
2020-07-28 09:43:05
620
原创 Python RPA將银行某业务的大量数据合并备份
將银行某业务的大量数据合并备份將银行某业务的大量数据合并备份通过 RPA 获取所有要下载的数据压缩包1、解压某文件夹下所有压缩包，到指定文件夹import zipfile import os # 路径 import datatime import pandas as pd `2、遍历父目录下所有文件读取一个文件夹。遍历此文件夹下所有文件。（即使有二级目录也没事）所有文件路径，存到一个列表里面。3、pandas 把多表内容汇总遍历列表中的所表格文.
2020-07-28 09:42:11
346
原创 网络技术-利用静态路由实现网络互通-3（1）
网络技术-利用静态路由实现网络互通-3（1）已补1，利用静态路由实现网络互通（两个公司互相通信）完整图：2，配置路由器2.1，此时可以看到电脑和路由器之间是红色的，即不可通信，解决：Router(config)#interface fa0/0Router(config-if)#no shutdown Router(config-if)#%LINK-5-CHANGED: Interface FastEthernet0/0, changed state to up.
2020-07-28 09:40:45
62339
原创 网络技术 - 教你配置三层交换机（实现小型局域网）-1
网络技术 - 教你配置三层交换机（实现小型局域网）-1通过配置三层交换机，来实现小型局域网，实现小公司的电脑互通互联结果1、ping 本网段 网关 和 同网段其他主机2、ping 其他主机 和 网关3、pin 服务器 ip 及其 网关这就是一个小型局域网下一节 如何配置...
2020-07-28 09:40:14
2465
原创 python django前后台创建配置步骤
1、django 通用模板 templates根目录下，创建 template 目录在路由文件中配置路径。2、创建静态文件夹，并在全局配置文件中写入3、试图文件 view 里面，写入后台逻辑Result:
2020-07-28 09:38:55
224
原创 Python Django 环境配置及初使用
1.1 环境配置及初使用django==2.2.6（最新）开发环境：python 3.7.1开发 IDE：pycharm数据库：mysql创建项目：django-admin startproject SisoOnline3、进入 SisoOnline 目录：cd SisoOnline4、创建应用：python manage.py startapp OnlineStudypython manage.py startapp OnlineStudy5、settings.
2020-07-28 09:37:48
349
原创 flask 和前台关系
flask 和前台关系：后端获得数据，返回给指定前台页面，前台页面通过语句展示数据。前台向后端发送 post 请求 存储信息。本页引入 ajax 文件，ajax 通过唯一 name/id 获取值，进行验证。然后提交给后端，后端再次验证。验证通过进行数据库存储flask 和小程序关联：微信小程序通过 js，向后端发送网络请求。后端自定义方法接收网络请求，然后拿出数据，返回给小程序。小程序接收数据，然后前台通过微信语法展示数据。数据存储：小程序向后端发送带参数 data 的网络请求，flas
2020-07-28 09:36:34
246
原创 flask 数据库关联
flask 数据库关联0：新建数据库数据库名：food_dbCREATE DATABASEfood_dbDEFAULT CHARACTER SET =utf8mb4;1：新建管理员数据表课程文件 文件夹中 数据库文件 文件夹 有初始化的所有 SQL2：使用 flask-sqlacodegen扩展 方便快速生成 ORM model2.1 pip install flask-sqlacodegen2.2 使用方法flask-sqlacodegen "mysql://ro...
2020-07-28 09:35:58
298
原创 Python RPA 数据库篇 8 - oracle 篇 1 - 查询数据
Python RPA 数据库篇 8 - oracle 篇 1 - 查询数据oracle 篇 1 - 查询数据代码#!/usr/bin/env Python3# -*- coding: utf-8 -*-# @Software: PyCharm# @virtualenv：workon# @contact: contact information# @Desc：Code descripton__author__ = '未昔/AngelFate'__date__ = '2019/8/2
2020-07-27 08:16:33
258
原创 Python RPA 数据库篇 7 - MySQL 篇 3 - 增删改查 2
Python RPA 数据库篇 7 - MySQL 篇 3 - 增删改查 2pymysql 给更新据代码#!/usr/bin/env Python3# -*- coding: utf-8 -*-# @Software: PyCharm# @virtualenv：workon# @contact:[email protected]# @Desc：Code descripton__author__ = '未昔/AngelFate'__date__ = '2019/8/29 20:35
2020-07-27 08:15:43
228
原创 python 对 XML 的解析 -ElementTree
python 对 XML 的解析 -ElementTree代碼#!/usr/bin/env Python3# -*- coding: utf-8 -*-# @Software: PyCharm# @virtualenv：workon# @contact: contact information# @Desc：ElementTree__author__ = '未昔/AngelFate'__date__ = '2019/8/22 20:26'from xml.etree import Ele
2020-07-26 09:39:03
256
原创 python 对 XML 的解析 -1（在 RPA 业务中，有时会遇到 XML 的数据格式，下面来看看怎么提取数据）
python 对 XML 的解析 -1（在 RPA 业务中，有时会遇到 XML 的数据格式，下面来看看怎么提取数据）举例数据代码#!/usr/bin/env Python3# -*- coding: utf-8 -*-# @Software: PyCharm# @virtualenv：workon# @contact: [email protected]# @Desc：python对XML的解析__author__ = '未昔/AngelFate'__date__ = '2019/8/
2020-07-26 09:35:45
254
原创 Python RPA 数据库篇 - MongoDB 篇 1 - 连接 MongoDB 数据库
Python RPA 数据库篇 - MongoDB 篇 1 - 连接 MongoDB 数据库1、查看创建数据库#!/usr/bin/env Python3# -*- coding: utf-8 -*-# @Software: PyCharm# @virtualenv：workon# @contact: contact information# @Desc：Code descripton__author__ = '未昔/AngelFate/[email protected]'__date__
2020-07-25 10:23:01
255
原创 Python RPA数据库篇3-MongoDB篇2-连接MongoDB数据库 代码
Python RPA数据库篇3-MongoDB篇2-连接MongoDB数据库代码#!/usr/bin/env Python3# -*- coding: utf-8 -*-# @Software: PyCharm# @virtualenv：workon# @contact: contact information# @Desc：Code descripton__author__ = '未昔/AngelFate'__date__ = '2019/8/27 20:59'import pymo
2020-07-25 10:22:12
249
原创 Python 操作 redis 代码
Python 操作 redis代码#!/usr/bin/env Python3# -*- coding: utf-8 -*-# @Software: PyCharm# @virtualenv：workon# @contact: contact information# @Desc：Code descripton__author__ = '未昔/AngelFate'__date__ = '2019/8/28 20:27'# 导入redis库from redis import Strict
2020-07-25 10:19:51
240
原创 【python 进阶】获取用户机主机名
标题【python 进阶】获取用户机主机名def getHost(ip): print(0,ip) try: result=gethostbyaddr(ip) print(result) if result: return result[0], None except socket.herror,e: print(socket.herror,e)ip_list = ['157.55.39.156','116.17
2020-07-24 20:30:10
283
原创 重装 python 环境的伤感
重装 python 环境的伤感今天，突然心血来卸载了 python 的环境。好吧，其实是的当年的年少无知，把 python 装在了 C 盘。清理之后，天哪，多了 20 个 G。。。。原来，用的是 python3.6. 自从项目越来越多，库越来越多，我的 C 盘下 python 内容也越来越大。= =120G 慢慢的还有十几个 G。发现了这个问题，我就开始寻找弥补的方法，功夫不负有心人，虚拟环境暂时帮我解决了，燃眉之急。可是，治标不治本，原始的环境占得空间还是太大了。今天卸载在之后，变成了 4
2020-07-24 07:45:12
552
原创 pandas 读取和输出不同的格式数据
pandas 读取和输出不同的格式数据导入库：import pandas as pd读数据pd.read_csv(filename) # 读取 csv文件pd.read_excel(filename) # 读取 Excel文件pd.read_table(filename) # 读取 TXT文件pd.read_sql(sql=query, con=connection_object) # 进行sql语句操作，并读取数据pd.read_json(json_string) # 读取
2020-07-24 07:29:36
523
原创 ubuntu-11 - 安装 java 环境
ubuntu-11 - 安装 java 环境PS前面，安装了防火墙。注意，安装防火墙之后，把前面用到的端口，计入防火墙允许的里面。不然外界访问不到准备好好 java 的压缩包解压重命名刚才的路径，放入环境变量使新配置的环境变量生效，然后查看 java 是否安装成功...
2020-07-24 07:28:04
345
原创 ubuntu-10-ubuntu 16.04搭建ftp服务器
sudo apt install vsftpd配置参数命令行输入vim /etc/vsftpd.conf# Example config file /etc/vsftpd.conf # # The default compiled in settings are fairly paranoid. This sample file # loosens things up a bit, to make the ftp daemon more usable. # Please see vsft
2020-07-23 08:45:22
218
原创 pandas 简单用法
#!/usr/bin/env Python3# -*- coding: utf-8 -*-# @Software: PyCharm# @virtualenv：workon# @contact: contact information# @Desc：Code descripton__author__ = '未昔/AngelFate'__date__ = '2019/8/18 13:11'import pandas as pddata = pd.read_excel('1.xlsx',en
2020-07-23 08:43:39
230
原创 Phython-数据结构 DataFrame
#!/usr/bin/env Python3__author__ = '未昔/angelfate'__date__ = '2019/8/6 10:52'# -*- coding: utf-8 -*-import pandas as pdimport numpy as np"""数据结构 DataFrame创建，读写"""print('用字典生成DataFrame，key为列名（默认key是无序的）。')data = { 'name': ['wang', 'wei', 'RPA
2020-07-23 08:42:00
205
原创 ubuntu18.04 源
ubuntu18.04 源#163 源deb http://mirrors.163.com/ubuntu/ bionic main restricted universe multiversedeb http://mirrors.163.com/ubuntu/ bionic-security main restricted universe multiversedeb http://mirrors.163.com/ubuntu/ bionic-updates main restricted univ
2020-07-23 08:40:30
279
原创 ubuntu-1 - 重新安装了 ubuntu，准备搭新的分布式集群。正好把步骤和遇到的问题发出来 -- Ubuntu18.04 安装和配置
ubuntu-1 - 重新安装了 ubuntu，准备搭新的分布式集群。正好把步骤和遇到的问题发出来 – Ubuntu18.04 安装和配置一、安装 vbox二、安装 ubuntu18.04三、安装一些必备应用：1、安装 ifconfig第一次装完 ubuntu，运行 apt-get 可能会遇到下面的情况 (资源被占用)：E: 无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用)E: 无法锁定管理目录(/var/lib/dpkg/)，是否有其他进程正占用它？
2020-07-23 08:39:17
236
原创 艺赛期IS-RPA：循环获取页面所有 table 或者 li 标签的文本
其实很简单。基本上下载的网站都是规则的，所以拿数据比较方便。首先，找到你要拿的文本信息，随便选取一条。直接 COPY 它的 selector。然后，找到每个 selector 不一样的地方。因为我这里提取的是 li 标签的内容，所以只需要改变子节点 li 的后代即可。{"css-selector":"#ulList_view_listnews_86_277455938 > li:nth-child({}) > h3 > a".format(str(i))}...
2020-07-23 08:34:09
750
原创 pandas 分块读取大规模数据
pandas 分块读取大规模数据__author__ = '未昔/angelfate'__date__ = '2019/7/2 1:30'# -*- coding: utf-8 -*-path = r'E:\python\Study\BiGData\new_data.csv'@timeitdef test_1(): print('test_1') df = pd.read_csv(path, engine='python', encoding='gbk')@timeit
2020-07-23 08:23:50
561
基于Python的-热播电影【哪吒之魔童降世】数据分析、数据可视化、数据预测
2020-07-24
最新Pyhton招聘岗位数据分析、数据可视化
2020-07-24
最新Pyhton电影数据分析、数据可视化
2020-07-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人