- 博客(73)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 Hadoop大数据框架思想及组成
文章目录Google三大论文Hadoop模块构成三大版本区别组件一：HDFS组件二：YARN组件三：MapReduce三大组件关联关系大数据技术生态体系Google三大论文第一篇论文：GFS2003年谷歌发表了“The Google File System”（谷歌文件系统，简称GFS）论文，GFS的架构能够满足在网页爬取和索引过程中产生的超大文件的存储需求。在2004年Nutch团队开始做GFS的开源版本实现，也就是Nutch分布式文件系统（NDFS）。第二篇论文：MapReduce2004年谷
2021-10-03 13:37:22
395
原创 Java创建线程的几种方式
继承Thread类Thread类本质上实现了Runnable接口的一个实例，通过继承Thread类并复写run方法启动新线程。调用start方法是告诉CPU此线程已经准备就绪可以执行，进而系统有时间就会来执行其run方法。而直接调用run方法，则不是异步执行，而是等同于调用函数般按顺序同步执行，这就失去了多线程的意义了。public class ThreadDemo1 extends Thread { public ThreadDemo1(String name) { // 设
2021-07-30 11:43:09
333
原创 Java反射动态执行方法
方法名称setMyString参数类型java.lang.String。方法名称setMyList参数类型java.util.List。无参调用返回结果测试字符串。有参调用返回结果新的参数值。
2022-08-01 09:11:45
850
原创 Oracle用户权限管理
权限，角色和用户的关系权限（privilege）:Oracle数据库预先定义好的、执行某些操作的能力。角色（role）:一组相关权限的集合。可以利用角色来简化权限的管理。用户（user）:通过给用户授予适当的权限或角色，用户就能够登录数据库，在数据库中执行特定的DDL和DML操作。通过回收权限或角色，就能减少用户对数据库的操作能力。按照权限所针对的控制对象，可以将其分为系统权限、对象权限。系统权限（system privilege）：指在系统级控制数据库的存取和使用的机制，即执行某种SQL语句的能力。
2022-06-09 21:22:31
1442
原创 Centos7 安装 MySQL8 数据库（亲测无坑！！！）
文章目录1、系统环境信息1.1 查询系统版本1.2 清理已安装的包1.3 安装依赖包2、下载MySQL安装包2.1 下载压缩包2.2 解压安装文件2.3 修改目录权限2.4 创建配置文件my.cnfmysql_custom.server3、初始化及启动3.1 初始化数据库3.2 添加系统服务3.3 添加全局变量3.4 启动服务4、数据库远程连接1、系统环境信息1.1 查询系统版本cat /etc/redhat-releasecat /proc/version当前安装环境的CentOS版本为7.9
2021-05-28 23:54:03
1604
8
原创 Java 操作SSH2实现远程执行linux命令
1、引入依赖<dependency> <groupId>ch.ethz.ganymed</groupId> <artifactId>ganymed-ssh2</artifactId> <version>262</version></dependency>2、SSH2Util 工具类封装import ch.ethz.ssh2.Connection;import ch.ethz.s
2021-05-20 09:52:55
1379
原创 Python3 Tkinter GUI 数据传输工具
1、实现功能数据文件导入数据库库表新增、数据追加、不同库数据传输（测试阶段）数据采用线程池操作，速度较优2、界面展示初始化导入文件，双击编辑导入日志3、主要界面代码界面采用纯tkinter编写，逻辑并不难实现，但是调试比较费时间。导入文件弹窗选择 def openFile(self,f,tree,action_model,db_tablename,btn,actionModel_label): """获取文件路径 :param f
2021-04-21 22:55:02
991
4
原创 CentOS 7 安装配置 Docker
一、环境准备及安装1. Docker 要求 CentOS7 系统的内核版本高于 3.10 ，需要验证你的CentOS 版本是否支持uname –r2. 升级yum包到最新版本sudo yum update3. 卸载已安装的docker旧版本，若之前未安装过，可忽略此步# 卸载 dockersudo yum remove docker \ docker-client \ docker-client-latest \
2021-01-04 11:31:53
180
2
原创 CentOS 命令行 Selenium 自动测试
1、安装Chrome配置Google的epel源vi /etc/yum.repos.d/google.repo[google]name=Google-x86_64baseurl=http://dl.google.com/linux/rpm/stable/x86_64enabled=1gpgcheck=0gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub # 更新yumyum update# 安装Chromey
2020-10-22 14:27:11
348
2
原创 Python itertools 模块中的 product 函数
product 用于求多个可迭代对象的笛卡尔积 (Cartesian Product)可用于同时历遍循环多个对象from itertools import productl1 = ['a', 'b','c']l2 = [1, 2, 3]for i, j in product(l1, l2): print(i, j)输出：
2020-06-08 15:09:03
1642
原创 Flask SocketIO 服务端向客户端实时推送
先撸码，后废话！App.py Code：#!/usr/bin/env python# -*- coding: utf-8 -*-from flask import Flask, render_templatefrom flask_socketio import SocketIOfrom threading import Lockimport randomasync_mode = Noneapp = Flask(__name__)app.config['SECRET_KEY'] = '
2020-06-05 16:46:56
2180
5
原创 Chrome Console 控制台打印显示不完整
问题如图：调试打印的时候数组太长，无法完整显示，用省略号代替。解决办法：console.log(JSON.stringify(数组或对象));
2020-06-03 10:13:24
6977
1
原创 Flask + uWSGI + Nginx 项目部署方案
Nginx 前言Nginx有几个优点：1、负载均衡：根据请求情况和服务器负载情况，将请求分配给不同的web服务器，保证服务器性能。2、反向代理：客户端的请求由代理服务器分配给某web服务器，而不是客户端指定的目标服务器。对于一些静态文件，可以直接由反向代理处理，不经过web服务器。3、安全性：客户端无法得知真正的服务器IP地址，保证了服务器的安全。Nginx 与 uWSGI 之前的关系？？uWSGI是python的一个库，安装了这个库之后，我们可以使用命令uwsgi，通过这个命令和一些配置，我们
2020-06-01 11:46:33
360
原创 Flask + uWSGI 项目部署流程
前言uWSGI是一个全功能的HTTP服务器，实现了WSGI协议、uwsgi协议、http协议等。它要做的就是把HTTP协议转化成语言支持的网络协议。比如把HTTP协议转化成WSGI协议，让Python可以直接使用。uWSGI的适用：1.内存占用低2.单节点服务器的简易部署3.轻量级，好部署1、项目结构2、安装配置uWSGI 安装：pip install uwsgi在项目根目录下新建 uwsgi.ini 文件[uwsgi]# 地址端口http = 0.0.0.0:5200# 项目路
2020-05-27 16:44:40
1098
原创 Python 历遍类函数(动态调用函数)
示例import inspect# GetFreeProxy:类名称member_list = inspect.getmembers(GetFreeProxy, predicate=inspect.isfunction)out : [('jiangxianli', <function GetFreeProxy.jiangxianli at 0x00000000031CF048>), ('kuaidaili', <function GetFreeProxy.kuaidaili at
2020-05-24 08:48:22
524
原创 Python 历遍目录下所有文件(包含下级)
#!/usr/bin/env python# -*- coding: utf-8 -*-import osdef getDirFile(rootdir, is_next=1): """ 历遍目录下所有文件 :param rootdir: 需要历遍的目录 :param is_next: 默认为1,表示历遍下级目录,否则反之 :return: 返一个全路径文件的列表 """ file_list = [] for root, dirs, fi
2020-05-24 08:43:58
378
原创 Flask+MySQL大数据表格分页显示
1、显示效果界面主要由两部分完成顶部搜索栏：按条件传参给后端请求，控制表格数据重载刷新底部表格：接收后端返回JSON数据，对表格渲染显示2、前端传参前端采用Layui框架渲染，对页码和条数传参给后台做条件查询；得到后端返回数据，对前端表格进行重载刷新顶部搜索栏HTML<div class="layui-col-md12 x-so"> <input class="layui-input" autocomplete="off" placeholder="开始日" na
2020-05-22 10:05:41
3678
2
原创 Flask sqlalchemy 映射关联已存在的表
1、安装库pip install sqlalchemypip install mysql-connector-python驱动包如果没有安装成功会报错，无法链接！2、示例代码from sqlalchemy import create_engine,Table,MetaDatafrom sqlalchemy.orm import Sessionmetadata = MetaData()engine = create_engine( 'mysql+mysqlconnector://r
2020-05-20 23:14:35
2580
原创 lxml+xpath历遍HTML表格数据
HTML源码<table id="table1" cellspacing="0px"> <tr> <th>编号</th> <th>姓名</th> <th>年龄</th> </tr> <tr> <td>1</td> <td>张三</td> <td>11</td>
2020-05-19 15:33:42
1730
原创 Python获取全年法定节假日时间
解析日历接口目标URL：https://wannianrili.51240.com/1、模拟请求抓包2、分析源码结构3、代码逻辑如果日期左上角标签带有休或班的字样，则为需要采集的目标日期；历遍class属性判断，是否存在wnrl_riqi_xiu（休）或者wnrl_riqi_ban（班）；获取span 标签下的文本信息，代表具体日期以及节日名称；关键代码：response = s.get(url, headers=headers, params=payload)element = e
2020-05-19 15:28:55
11555
4
原创 bypy上传文件到百度网盘
1、安装bypy模块pip install bypy2、cmd窗口执行命令，设置授权码bypy info访问url，将授权码黏贴到命令行，回车3、再次执行bypy info 提示网盘容量信息，则表示设置成功4、上传文件from bypy import ByPyclass BaiduNetdisk(object): def __init__(self): self.bp = ByPy() def upload(self): filepat
2020-05-18 21:37:40
1134
原创 Python日期模块笔记
import time当前本地时间time.strftime("%Y-%m-%d %X", time.localtime())'2011-05-05 16:37:06'计算当前时间import datetimedatetime.datetime.now()# 2019-06-30 10:51:14.089271# 格式化时间datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")# 2019-06-30 10:52:05多加（减）一
2020-05-18 21:27:51
150
原创 Windows10 系统安装 MySQL8.0
1、安装包下载官网地址：https://dev.mysql.com/downloads/mysql/2、解压安装在解压的目录文件下新建一个 data 空文件夹;新建一个 my.ini 配置文件，内容如下：[mysqld]# 设置3306端口port=3306# 设置mysql的安装目录basedir=D:\\Program Files\\MySQL\\mysql-8.0.20-winx64# 设置mysql数据库的数据的存放目录datadir=D:\\Program Files\
2020-05-12 09:44:37
256
原创 C# WinForm项目_记事本
1、运行界面窗体采用MDI容器模式，所有子窗体依赖于父窗体下2、子窗体控件触发事件代码添加 ToolStrip 工具栏，依次添加 Button 和 ComboBox 双击增加触发事件// 窗体加载时触发事件private void FrmChild_Load(object sender, EventArgs e){ // 加载系统字体 InstalledFontCol...
2020-05-08 00:00:26
550
原创 Python3 协程控制并发数的两种方法
1、TCPConnector 链接池import asynciofrom aiohttp import ClientSession, TCPConnectorasync def aiohttp_get(): url = 'url' conn = TCPConnector(limit=10) # 限制同时链接数，连接默认是100，limit=0 无限制 async w...
2020-04-26 09:45:32
4567
原创 PLSQL Developer 连接说明
1. 单机Oracle数据库连接根据单机数据库安装的路径选择，如下：Oracle主目录：D:\Oracle\product\11.2.0\dbhome_1OCI库：D:\Oracle\product\11.2.0\dbhome_1\bin\oci.dll如果Net Configuration Assistant已经配置，可以留空自动检测2. 远程Oracle数据库连接下载对应...
2020-04-08 13:58:08
392
原创 VSCode插件篇-Setting Sync 同步设置
1、创建Github Token操作：Settings / Developer settings / Personal access tokens选择 Create gists 权限，创建后保存生成的 Token 。2、Setting Sync 上传同步快捷键：Upload Key : Shift + Alt + UDownload Key : Shift + Alt + D...
2020-03-28 18:37:46
13764
原创 Python 多图片合并生成PDF
from fpdf import FPDFfrom PIL import Imageimport osdef makePdf(pdfFileName, listPages): """图片转PDF""" cover = Image.open(listPages[0]) width, height = cover.size pdf = FPDF(unit = "pt", format ...
2020-03-27 12:50:50
2647
原创 建标库(JianBiaoKu.com)图片数据转PDF爬虫案例
1、获取单个项目文件所有页码def get_all_url(self): """获取所有请求URL""" res = self.s.get(self.startUrl, headers=headers) res.encoding = 'utf-8' selector = etree.HTML(res.text) urls = selector.xpath(...
2020-03-27 12:47:37
4494
4
原创 VSCode插件篇-Code Runner配置Python环境
Step:1Step:2Step:3注释原有的python路径，输入: code-runner.executorMap 会自动提示配置信息，回车确认自动弹出，更改指定编辑器的路径即可。set PYTHONIOENCODING=utf8 && python指定编码，防止输出乱码如下图：...
2020-03-27 10:00:49
6741
2
原创 购物平台全店商品爬虫案例
1、页面解析主要获取每一行单品数据信息，以及翻页的页码观察URL组成：https://xiapi.xiapibuy.com/api/v2/search_items/?GET参数：by=pop&limit=30&match_id=178302698&newest=120&order=desc&page_type=shop&version=2...
2020-03-20 18:57:14
2245
3
原创 pip 更换安装源方法
1、临时更改pip install package-name -i https://mirrors.aliyun.com/pypi/simple/2、更改默认源升级 pip 到最新的版本后进行配置：pip install pip -Upip config set global.index-url https://mirrors.aliyun.com/pypi/simple/3、Py...
2020-03-19 14:12:31
1430
原创 asyncio + aiohttp协程异步并发示例
1、简单示例import asynciofrom aiohttp import ClientSession,TCPConnectorimport timeasync def aiohttp_get(page): url = 'https://www.baidu.com/s?wd={}'.format(page) try: conn = TCPConnect...
2020-03-11 15:52:35
953
原创 pymysql 增删改查二次封装
#!/usr/bin/env python# -*- coding: utf-8 -*-# @Author: Joson# @DateTime: 2020/3/6 14:02# @Description: Pymysql 增删改查操作# @Version: 1.0import pymysqlclass DataBaseHandle(object): ...
2020-03-06 15:10:45
634
1
原创 Python3 CSV文件读写
写入1. 列表写入import csvheaders = ['id','name','age','level','score']rows = [ {1,'张三丰','48','宗师',23], {2,'李白','64','秀才',22], {3,'秦始皇','42','皇帝',21], {4,'霍元甲','32','武状元',...
2020-01-12 15:05:13
583
原创 数据分析案例—天猫品牌店铺运营报告
背景：前段时间去的某家天猫店铺面试数据分析的岗位，想在面试前对该店铺做一个简单的了解。通过获取到的数据，分析该品牌店铺的销售情况，了解店铺定位和运营方向，在客观的角度对该店铺有一个清晰的了解。1、出售商品的类目分布情况2、商品特点和人群定位3、销量和成交额处于什么阶段4、商品购买评价信息反馈数据来源：天猫：https://naitangpai.tmall.com/import pa...
2020-01-09 12:36:51
9263
13
原创 matplotlib.pyplot.subplot 绘制多个子图
x = ['衬衫', '羊毛衫', '雪纺衫', '裤子', '高跟鞋', '袜子']y = [235,150,222,150,333,180]plt.figure(figsize=(15,12)) #设定画布大小plt.subplot(3,3,1)plt.title('柱形图')plt.bar(x,y)plt.subplot(3,3,2)plt.title('横向柱形图')...
2020-01-05 17:30:44
2476
DataSync.zip
2021-04-21
xxl-job框架前端新增任务失败
2022-12-24
java中如何判断被shell调用的脚本
2022-11-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人