- 博客(27)
- 收藏
- 关注
RSS订阅原创 Tableau进行分类统计操作
Tableau 是一款帮助任何人快速分析、可视化并分享信息的数据分析工具。我们现有一个网游数据，题目如下：以周为单位，列出随着开服到第十三周的付费变化，并可以通过选择大r、中r、小r、全体来查看对应的随时间付费情况以周为单位，列出所有大r随着开服时间，每种礼包的购买金额情况。（可以通过选择不同的大r名字切换每个大r的具体购买情况）我们利用tableau可以进行快速的可视化操作首先我们筛选...
2020-03-28 22:12:23
7675
原创 利用jieba分词进行关键字提取生成词云图
为了更加直观分析一些岗位要求，我们可以利用jieba分词技术对岗位要求内容进行关键字提取，并通过词云技术进行渲染展示首先我们将sql文件转化成Excel文件import pandas as pdimport sqlite3conn = sqlite3.connect("recruit.db")df = pd.read_sql("select * from recruit",conn)d...
2020-03-27 21:21:53
2411
原创 使用echarts可视化分析数据：职位分布情况
ECharts 是一个使用 JavaScript 实现的开源可视化库，涵盖各行业图表，满足各种需求。官网是http://pyecharts.org快速建立图表在官网中我们找到gallery模板，选择合适的模板代码from pyecharts import options as optsfrom pyecharts.charts import Piefrom pyecharts.fake...
2020-03-26 21:55:41
768
原创 pandas分析Excel文件：游戏订单查询
pandas对多种数据具有强大的分析处理功能，现以一个游戏充值数据Excel表进行介绍如何进行分析题目如下：1.以周为单位，列出随着开服到第十三周的付费变化，并可以通过选择大r、中r、小r、全体来查看对应的随时间付费情况2.以周为单位，列出所有大r随着开服时间，每种礼包的购买金额情况。（可以通过选择不同的大r名字切换每个大r的具体购买情况）3.列出购买总额最高的10种礼包，并作出大r、中r...
2020-03-26 13:09:23
405
原创 pandas分析sql文件：职位分布情况
pandas对多种数据具有强大的分析处理功能，现以一个sql招聘数据进行介绍如何进行分析职业分布情况题目如下：1.统计不同学历的职位分布2.统计不同学历下薪资待遇3.统计python不同就业方向的分布(web，爬虫，数据分析首先我们连接上sql并创建DataFrame对象import pandas as pdimport sqlite3conn = sqlite3.connect...
2020-03-26 08:09:04
515
原创 数据分析pandas库使用方法
pandas是专门分析数据的一个开源python库。pandas是做统计分析和决策的一个基础工具，下从安装及基本使用进行说明：pandas安装先安装Anaconda然后输入：conda install pandas我们可以在cmd终端输入如下命令进行查看及更新：conda list pandasconda upgrade pandas使用pip安装pip install...
2020-03-25 08:11:27
229
原创 pygame写一个简单播放器
pygame是python的一个开发游戏音频功能的一个强大安装库，笔者无意翻到之前写的一个简单播放器，废话不说直接上代码："""导入所需要的模块"""import pygame,sys,re,timefrom pygame.locals import *import os"""初始化数据"""pygame.init()pygame.font.init()font = pyga...
2020-03-23 21:14:01
695
原创 两个小例子学数据分析numpy模块
NumPy系统是Python的一种开源的数值计算扩展。在数据分析中是一种常用的python工具安装很简单命令如下pip install numpy 有时候会遇到安装出错的问题，建议更新pip或者安装vc++例子1求两个人的购买相似度zhangsan = np.array([ 0, 1, 1, 0, 0, 0, 0])lisi = np.array([ 0, 0, 0, 0, 0,...
2020-03-23 20:23:48
170
原创 Ubuntu环境下celery使用配置
Pycharm配置环境安装pip install celery[redis]redisa安装及常用命令redis: 1. wget -c 软件包 2.解压 mv 软件包 /usr/local/redis 3.cd /usr/local/redis 4. make install 5./usr/local/redis/src/redis-server /usr/...
2020-03-22 21:29:34
1186
1
原创 以远程服务器为例编写Scrapy-Redis分布式爬虫
Scrapy是一个框架，他本身不支持分布式。此时我们需要借助一个组件Scrapy-Redis,使得爬虫可以进行分布式，可以充分利用多个ip或者更多宽带来提高爬取效率以一个房天下爬虫为例sider代码如下：# -*- coding: utf-8 -*-import scrapyimport refrom soufang.items import NewHouseItem, EsfHo...
2020-03-20 22:22:55
242
原创 使用XPath解析库定位提取网页代码节点
在爬虫过程中使用正则表达式容易出错，对于网页的节点我们可以使用xpath更方便地定位节点XPath管网https://www.w3.org/TR/xpath/常用规则表达式描述nodename选取此节点的所有子节点/从当前节点选取直接子节点//从当前节点选取子孙节点.选取当前节点…选取当前节点的父节点@选取属性属性匹配...
2020-03-19 23:40:38
792
原创 scrapy爬取猫眼电影信息
scrapy是一个优秀的爬虫框架，可以非常直观规整的进行数据爬取。下面以爬取猫眼电影信息为例：首先我们我们需要建立一个scrapy项目：在项目目录下cmd窗口输入：scrapy startproject maoyan创建一个maoyan爬虫项目：接着我们进入maoyan项目目录：然后我们创建一个spider：scrapy genspider maoyan_spider maoy...
2020-03-18 22:06:44
1339
4
原创 Windows条件下scrapy安装
Scrapy`把一些基础的东西封装好了，在他上面写爬虫可以变的更加的高效（爬取效率和开发效率），下面简单介绍一下Windows环境下scrapy的安装方法首先我们打开python3对应的虚拟环境lsvirtualenv查看虚拟环境workon+虚拟环境名进入虚拟环境cd virtualenvpip install pypiwin32然后我们需要安装Twisted首先我们需要手动下载...
2020-03-16 22:26:52
334
原创 python正则中的贪婪匹配与非贪婪匹配
正则表达式是处理字符串的强大工具，它有自己的特定语法结构，其中常用的贪婪匹配与非贪婪匹配是一个难点，下面以代码为例进行解释说明请看下面这个例子我们想获取字符串中间的数字，中间写的（\d+），数字两边用.*替代，看看运行结果。content = 'Hello 1234567 World_This is a Regex Demo'result = re.match('^He.*(\d+).*D...
2020-03-15 00:17:49
383
原创 python3.7与python2.7双环境安装及配置
目前主流爬虫都是基于python27环境下运行，但是项目开发基本上用python3以上版本，现对于双环境安装进行详细说明首先我们安装python2.71.百度搜索Python,找到Python官网,点击进入https://www.python.org/2.点击Python官网的Downloads,然后在下拉菜单中点Windows,进入版本选择页面3.进入版本选择页面,可以在最上面看到有Py...
2020-03-09 20:38:34
866
原创 nvm配置前端开发环境
nvm（Node Version Manager）是一个用来管理node版本的工具。我们之所以需要使用node，是因为我们需要使用node中的npm(Node Package Manager)，使用npm的目的是为了能够方便的管理一些前端开发的包！nvm`的安装非常简单，步骤如下：1. 到这个链接下载nvm的安装包：https://github.com/coreybutler/nvm-windo...
2020-03-03 11:46:53
325
原创 memcached 数据库安装及启动
memcached是一种纯内存型数据库，下面介绍它的安装及启动方法Windows条件下首先我们下载memcached软件并解压然后在黑窗口输入cd +memcached解压文件所在目录执行memcached.exe -d install进行安装pthreadGC2.dll 拷贝到 c:/Windows/system32下切换到 c:/Windows/system32下面 找到 ...
2020-02-29 16:51:27
232
原创 Redis宕机怎么解决？
如果有一台Redis，肯定造成数据丢失，无法挽救。多台Redis或者是Redis集群，宕机则需要分为在主从模式下区分来看：1.slave从Redis宕机，配置主从复制的时候才配置从的Redis，从的会从主的Redis中读取主的Redis的操作日志，在Redis中从重新启动会自动加入到主从架构中，自动完成同步数据；2，如果从数据库实现了持久化，此时千万不要立马重启服务，否则会造成数据丢失，正确...
2020-02-03 11:45:19
1401
原创 AJAX技术中XMLHttpRequest对象学习笔记
在AJAX使用的技术中，最核心的技术就是XMLHttpRequest,它是一个人具有应用程序接口的JavaScript对象，能够使用超文本传输协议（http）连接一台服务器。XML的英文释义是可扩展标记语言，它提供了用于描述结构化数据的格式，适用于不同应用程序之间的数据交换。XMLHttpRequest的数据通常采用XML格式。1.XML 文档结构如下图所示是一个简单的XML文档：在上面的...
2020-02-02 11:32:59
227
原创 Session,Cookie,JWT的理解
1.为什么要使用会话管理总所周知，HTTP协议是一个无状态的协议，也就是说每个请求都是一个独立的请求，请求与请求之间并无关系。但在实际的应用场景，这种方式并不能满足我们的需求。举个例子，把商品加入购物车，单独考虑这个请求，服务端并不知道这个商品是谁的，应该加入谁的购物车？因此这个请求的上下文实际上应该包括用户的相关信息，在每次用户发出请求时把这一小部分额外信息，也作为请求的一部分，这样服务端就可...
2020-02-01 13:31:26
213
原创 Jinjia2模板引擎学习笔记
Jinjia2 模板引擎形式最简单的Jinjia2模板引擎就是一个包含响应文本的文件。1渲染模板默认情况下，flask在应用中的templates子目录里面寻找模板。flask提供的render_template()函数吧Jinjia2模板引擎集中到了应用中。这个函数的第一个参数是文件的关键字参数，随后的参数是键值对，表示模板中变量对应的具体值。2变量{{变量}}结构表示一个变量，这是...
2020-01-31 15:35:46
398
原创 使用python操作数据库之API接口连接对象和游标对象
大多数语言提供了数据库接口API，pyhton也不例外。下面介绍数据库API接口中的连接对象及游标对象这两个重要的对象。连接对象数据库连接对象（Connection Object）主要提供数据库游标对象和提交、回滚以及关闭数据库连接。获取连接对象连接对象需要使用connect（）函数，该函数各参数如下：参数说明dsn数据源名称user用户名passwo...
2020-01-20 23:13:29
657
原创 Mysql数据备份与恢复操作
为了避免从删库到跑路的事情发生，本文详细讲述在使用数据库过程中必须掌握数据库的备份与操作方法。下面以Dos环境下进行演示1使用mysqldump命令进行备份基本命令如下mysqldump -u username -p 数据库名 表名1 表名2 … > 绝对路径 文件名.sql首先我们进入mysql我在tests数据库中有一个article表需要备份到E盘test目录下win+R输...
2020-01-19 21:05:38
227
原创 flask项目在pycharm中利用requirements.txt快速配置和维护项目所需依赖
项目开发中通长需要加载很多软件包，直接操作很麻烦我们可以利用pip生成一个软件包列表文档在新的项目环境中直接调用该文档进行依赖安装在配置好框架下的项目我们可以在命令窗口执行pip freeze > requirements.txt 生成requirements.txt文件以下是一个成熟flask项目所生成的基本安装包列表alembic1.3.2Click7.0dominate...
2020-01-18 20:17:50
522
原创 pycharm远程连接服务器虚拟环境
首先我们要在pycharm里面配置好路径和ip在tools下拉框里面我们找到Deployment点击左上角+号开始新的部署从左到右依次是连接、映射、排除路径在Connection中我们输入远端服务器ip、用户名及密码在Mappings中我们输入远端准备映射的地址及本机文件保存地址，也就是项目工作目录，远端映射地址最好是对应的虚拟环境，否则操作起来很麻烦！然后我们打开对应5000端口...
2020-01-18 16:33:45
1052
原创 Ubutun远程服务器python虚拟环境搭建（putty远程连接阿里云）
设置云服务器首先我们需要购买一个服务器，笔者用的是阿里云，怎么购买及实例化这里就不赘述了。搜狗上是这样解释的：云服务器（ElasticComputeService,简称ECS）是一种处理能力可弹性伸缩的计算服务，其管理方式比物理服务器更简单高效。云服务器帮助您快速构建更稳定、安全的应用，降低开发运维的难度和整体IT成本，使您能够更专注于核心业务创新[1]。购买之后我们需要重置密码，然后重启服...
2020-01-14 13:36:24
390
原创 学习计划
学习计划时间内容13号~18号数据库18号~24号python基础24~26过年24号~2月1号linux及前端欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markd...
2020-01-13 19:42:50
182
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人