Felix-微信(Felixzfb)-CSDN博客

原创 Python 实现 2019 新型冠状病毒疫情地图可视化 (basemap + matplotlib)

文章目录1 环境安装 (地图包及绘图包)2 获取全国疫情数据（各省及各地区数据）1 环境安装 (地图包及绘图包)编程环境：Python3.7 + PyCharm2018三方库 (按顺序依次安装)pyproj (basemap的依赖包，下载whl本地安装)geos (basemap的依赖包，直接pip安装)basemap (地图包，下载whl本地安装)matplotlib (画图包...

2020-01-31 23:14:03 13853 2

原创 Python 全栈工程师必备面试题 300 道（2020 版）

Python 全栈工程师核心面试 300 问深入解析（2020 版）Python 面试不仅需要掌握 Python 基础知识和高级语法，还会涉及网络编程、web 前端后端、数据库、网络爬虫、数据解析、数据分析和数据可视化等各方面的核心知识。针对网上资料参差不齐，并且自己上网寻找费时费力，效果还不好的问题，进行该 Chat 创作。本人结合自己多年的开发经验，同时汲取网络中的精华，本着打造全网最全面...

2019-12-30 18:20:42 13275 7

原创 Echarts 柱状堆叠图结合折线图展现公司人员数量变化

效果图：<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title> <script src="../js/jquery-1.12.4.min.js"></script> <script src="../echarts/dist/echarts.min.js">

2020-11-30 11:39:07 1012

原创全球首发鸿蒙系统（HarmonyOS2.0）开发环境搭建图文教程（DevEco Studio IDE 安装及设置）

1. 下载安装node.js下载地址：http://nodejs.cn/download/下载需要的版本：windows下载msi安装包安装和常规软件一样，一直下一步，安装完成即可。安装完成后，打开CMD终端，输入：node -v ，出现版本即安装成功。一般做个开发工作，电脑都是已经有node了，可以直接跳过该步。2. 下载安装 DevEco Studio下载地址：https://developer.harmonyos.com/cn/develop/deveco-studio#downlo

2020-09-14 14:57:20 19721 1

原创 Charles 抓包工具安装( Windows 和安卓系统) SSL代理设置

Charles 抓包工具安装及使用Charles 原理首先将 Charles 运行在自己的 PC 上，Charles 运行的时候会在 PC 的 8888 端口开启一个代理服务，这个服务实际上是一个 HTTP/HTTPS 的代理。确保手机和 PC 在同一个局域网内，我们可以使用手机模拟器通过虚拟网络连接，也可以使用手机真机和 PC 通过无线网络连接。设置手机代理为 Charles 的代理地址，这样手机访问互联网的数据包就会流经 Charles，Charles 再转发这些数据包到真实的服务

2020-08-11 16:59:42 4051

原创 Hook 钩子技术及代码注入的 3 种方式

Hook 技术介绍Hook 技术中文又叫作钩子技术，它就是在程序运行的过程中，对其中的某个方法进行重写，在原有的方法前后加入我们自定义的代码。相当于在系统没有调用该函数之前，钩子程序就先捕获该消息，可以先得到控制权，这时钩子函数便可以加工处理（改变）该函数的执行行为。通俗点来说呢，比如我要 Hook 一个方法 funA，可以先临时用一个变量存一下，把它存成 A，然后呢，我再重新声明一个新的方法 funB，里面添加自己的逻辑，比如加点调试语句、输出语句等等，然后在新的方

2020-08-09 12:49:04 5681 3

原创 requests+selenium 爬虫项目和 scrapy 爬虫项目的区别

爬虫项目request+selenium爬虫项目周期项目介绍爬了XXXXX，XXX，XXX，等网站，获取网站上的XXX，XXX，XXX，数据，每个月定时抓取XXX数据，使用该数据实现了XXX，XXX，XX，开发环境linux+pycharm+requests+mongodb+redis+crontab+scrapy_redis+ scarpy + mysql+gevent+celery+threading使用技术使用requests…把数据存储在mongodb中使用cron

2020-07-23 23:55:37 1447 1

原创通用爬虫思路总结

通用爬虫思路1. 通用爬虫思路1. 准备URL准备start_urlurl地址规律不明显，总数不确定通过代码查找下一页urlxpath定位不明显，寻找url地址，部分参数可能放在当前的响应中（比如当前页码数和总页码数会在当前响应中）准备url_list页码总数明确url地址规律明显2. 发送请求，获取响应添加随机的User-Agent，反反爬虫添加随机代理的IP，建立ip代理池，反反爬虫在对方判断我们是爬虫后，应该添加更多的headers字段，包括cook

2020-07-23 23:51:23 351

原创原生 JavaScript 中 window.onload 全局加载模块中定义的函数不能执行的一些问题

一个关于在window.onload里面定义函数，然后在html里面调用函数时出现错误。具体见下面<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <meta http-equiv="X-UA-Com

2020-07-23 23:50:16 1278 1

原创 iPhone11 复制照片或视频时候报错 “连接到系统上的设备没有发挥作用” 解决方法，最佳照片原画质复制到电脑方法

IOS 11 以后系统照片采用了HEVC编码格式，该编码格式只有普通JPG和MOV格式占用空间一半左右设置-相机里面可以选择兼容性最佳，使用JPG和普通的MPEG视频格式，但是占用空间大。选择高效，照片和视频全部采用苹果的HEVC格式，占用空间小，推荐使用。使用HEVC格式备份照片到电脑存在问题：连接电脑，直接复制，随着复制进行会报以下错误，照片复制一般没有问题(一次不要复制太多，一两百张没问题)，视频会频繁报错（即使单个复制还是报错）报错原因：设置-照片-传输到MAC或PC选择了自动，连接WIN

2020-06-30 23:39:58 30404 2

原创 Python 反爬虫——信息验证

文中案例参考 GitHub项目2 信息验证型反爬虫2.1 User-Agent反爬虫User-Agent是用户身份识别的重要信息，User-Agent中包含用户浏览器、浏览器引擎、操作系统等信息python的requests库请求时候，服务器读取到的User-Agent信息就是 python-requests/2.21.0User-Agent反爬虫：nginx中加入User-Agent检测，将python，Java，PHP等一些关键词都加入到黑名单中检测时候，发现含有这些关键词，就认定为是

2020-06-26 11:59:07 700

原创 Python 反爬虫——文本混淆反爬虫

文中案例参考 GitHub项目4 文本混淆反爬虫4.1 图片伪装为文字反爬虫有些文字内容实际是图片伪装的提取图片的内容(图片请求响应结果res.content就是图片的字节数据，可以直接write为图片对象，也可以打开为图片对象，看案例)图片对象使用光学字符识别技术(pytesseract库)从图片中提取文字PyTesseract缺点：只能识别出一些清晰工整的图像中的文字，扭曲的文字或者有其它颜色图片干扰信息时候识别不准确参考案例001(02文件夹中)4.2 CSS偏移反爬虫一般用于

2020-06-26 11:56:24 1021

原创 pyppeteer 下载 chromium 浏览器报错解决方法（2020.05.31）

pyppeteer 运行需要 chromium 浏览器，第一次运行时候会自动下 chromium 浏览器，但是由于网络问题，国内下载会报连接错误解决方法：方法1(推荐)：下载 chromium 浏览器到本地，百度搜索下载一个即可，然后解压查看 pyppeteer 判断 chromium 浏览器是否需要下载的本地路径，参考下图，先找到虚拟环境下chromium_downloader.py文件，然后代码中添加方框中两句代码，然后运行，就可以打印出本地浏览器路径接着进入路径local-chromiu

2020-05-31 12:24:44 1264

原创 Python 通用爬虫思路

文章目录通用爬虫思路1. 准备URL2. 发送请求，获取响应3. 提取数据4. 保存通用爬虫思路1. 准备URL准备start_urlurl地址规律不明显，总数不确定通过代码查找下一页urlxpath定位不明显，寻找url地址，部分参数可能放在当前的响应中（比如当前页码数和总页码数会在当前响应中）准备url_list页码总数明确url地址规律明显2. 发送请求，获取响应添加随机的User-Agent，反反爬虫添加随机代理的IP，建立ip代理池，反反爬虫在对

2020-05-27 17:11:20 443

原创 HttpResponse 和 JsonResponse 的直观区别以及 response.json(）方法

HttpResponse对象Django服务器接收到客户端发送过来的请求后，会将提交上来的这些数据封装成一个HttpRequest对象传给视图函数。那么视图函数在处理完相关的逻辑后，也需要返回一个响应给浏览器。而这个响应，我们必须返回HttpResponseBase或者他的子类的对象。而HttpResponse则是HttpResponseBase用得最多的子类。常用属性：content：返回的内容。status_code：返回的HTTP响应状态码。content_type：返回的数据的MIM

2020-05-26 09:41:02 7298 1

原创终端启动MYSQL时出现报错：“ERROR 2003 (HY000): Can't connect to MySQL server on 'localhost' (10061)” 解决方法

1. 问题说明一直使用：mysql -u root -p 启动mysql数据库，使用了两年都是正常的，突然一天启动时候报错：“ERROR 2003 (HY000): Can’t connect to MySQL server on ‘localhost’ (10061)”2. 解决方法查询多篇博客，发现是由于mysql文件名被篡改了，mysql服务没有自动启动打开计算机管理服务里面查看：一个服务叫mysql，还有一个叫MySQL80 (80就是版本号8.0)，对比属性里面的文件路径一致此时

2020-05-11 22:54:11 614

原创 Pycharm 中 Mark Directory As 里的 Sources Root 的作用

源根（或源文件夹）通过为此类别分配文件夹，您可以告诉IDE编译器此文件夹及其子文件夹包含应作为构建过程的一部分进行编译的源代码。测试源根（或测试源文件夹;显示为rootTest）这些根类似于源根，但是用于测试的代码（例如用于单元测试）。通过测试源文件夹，您可以将与测试相关的代码与生产代码分开。通常，源和测试源的编译结果放在不同的文件夹中。资源根源适用于您的应用程序中使用的资...

2020-04-14 11:06:03 9706 1

原创 Linux小知识----/bin/bash和/bin/sh的区别

SH：sh就是Bourne shell这个是UNIX标准的默认shell，对它评价是concise简洁 compact紧凑 fast高效，由AT&T编写，属于系统管理shellBASH:bash是 GNU Bourne-Again SHell (GNU 命令解释程序 “Bourne二世”)是linux标准的默认shell ，它基于Bourne shell，吸收了C shell和K...

2020-04-09 11:45:48 2393

原创 Docker 及 Docker Compose 安装及使用教程 (2020版)

文章目录1 Docker原理2 Docker安装3 镜像（Image）3.1 获取镜像3.2 查找拖取镜像3.3 列出镜像3.4 删除镜像3.5 创建的镜像4 容器（Container）4.1 创建启动容器4.2 终止、重启容器4.3 进入后台容器4.4 导出和导入容器4.5 删除容器4.5 容器运行一个简单Web应用实例5 Docker 容器连接5.1 网络端口映射5.2 Docker容器互联5...

2020-04-01 23:37:02 3424

原创 VirtualBox及Ubunbu18.04使用技巧汇总

菜单栏相关Ubunbu虚拟机HOST键就是键盘的右边的CTRL键host + home 显示菜单栏控制窗口，在里面选择：视图—菜单栏—显示菜单栏host + c 自动缩放模式，菜单栏消失，再按一次菜单栏恢复...

2020-03-28 16:28:58 444

原创 sudo apt-get update和sudo apt-get upgrade命令的区别

前言在windows下安装软件，我们只需要有EXE文件，然后双击，下一步直接OK就可以了。但在LINUX下，不是这样的。每个LINUX的发行版，比如UBUNTU，都会维护一个自己的软件仓库，我们常用的几乎所有软件都在这里面。这里面的软件绝对安全，而且绝对的能正常安装。那我们要怎么安装呢？在UBUNTU下，我们维护一个源列表，源列表里面都是一些网址信息，这每一条网址就是一个源，这个...

2020-03-28 14:56:11 4812

原创 Ubutu18.04无法进入桌面解决方法(输入密码后黑屏后又回到用户登录界面)

问题说明环境说明：Win10 VMVirtualBox6.0.10Ubuntu18.04问题来源：安装docker后出现的该问题问题描述：启动系统，输入正确的账号和密码，点击登录，屏幕一闪，然后又跳回登录界面。输入密码还是闪一下，又回到登录界面。网上博客提到几种方法：重新安装gdm、删除.Xauthority、删除/etc/profile文件里面一些东西，我看很多回...

2020-03-28 14:49:14 7117 20

原创 Python 中 pip 常用命令 pip 升级、包升级等

1. pip介绍pip 是 Python 包管理工具，该工具提供了对Python 包的查找、下载、安装、卸载的功能。目前如果你在 python.org 下载最新版本的安装包，则是已经自带了该工具Python 2.7.9 + 或 Python 3.4+ 以上版本都自带 pip 工具。pip 官网：https://pypi.org/project/pip/你可以通过以下命令来判断是否已安装：pi...

2020-03-10 23:10:43 7340

原创 Ubuntu18.04 安装及使用Docker（安装常见报错及Docker常用命令）

采用以下安装方式首先要保证Ubuntu服务器能够访问Docker仓库地址：https://download.docker.com/linux/ubuntu如果能够访问，按照下面的操作步骤进行安装1 sudo apt-get update 更新apt索引但是可能会报错No module named ‘apt_pkg’python 版本升级后会出现报错： No module named ...

2020-03-08 15:49:57 3612 3

原创 Ubuntu中Crontab定时执行python文件（可用于定时爬虫）

1. Crontab定时命令介绍Crontab定时命令编写和定时脚本执行步骤如下图：(Crontab Ubuntu下面才有，Windows系统没有)2. python脚本定时执行步骤3. Crontab实例演示，定时执行hello.py文件- 案例演示定时执行一个py文件 - 爬虫执行也可以用python main.py，将爬虫执行写在main.py里面 - 爬...

2020-03-03 22:35:09 833

原创 Ubuntu18.04网络配置-NAT模式-桥接模式-主机虚拟机相互PING通

写在前面：Pycharm发布代码的服务器或虚拟机，本地WIN10发布代码到本地安装的Ubuntu18.04虚拟机，连接失败，查询百度，虚拟机SSH也打开了，用户名密码都没有错。后面发现是虚拟机采用的NAT上网模式，该模式下虚拟机可以Ping通主机，但是主机不能Ping通虚拟机，要想实现相互连接，需要使用桥接模式，主机和虚拟机可以相互ping通。设置桥接模式，需要先安装桥接网卡驱动...

2020-03-03 15:36:18 2770

原创 Ubunbu虚拟机配置NAT网络—开启SSH服务—远程连接测试(Putty)

Ubuntu开启SSH服务后，就可以进行远程连接，进行远程访问操作，当做一台模拟的服务器使用。1 部署环境主机：Windows10系统 Anaconda Pycharm2018.03虚拟机：Ubuntu 18.04网络测试工具：putty-64bit-0.73...

2020-03-03 12:27:16 828

原创 Ubuntu虚拟机如何查看IP地址

windows系统查看IP应该很多都会,就是在cmd 命令下输入ipconfig,但是在ubuntu下，是需要先安装一个工具才能查看的。直接查看会出现错误下载net-tools: sudo apt-get install net-tools输入命令: ifconfig如果是普通用户，需要使用超级用户则使用以下命令：sudo ifconfit -a参考下图：...

2020-03-03 10:37:09 13279 3

原创 Pycharm 发布代码到远程服务器或本地Ubuntu虚拟机

Pycharm可以方便的发布代码到服务器或者虚拟机上本文以本地Windows系统发布到Ubuntu虚拟机为例1 启动本地Ubuntu虚拟机2 Pycharm中发布项目1 tools–>deployment–>configuration2 点左上角+号，SFTP类型3 查看Ubuntu的ip地址信息补充：FTP，SFTP，FTPS三个文件传输协议的区别F...

2020-03-03 10:31:19 1143

原创 ECharts 实战：新冠病毒全国疫情地图可视化 (requests获取数据+ECharts展示)

ECharts实现新冠病毒全国疫情地图可视化效果添加链接描述前几天使用basemap + matplotlib实现了新冠病毒全国疫情地图可视化，但是美观性不是太好通过比较多个可视化工具，发现还是ECharts最适合中国地图可视化ECharts地图数据丰富，图表美化的很好，很多功能不用单独去设置，输出的图片已经是优化后的结果虽然有pyecharts库，但是相对于原装的ECharts功能还...

2020-02-13 16:50:04 20442 3

原创 ECharts 使用教程 (图文教程--版本4.6.0)

ECharts使用教程(图文版)----(2020.02.02)武汉加油----冲鸭，雄起！！！成都兄弟挺你！文中项目参考：项目GitHub地址Python 实现 2019 新型冠状病毒疫情地图可视化 (basemap + matplotlib)1. ECharts概述1.1 ECharts介绍ECharts，一个使用 JavaScript 实现的开源可视化库，可以流畅的运行在 ...

2020-02-07 22:05:48 10627

原创 Windows10中macOS10.14虚拟机性能优化教程

Windows10中采用VMware15安装安装macOS10.14教程参考我的博文：https://blog.csdn.net/u011318077/article/details/101473137虚拟机中masOS运行并不是完美流畅，需要进行性能优化，才能完美运行1. 虚拟内存和核心数量分配根据自己电脑内存大小合理分配，比如我12G内存，平常windows使用在6G左右，分配给虚...

2019-12-19 16:13:04 11555 1

原创 Web前端性能优化汇总

前端性能优化前端页面需要先下载到本地，然后渲染展示出来从用户访问资源到资源完整的展现在用户面前的过程中，通过技术手段和优化策略，缩短每个步骤的处理时间从而提升整个资源的访问和呈现速度。网站的性能直接会影响到用户的数量，所有前端性能优化很重要。前端性能优化分为如下几个方面：一、代码部署：1、代码的压缩与合并（最终代码都会压缩成一行）2、图片、js、css等静态资源使用和主...

2019-11-26 09:31:04 403

原创 Web前端----移动端库和bootstrap框架

Web前端笔记第十一部分：js移动端库和bootstrap框架，re正则1. 移动端js事件移动端的操作方式和PC端是不同的，移动端主要用手指操作，所以有特殊的touch事件，touch事件包括如下几个事件：1、touchstart: //手指放到屏幕上时触发2、touchmove: //手指在屏幕上滑动式触发3、touchend: //手指离开屏幕时触发4、touchcanc...

2019-11-26 09:29:35 1127

原创 Web前端补充----json ajax cookie webStorage jqueryUI

Web前端笔记第十部分：json ajax1. jsonjsonjson是 JavaScript Object Notation 的首字母缩写，单词的意思是javascript对象表示法，这里说的json指的是类似于javascript对象的一种数据格式，目前这种数据格式比较流行，逐渐替换掉了传统的xml数据格式。javascript自定义对象：var oMan = {...

2019-11-20 21:58:27 484

原创 JavaScript服务器环境运行步骤

安装node环境cmd下输入 node -v有版本号就说明已经安装成功了C:\Users\HP>node -vv10.16.3切换到要运行服务器文件夹里面，文件夹名称和文件夹路径最好都设置为英文，中文会出错C:\Users\HP>D:D:>CD D:\PyProject\Web_front_end_study\09_jQuery_ServerD:\PyPro...

2019-11-20 21:56:43 856

原创 Web前端——jQuery库

Web前端笔记第七部分：jQuery1. jQuery介绍jQuery是目前使用最广泛的javascript函数库。据统计，全世界排名前100万的网站，有46%使用jQuery，远远超过其他库。微软公司甚至把jQuery作为他们的官方库。jQuery的版本分为1.x系列和2.x、3.x系列，1.x系列兼容低版本的浏览器，2.x、3.x系列放弃支持低版本浏览器，目前使用最多的是1....

2019-11-19 20:38:04 388

原创 Web前端----原生JavaScript

Web前端笔记第六部分：JavaScript1. JavaScript介绍JavaScript是运行在浏览器端的脚步语言，JavaScript直接有浏览器解释执行不需要编译JavaScript主要解决的是前端与用户交互的问题，包括使用交互与数据交互。 JavaScript是浏览器解释执行的，前端脚本语言还有JScript（微软，IE独有），ActionScript( Adobe公...

2019-11-13 15:38:38 213

原创 Web前端——CSS最常用样式列表总结

常用css列表color 设置文字的颜色，如： color:red;font-size 设置文字的大小，如：font-size:12px;font-family 设置文字的字体，如：font-family:‘微软雅黑’;font-style 设置字体是否倾斜，如：font-style:‘normal’; 设置不倾斜，font-style:‘italic’;设置文字倾斜font-weigh...

2019-11-05 15:52:12 432

原创 Web前端——移动端页面开发

Web前端学习笔记第五部分：移动端页面开发1. 移动端与PC端页面布局区别视口视口是移动设备上用来显示网页的区域，一般会比移动设备可视区域大，宽度可能是980px或者1024px，目的是为了显示下整个为PC端设计的网页，这样带来的后果是移动端会出现横向滚动条，为了避免这种情况，移动端会将视口缩放到移动端窗口的大小。参考：001-移动端和PC端网页渲染区别.png由于产生按比例缩...

2019-11-04 23:16:16 864