- 博客(58)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Python数据可视化（趋势图、条形图、动态图）
Python数据可视化代码已放到GitHub1.使用matplotlib绘制最简单的趋势图先查看一下数据import pandas as pdunrate = pd.read_csv('unrate.csv') # 使用pandas读取数据unrate['DATE'] = pd.to_datetime(unrate['DATE'])print(unrate.head(12)) # 查看前12条数据 DATE VALUE0 1948-01-01 3.41 1
2021-08-29 23:59:06
16774
原创 遗传算法Python代码实现
1. 遗传算法的科学定义 遗传算法（Genetic Algorithm, GA）是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法。 其主要特点是直接对结构对象进行操作，不存在求导和函数连续性的限定；具有内在的隐并行性和更好的全局寻优能力；采用概率化的寻优方法，不需要确定的规则就能自动获取和指导优化的搜索空间，自适应地调整搜索方向。 遗传算法以一种群体中的所有个体为对象，并利用随机化技术指导对一个被编码的参数空间进行高效搜索。其中，选
2021-08-25 10:22:29
14417
5
原创 粒子群算法Python代码实现
1.引言粒子群优化算法起源于对鸟群觅食活动的分析。鸟群在觅食的时候通常会毫无征兆的聚拢，分散，以及改变飞行的轨迹，但是在不同个体之间会十分默契的保持距离。所以粒子群优化算法模拟鸟类觅食的过程，将待求解问题的搜索空间看作是鸟类飞行的空间，将每只鸟抽象成一个没有质量和大小的粒子，用这个粒子来表示待求解问题的一个可行解。所以，寻找最优解的过程就相当于鸟类觅食的过程。 粒子群算法也是基于种群以及进化的概念，通过个体间的竞争与协作，实现复杂空间最优解的求解。但是与遗传算法不同的是，他不会对每个个体
2021-08-23 20:53:33
13785
28
原创 Nginx安装
1.Nginx下载官网下载到安装目录下载wget http://nginx.org/download/nginx-1.14.2.tar.gz2.安装前必须安装的软件yum install -y pcre pcre-devel zlib zlib-devel pcre pcre-devel zlib zlib-devel openssl openssl-devel3.安装过程解压到安装目录进入到Nginx目录，进行配置\ 表示换行，一定注意 \ 后面不能有空字符串！！！
2021-08-21 16:42:05
178
原创 mysql8修改密码（忘记、错误1045、重置）
1、先关闭mysql服务service mysql stop2、输入以下命令mysqld_safe --user=mysql --skip-grant-tables --skip-networking & 3.这时发现可以免密码登录了mysql -u root mysql4、修改密码update user set authentication_string='' where user='root';flush privileges;alter user 'root'@'loc
2021-08-18 13:22:44
231
原创 Linux环境mysql8压缩包安装(图文超详细)
1.准备环境：CentOS7/Linux2.官网下载mysql官网下载 ，具体如下去服务器下载wget https://downloads.mysql.com/archives/get/p/23/file/mysql-8.0.25-el7-x86_64.tar.gz3.安装解压缩tar -xzvf mysql-8.0.25-el7-x86_64.tar.gz 编辑 /etc/my.cnf 文件（mysql8通用配置，没有该文件则新建）：vi /etc/my.cnf[
2021-08-17 15:49:38
1908
原创 Windows/Linux上安装jdk8
1.准备官网下载jdk8，或者由以下网盘提供的jdkjdk8链接：https://pan.baidu.com/s/1oGp0PgaiwkkiToGCK5c7GA提取码：3xdf2.Windows安装Java配置环境变量验证是否安装完成重新打开命令行窗口，输入以下命令验证java -version# Linux上安装Java将下载好的jdk解压到安装目录```bash tar -xzvf jdk-8u141-linux-x64.tar.gz```编辑配置文件
2021-08-16 16:57:55
103
原创 django框架学习
安装djangopip install django==1.8.2创建项目django-admin startproject test1创建应用python manage.py startapp booktest生成迁移文件：根据模型类生成sql语句python manage.py makemigrations执行迁移：执行sql语句生成数据表python manage....
2021-08-15 21:08:06
67
原创 mysql压缩包安装
下载一个社区版的安装一下吧https://dev.mysql.com/downloads/懒人脚本groupadd mysqluseradd -r -g mysql mysqlyum -y install libaio-devel[mysqld]character-set-server=utf8#datadir=/var/lib/mysqldatadir=/...
2021-08-15 21:06:03
92
原创 git多账号多终端配置ssh
1.准备Windows7/8/10,git一个GitHub账号、一个gitee账号2.先配置一个git账号2.1.右键git bash here 打开git命令输入以下命令生成sshkeyssh-keygen -t rsa -C "你的邮箱"2.2.进入当前用户的.ssh目录查看，生成id_rsa私钥文件和id_rsa.pub公钥文件，其中我们需要把公钥id_rsa.pub的内容复制下来2.3.登录GitHub，进入【Settings】-【SSH and GPG keys】2.4
2021-08-15 17:55:28
517
原创 读研了，博客不更新嘞
读研了，博客不更新嘞不知不觉，感觉生命中又流走了好多年。希望明天离梦想更近，希望明天就算走了弯路、绕了远路也一样能够走到自己想去的远方，希望明天的世界会更加眷顾我。于是我又开始规划心中的蓝图，一步步，迟早会实现的呀，那时还要规划下一个梦想，梦想就会生出下一个梦想。今日星辰，明日大海。等待下一刻梦想开花，等待下下一刻另一个梦想发芽。我已经读研了，以后应该还继续读博，虽然不是什么名校，但是足够实现我的梦了谢谢还有人关注我...
2021-04-08 20:25:38
152
1
原创 解决eclipse的maven依赖报错
找到maven仓库的路径，删除掉.lastUpdated文件和远程仓库文件*remote.repositories，具体做法如下：打开cmd窗口，输入以下代码即可for /r %i in (*.lastUpdated) do del %ifor /r %i in (*remote.repositories) do del %i例如我的maven仓库路径为F:\m2repo再手动更...
2020-07-09 18:37:11
1718
原创 模拟登陆的几种方式
策略一：直接POST数据（比如需要登陆的账户信息)只要是需要提供post数据的，就可以用这种方法。下面示例里post的数据是账户密码：我们来模拟登陆一下笔趣阁，这种网站看起来不太正规，基本都没有什么反爬虫措施，一看就很好爬（嘻嘻）。我特地注册了一个账号，来模拟登陆。账号密码a_hui_tai_lang直接F12可以看到直接发送POST请求到http://www.biquge.com...
2020-07-09 18:36:45
6806
原创 maven打包出错 Error injecting constructor, java.lang.NoClassDefFoundError
记录一个maven编译遇到的问题D:\AAA\工作\公司\c3\hdp_baisc>mvn clean install[INFO] Scanning for projects...[INFO][INFO] ------------------------------------------------------------------------[INFO] Building u...
2020-07-09 18:36:17
3355
原创 java小说爬虫+ssm框架网站搭建
这里主要包括两大部分：小说爬虫，将数据储存到mysql小说网站搭建小说爬虫主要用的的技术：HttpClient，Jsoup，mysql，mybatis网站搭建主要用的技术：ssm框架(spring,springmvc,mybatis)前端：jQuery，ajax，css快来看看吧，看了顺手点个赞呗流溪阁书屋代码放在GitHub上，传送门:---------novel...
2020-07-09 18:34:37
2712
1
原创 贴吧一键签到机selenium自动化
感觉有一段时间没有发博客了，今天1024，发一篇福利吧。贴吧签到机，利用selenium模拟浏览器登录，然后根据你关注的贴吧进行签到。1.首先需要安装python2.7，Chrome浏览器，selenium，lxml过程略2.要上代码了具体实现过程：登录获取访问贴吧的地址写个for循环逐个访问并签到2.1首先要解决登录问题我把代码都封装在一个类里面了凑合着看吧其中需要输入的...
2020-07-09 18:34:13
1163
1
原创 scrapy框架学习
scapy常用命令# 创建scrapy项目scrapy startproject mySpider# 先进入项目，使用以下命令，可以在spider目录下，创建父类为scrapy.Spider的的模板，文件名为onespider.py，类名为Onespider，爬虫名为onespidercd mySpiderscrapy genspider onespider "域名"# 先进入项目，使...
2020-06-15 14:23:09
166
原创 手撕mybatis源码与设计模式
mybatis与设计模式Mybatis至少遇到了以下的设计模式的使用：Builder模式:例如SqlSessionFactoryBuilder、XMLConfigBuilder、XMLMapperBuilder、XMLStatementBuilder、CacheBuilder；工厂模式:例如SqlSessionFactory、ObjectFactory、MapperProxyFactor...
2020-01-31 14:20:18
383
原创 HTML分页插件功能实现
分页功能实现案例展示如下：1.先引入css样式和jQuery，再引入分页插件toPage.js，谨记顺序不能乱<link rel="stylesheet" href="css/toPage.css"><script src="script/jquery.min.js&am
2020-01-07 09:41:58
15916
6
原创 QQ群信息爬取-------抓包破解接口(2)
QQ群信息爬取-------使用模拟登陆(1)这个比之前的爬取效率更高，爬取的网站https://qun.qq.com/member.html，简单说一下思路首先首先使用模拟登陆获取cookie经过抓包，我发现了Q群的数据接口为https://qun.qq.com/cgi-bin/qun_mgr/search_group_members，使用requests模块向该网站发送post请求，需...
2020-01-07 09:41:45
25089
11
原创 scrapy漫画爬虫+django页面展示项目
comic这里主要包括两大部分：漫画爬虫，将数据储存到mysql漫画网站搭建，并且进行展示流溪阁在线漫画感觉还不错的请fork,star配置mysqlDROP TABLE IF EXISTS `comic`;CREATE TABLE `comic` ( `id` int(11) NOT NULL AUTO_INCREMENT, `author` varchar(50)...
2020-01-07 09:41:15
1861
原创 windows上同时安装两个版本的mysql数据库5.7和8.0
因为5.7我已经安装过了，这里只说mysql8的1.下载mysql82.安装1.解压mysql2.新建my.ini文件[mysqld]# 设置3306端口port=3307# 设置mysql的安装目录basedir=F:\Program\mysql-8.0.15-winx64# 设置mysql数据库的数据的存放目录datadir=F:\Program\mysql-8.0.1...
2020-01-07 09:40:59
16185
11
原创 redis安装
redis下载我下载3.2.12版本的，用xshell先连接Linux系统，然后把安装包拖拽到xshell窗口上传到Linux(需要先安装lrzsz)，编译源程序 make cd src make install PREFIX=/usr/local/redis这里提示我们要make test一下make test然后就等待吧，出现下面的样子，就是没问题了cp ...
2018-11-09 14:42:58
102
原创 用HTML5的内置对象解析地址栏地址参数
HTML5的内置对象window.location.href //获取或者重定url地址window.location.search //获取地址参数部分window.location.hash //获取页面锚点或者叫哈希值window.location.hrefwindow.location.href可以获取或者重定url地址，打开浏览器按F12->console，可以直接调...
2018-11-01 20:07:29
390
原创 使用Ubuntu安装软件出现Unable to locate package错误解决办法
代码放在GitHub上，python-learning以上具体代码在目录crawler/base/urllib2_re_xml/tieba_email.py我的GitHub我建了一个大数据的学习交流群QQ：2541692705Q群：882855741邮箱：[email protected]...
2018-10-07 13:14:47
29630
4
原创 Tomcat安装windows&linux,idea&eclipse
1.先去官网下载一个 我这里安装的是tomcat9 2.我打算安装在 ~/apps/下 把下载好的压缩包上传到服务器上，解压缩（任何软件都是解压即安装）[williams@hadoop2 apps]$ cd ~/apps/[williams@hadoop2 apps]$ ls[williams@hadoop2 apps]$ unzip apache-tomcat-9.0.12.z...
2018-09-26 19:33:43
131
原创 QQ群信息爬取-------使用模拟登陆(1)
代码放在GitHub上，python-learning以上具体代码在目录crawler/base/urllib2_re_xml/tieba_email.py有啥私活项目，邮箱联系我的邮箱：[email protected]我的GitHub账号:https://github.com/LoyalWilliams我建了一个大数据的学习交流群QQ：2541692705Q群：88285...
2018-09-25 15:26:53
6072
1
原创 如何使用Python发邮件
登录QQ邮箱->设置代码放在GitHub上，python-learning以上具体代码在目录crawler/base/urllib2_re_xml/tieba_email.py有啥私活项目，邮箱联系我的邮箱：[email protected]我的GitHub账号:https://github.com/LoyalWilliams我建了一个大数据的学习交流群QQ：2541...
2018-09-21 13:36:14
860
2
原创 Python贴吧邮箱爬虫
贴吧是个水很深的地方，有很多潜水的鱼，比如底下留下QQ邮箱的这群人帖子的内容大概是留邮箱发视频教学（不是我发的啊）。放点鱼饵，潜水的鱼儿都出来了。我建了个大数据的交流群，正愁没多少人，我想我应该挨个发邮箱宣传一下（坏笑），一个个手动发邮箱太累了。还是写个爬虫，来个精准推广群的广告吧。如果你在贴吧留邮箱，说不定会收到哦。OK，来贴一下代码#coding=utf-8import urllib...
2018-09-20 21:16:22
933
原创 Python爬虫--BeautifulSoup4教程、练习
代码放在GitHub上，https://github.com/LoyalWilliams/python-learning.git 以上具体代码在目录/crawler/base/urllib2_re_xml/ 另外本人有点缺钱，有啥私活项目，可以邮箱联系 我的邮箱：[email protected]...
2018-09-12 14:05:53
1878
原创 python爬虫-xpath爬贴吧图片--------------（2）
关于xpath的相关内容请查看上篇python爬虫-xpath爬贴吧图片—————（1） 接下来进入实战案例！！！我使用的是Chrome浏览器（即谷歌浏览器），Chrome插件 XPath Helper 安装完成应该和下面一样，自己安装一下吧 我来爬一下火影忍者吧的图片代码放在GitHub上，https://github.com/LoyalWilliams/python-lear...
2018-09-10 15:37:00
1145
原创 python爬虫-xpath爬贴吧图片---------------（1）
我正则用的不好，处理HTML文档感觉头很大。有了xpath后感觉头不疼了，腰不酸了，所以我们就来学学xpath在爬虫中的应用。我们可以先将 HTML文件 转换成 XML文档，然后用 XPath 查找 HTML 节点或元素。什么是XMLXML 指可扩展标记语言（EXtensible Markup Language）XML 是一种标记语言，很类似 HTMLXML 的设计宗旨是传输数据...
2018-09-10 14:31:35
1209
原创 IDEA—— 找不到或无法加载主类 com.Main
通常出现这种状况，原因我也不太清楚，不过应该很复杂，看了很多网上的办法有的行有的不行，我这里采用一个简单暴力的方式把这个问题解决了 方法1：可以重新建一个项目，把代码之类再复制进去，这样好像就好了。。。（但是这个方法看起来比较笨就是啦） 方法2：通常java项目都是用maven构建的，可以利用maven工具编译一下，具体操作如下： 首先找到项目所在的文件夹，比如的项目bigdata放在D:\...
2018-08-29 14:51:07
16917
4
原创 Java高并发编程——常见问题、举例（4）
14、一道面试题引发的思考曾经的面试题：（淘宝？） 实现一个容器，提供两个方法，add，size 写两个线程，线程1添加10个元素到容器中，线程2实现监控元素的个数，当个数到5个时，线程2给出提示并结束14.1分析下面这个程序，能完成这个功能吗？import java.util.ArrayList;import java.util.List;import java.ut...
2018-08-27 14:48:39
162
原创 sql行转列、列转行
– 建表 CREATE TABLE StudentScores ( UserName NVARCHAR(20), – 学生姓名 Subject NVARCHAR(30), – 科目 Score FLOAT – 成绩 )– 添加数据 INSERT IN...
2018-08-27 14:45:23
718
原创 spark-sql执行hivesql
spark提交命令有spark-shell、spark-submit、spark-sql，spark-sql的提交命令很少见吧，不过已经被我发掘出来了。 我们执行hive命令一般都是hive -e 'select * from xx'或者 hive -f /home/hadoop/xx.hql -d dt=2018-01-01但是hive底层使用mr执行速度实在不忍直视，安装hi...
2018-08-27 14:40:02
5715
1
原创 Cloudera Manager CDH5.6安装部署
CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hiv...
2018-08-17 17:16:38
1969
原创 解决 Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message
[root@hadoop1 ~]# hdfs dfs -ls hdfs://192.168.0.37:50070/ ls: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag....
2018-08-15 10:51:27
9891
原创 Linux yum安装mysql，修改默认配置，数据备份
安装命令yum -y install mysql-server mysql mysql-devel而 data默认放在：/var/lib/mysql启动命令service mysqld start修改密码mysqladmin -u root password 你的密码登录mysql -u root -p2.一般来说只要修改数据的存放路径就可以，修改方法如下 原路径...
2018-08-14 22:54:40
728
原创 使用case when,union all实现sql行转列、列转行
-- 建表CREATE TABLE StudentScores( UserName NVARCHAR(20), -- 学生姓名 Subject NVARCHAR(30), -- 科目 Score FLOAT -- 成绩)-- 添加数据INSERT I...
2018-08-13 18:58:19
8034
1
某硅谷jvm内存分析优化教程
2020-01-04
python全栈开发视频
2019-04-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人