雾里看花

原创 阿里云服务器（ECS）实战--CentOS 7服务器上配置jupyter设置远程登录

我们今天就一起来实现一下，配置Jupyter来进行远程登录1、生成配置文件（~/.jupyter/jupyter_notebook_config.py）jupyter notebook --generate-config2、生成密钥先进入python环境，执行from notebook.auth import passwd passwd() 此时会让你两次输入密码（该密码作为客户...

原创 阿里云服务器（ECS）实战--CentOS 7安装Pycharm

安装Pycharm下载Pycharm安装包我们需要现在Pycharm官网上找到我们需要的版本安装包，并提取下载链接。如： https://download.jetbrains.8686c.com/python/pycharm-professional-2018.3.tar.gz# 将安装包，下载到本地 wget https://download.jetbrains.8686c.com/p...

原创 阿里云服务器（ECS）实战--CentOS 7安装TeamView

安装TeamView下载TeamView安装包我们需要现在teamview官网上找到我们需要的版本安装包，并提取下载链接。如： https://dl.tvcdn.de/download/linux/version_14x/teamviewer_14.0.14470.x86_64.rpm# 将安装包，下载到本地 wget https://dl.tvcdn.de/download/linux...

原创 阿里云服务器（ECS）实战--CentOS 7安装Chrome浏览器

Chrome浏览器安装配置Chrome源cd /etc/yum.repo.d/vim google-chrome.repo写入Chrome源[google-chrome] name=google-chrome baseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearch enabled=1gpgcheck=...

原创 阿里云服务器（ECS）实战--CentOS 7配置PATH

问题在Linux系统安装新的软件或组件之类的，我们或多或少都会遇见类似这样的问题Linux:-bash: ***: command not found,系统很多命令都用不了，均提示没有此命令。分析这其实就是我们系统的环境变量除了问题，要么是没有配置，要么就是配置错误。下面，就由笔者带领大家一起学习配置Linux的系统变量吧~配置环境变量先用：echo $PATH查看path是否含有...

原创 阿里云服务器（ECS）实战--CentOS 7安装MongoDB

安装下载MongoDB数据库安装包我们先在官网中，选择相应的我们需要安装的MongoDB版本，并提取下载链接，如：https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.4.tgz下面我们就开始下载并安装MongoDB吧！wget https://fastdl.mongodb.org/linux/mongodb-linux-x8...

原创 阿里云服务器（ECS）实战--CentOS7安装GUI图形界面

安装Gnome图形界面程序在安装Gnome包之前,需要检查一下安装yum源是否正常，或替换为国内的源,因为需要在yum命令来安装gnome。# 通过yum安装Gnome包 yum groupinstall "GNOME Desktop" "Graphical Administration Tools"同SSH远程链接系统，再输入命令进行安装。由于包比较大，安装也需要一定的时间# 更...

原创 阿里云服务器（ECS）实战--安全组策略配置（端口放行）

什么是阿里云安全组策略？阿里云安全组是一种虚拟防火墙,也是阿里云处于安全考虑的一种策略,一台ECS云服务器实例必须至少属于一个安全组。我们知道服务器的各种服务要依赖端口来实现,我们可以将安全组想象成服务器各个端口的开关,默认创建购买的ECS云服务器,阿里云默认只开放了22号和2239号端口,所以配置安全组是新手必须要完成的作业。安全组配置通俗的讲就是端口放行，即授权安全组规则可以允许或者禁止与...

原创 阿里云服务器（ECS）实战--CentOS 7安装redis

什么是redisRedis 是一个开源的多平台数据存储软件，使用 ANSI C 编写，直接在内存使用数据集，这使得它得以实现非常高的效率。Redis 支持多种编程语言，包括 Lua, C, Java, Python, Perl, PHP 和其他很多语言。redis 的代码量很小，只有约3万行，它只做“很少”的事，但是做的很好。尽管是在内存里工作，但是数据持久化的保存还是有的，而redis 的可靠...

原创 阿里云服务器（ECS）实战--CentOS 7修改yum源为阿里源

前言：由于Cent OS 所自带的yum源，并不是很好用，所以这里将其更换为阿里源。在更换源问题上，笔者个人感觉，是要比Ubuntu要方便一些，只需要简单的杰哥命令，轻松搞定。下面我们就一起来看看，如何更换源吧！第一步：# 操作步骤cd /etc/yum.repos.d # 进入yum文件夹mv CentOS-Base.repo CentOS-Base.repo.bak # 备份原文...

原创 阿里云服务器（ECS）实战--CentOS 7 安装Anaconda

前言：双十一的时候买了台阿里云（ECS），采用Centos7系统，40G的高效云盘。这段时间一直就把放在那里，差点账号和密码都忘了，当然，这是不可能的，经过几天的构思，我决定，将我本地使用的Ubuntu服务器，转移到阿里云上，以此避免，我不在本地局域网时，连接不上服务器的尴尬局面。由于之前一直用的是Ubuntu，没有接触过Centos，所以做起来，有一定的难度，好在都是Linux的系统，问题不到...

原创 数据分析实战--认识Jupyter

什么是jupyter?Jupyter Notebook（此前被称为 IPython notebook）是一个交互式笔记本，支持运行 40 多种编程语言。本质：是一个 Web 应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和 markdown。 用途包括：数据清理和转换，数值模拟，统计建模，机器学习等等。特点：在Jupyter Notebook 中，代码可以实时的生...

原创 Python爬虫实战--斗鱼直播爬虫

前言：稍微总结一下前面我们所学到的内容吧！在前面的实战学习中，我们学会如何使用requests来获取网页源码，并从中提取出我们所需要的数据， 那接下来，我们也将进一步学会使用selenium获取网页，分析网页，和提取数据。目标站点分析**目标URL：**https://weheartit.com/inspirations/beach?page=1明确内容：本次爬虫实战里，我们将要爬取斗...

原创 Python爬虫实战--CSDN博客爬虫（内有玄机）

前言：哈哈，继续高兴一下，通过自己的小手段，让博客访问量过万啦~怎么做到的呢？大家想一想我们近来所学的爬虫知识，养兵千日用兵一时，在前面的学习，我们已经可以很轻松的爬去一些中小型和大型网站了，现在我们一起来思考一下，我们该怎么去爬虫CSDN网站，并顺便提高一下我们博客的浏览量呢？问题分析：我们主要的目标是爬去CSDN博客，也顺带提升一下我们的浏览量，那我们应该爬去CSDN全站呢？还是只需要...

原创 Python爬虫实战--58同城二手商品爬虫

呜呜~~本来说今天就把代码上传上来，可惜了，还是有点差错，今天估计赶不上啦！明天加油吧！今天我们一起来好好分析一下，看看我们该如何去爬去58二手商品。目标站点分析目标URL：http://bj.58.com/sale.shtml第一步：主页分析在主页里面，我们需要提取说有的二级分类，特别注意，绿色框的内容，它的格式和内容，如其他的内容相差较大，所以我们一开始就把它剔除，从而在一定程度上...

原创 Python爬虫实战--58二手爬虫预告

还是先纪念一下，博客访问量过万吧，嘿嘿~~耍了点小手段，需要的可以找我了解一下！这里简单的预告一下吧，经过几天的整理的，反复的修改，58二手货爬虫可以正式上线啦！明天出文档~先总结一下，本次爬虫的重点和难点吧！重点：在于58二手，信息量大，处理内容多，却目标详情页大致为三种（意味着，每种样式，我就得重写一个爬虫，这里还直接跳转到了转转上，异步加载~醉了。但看透了的话，就相对比较简单了），还有...

原创 Python爬虫实战--WeHeartIt爬虫

前言：通过上次的小猪短租爬虫实战，我们再次熟悉的使用requests发送一个网页请求，并使用BeautifulSoup来解析页面，从中提取出我们的目标内容，并将其存入文档中。同时我们也学会了如何分析页面，并提取出关键数据。下面我们将进一步学习，并爬去小猪短租的详情页面，提取数据。Just do it~~!目标站点分析目标URL：https://weheartit.com/inspirat...

原创 Python爬虫实战--小猪短租爬虫

原创 Python爬虫实战--TripAdvisor爬虫

目标站点分析目标URL：https://www.tripadvisor.cn/Attractions-g60763-Activities-New_York_City_New_York.html#FILTERED_LIST明确内容：在图中，我们明确爬去的内容为：title，comment, cate（即绿色框中的内容），同时我们也可以看到一些干扰内容，这是我们不需要的内容，需要剔除掉。那我们...

原创 Python GUI编程实战--Tkinter组件详解:Scale

Scale组件“Scale”小组件提供了一个图形滑块对象，允许您从特定比例中选择值。语法Here is the simple syntax to create this widget −w = Scale ( master, option, … )Parametersmaster − This represents the parent window.options − Here i...

原创 Python GUI编程实战--Tkinter组件详解:Entry

Radiobutton控件 Radiobutton（单选按钮）：组件用于实现多选一的问题。Radiobutton 组件可以包含文本或图像，每一个按钮都可以与一个 Python 的函数或方法与之相关联，当按钮被按下时，对应的函数或方法将被自动执行。Radiobutton 组件仅能显示单一字体的文本，但文本可以跨越多行。另外，还可以为其中的个别字符加上下划线（例如用于表示键盘快捷键）。默认情况下，...

原创 Python GUI编程实战--Tkinter组件详解:ListBox

Listbox控件 列表框控件；在Listbox窗口小部件是用来显示一个字符串列表给用户Listbox 组件通常被用于显示一组文本选项，Listbox 组件跟 Checkbutton 和Radiobutton 组件类似，不过 Listbox 是以列表的形式来提供选项的（后两个是通过按钮的形式）。语法Listbox(master=None, **options) (class)master...

原创 Python爬虫--2017python师资培训（完）总结

开心一下，自己总算完整的看完了“2017python师资培训”视频，感谢给我视频的陈老师，但是却很抱歉，我还是没有完成你交给我的任务。还是好好地总结一下吧：这期间断断续续，本计划一个星期看完的，没想到后来却花了这么多的时间，陈老师交给我的任务，到现在也还没有完成，虽然吧视频看完了，实战内容页完成了，该学的也都学到了。可是不得不好好地反思自己，老是抱着无所谓的心态。拖延症也随之大涨，总把事情交给...

原创 Python GUI编程实战--Tkinter组件详解:Entry

Tkinter 文本框：EntryPython Tkinter 文本框用来让用户输入一行文本字符串。你如果需要输入多行文本，可以使用 Text 组件。你如果需要显示一行或多行文本且不允许用户修改，你可以使用 Label 组件。语法et = Entry( master, option, … )master: 按钮的父容器。options: 可选项，即该按钮的可设置的属性。这些选项可以用...

原创 Python GUI编程实战--Tkinter组件详解:Button

Button控件Tkinter 按钮组件用于在 Python 应用程序中添加按钮，按钮上可以放上文本或图像，按钮可用于监听用户行为，能够与一个 Python 函数关联，当按钮被按下时，自动调用该函数。语法bt = Button ( master, option=value, … )master: 按钮的父容器。options: 可选项，即该按钮的可设置的属性。这些选项可以用键 = 值的形...

原创 Python GUI编程实战--Tkinter组件详解:Label

Label 控件在 Tkinter 中, Label 控件用以显示文字和图片. Label 通常被用来展示信息, 而非与用户交互. (注: Label 也可以绑定点击等事件, 只是通常不这么用).import tkinter as tk# 创建窗口对象root = tk.Tk()#创建标签组件并绑定父组件rootlabel = tk.Label(root, text="Hello, ...

原创 Python GUI编程实战--认识Tkinter组件

Tkinter 组件Tkinter的提供各种控件，如按钮，标签和文本框，一个GUI应用程序中使用。这些控件通常被称为控件或者部件。目前有15种Tkinter的部件。如下图：标准属性标准属性也就是所有控件的共同属性，如大小，字体和颜色等等。几何管理Tkinter控件有特定的几何状态管理方法，管理整个控件区域组织，一下是Tkinter公开的几何管理类：包、网格、位置以上内容，均来...

原创 Python GUI编程实战--Tkinter初识

什么是Tkinter？Tkinter模块(“Tk 接口”)是Python的标准Tk GUI工具包的接口.Tk和Tkinter可以在大多数的Unix平台下使用,同样可以应用在Windows和Macintosh系统里.Tk8.0的后续版本可以实现本地窗口风格,并良好地运行在绝大多数平台中.Tkinter编程Tkinter 是 Python 的标准 GUI 库。Python 使用 Tkinter ...

原创 云服务器（ECS）初体验--LNMP简介

***LNMP***代表的就是：Linux系统下Nginx+MySQL+PHP这种网站服务器架构。• Linux：是一类Unix计算机操作系统的统称，是目前最流行的免费操作系统。代表版本有：debian、centos、ubuntu、fedora、gentoo等。• Nginx：是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP代理服务器。• Mysql：是一个小型关...

原创 云服务器（ECS）初体验--选购方案

什么是云服务器？云服务器（Elastic Compute Service, 简称ECS），是一种简单高效，处理能力可以弹性伸缩的计算服务。来源：https://edu.aliyun.com/lab/courses/4f5e67eb1b254fe2869dc14ca4f648db/detail?purchaseRecordId=2601716fd8d741c593320d351651a7ea（P...

原创 Python爬虫--正则表达式

什么是正则表达式？正则表达式，又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。概念正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻...

原创 Python爬虫--认识Fiddler

什么是Fiddler？Fiddler是一个http协议调试代理工具，它能够记录并检查所有你的电脑和互联网之间的http通讯，设置断点，查看所有的“进出”Fiddler的数据（指cookie,html,js,css等文件）。 Fiddler 要比其他的网络调试器要更加简单，因为它不仅仅暴露http通讯还提供了一个用户友好的格式。同类的工具有: httpwatch, firebug, wiresh...

原创 Pycharm个性化设置和常用快捷键

设置Pycharm为暗色皮肤主题步骤：File -> Settings -> Appearance&Behavior -> Appearance -> Theme -> 选择“Darcula”，size选择“16”（建议字体大小为16~24），如下图所示：设置编辑器“颜色、字号、字体”步骤：File -> Settings -&amp

转载 Python爬虫--常用库与cookie

urllib库 urllib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。urlopen函数： 在Python3的urllib库中，所有和网络请求相关的方法，都被集到urllib.request模块下面了，以先来看下urlopen函数基本的使用：from urllib import requestresp...

原创 Python爬虫--http详解及chrome响应URL过程

什么是http和https协议： 1.HTTP协议：全称是HyperText Transfer Protocol，中文意思是超文本传输协议，是一种发布和接收HTML页面的方法。服务器端口号是80端口。 2.HTTPS协议：是HTTP协议的加密版本，在HTTP下加入了SSL层。服务器端口号是443端口。在浏览器响应http请求的过程： 当用户在浏览器的地址栏中输入一个URL并按回车键之后，...

原创 Python爬虫--初始

什么是网络爬虫： 1.通俗理解：爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并数据抓取下来，然后使用一定的规则提取有价值的数据。 2.专业介绍：百度百科。 爬虫分类： 1.通用爬虫：通用爬虫是搜索引擎抓取系统（百度、谷歌、搜狗等）的重要组成部分。主要是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 2.聚焦爬虫：是面向特定需求的一种网络爬虫程序，他与通用爬虫的区别...

原创 Java学习之“凯撒密码”实例

代码实现容易，关键点在于，字母移位后是否越界，及相应的处理public class Caesar { String s; int key; Caesar(String es, int n) { this.s = es; this.key = n; } public String process() {

原创 Java-SE之简易日历的实现

想要通过Java实现简易的日历，相对来说较为容易，主要明确下面两个技术要点，以及实现的算法，是本次编码的最重要收获 技术要点： 1，自1990年后，“每年的1月1日是星期几”的求解方案； a,给定1900年1月1日为星期1 b,若某一年的总天数为365天，将其除以7，得余数为1，则下一年1月1日的星期为当年1月1日的星期加1,；若某一年的总天数为356（即闰年），将其除以7，得余数为2，则下

原创 Python爬虫--通用框架

前言： 相信不少写过Python爬虫的小伙伴，都应该有和笔者一样的经历吧~只要确定了要爬取的目标，就开始疯狂的写代码，写脚本~经过一番努力后，爬取到目标数据；但是回过头来，却发现自己所代码复用性小，一旦网页发生了更改，我们也不得不随之更改自己的代码，而却自己的程序过于脚本化，函数化，没有采用OPP的思维方式；没有系统的框架或结构。 指导老师看了笔者的爬虫作品后，便给出了以下三点

原创 C#编程之Socket套接字编程

Socket套接字一.什么是Socket？ 网络上的两个程序通过一个双向的通信连接实现数据的交换，这个连接的一端称为一个socket。建立网络通信连接至少要一对端口号(socket)。socket本质是编程接口(API)，对TCP/IP的封装，TCP/IP也要提供可供程序员做网络开发所用的接口，这就是Socket编程接口；HTTP是轿车，提供了封装或者显示数据的具体形式;Socket是发动