10 俊晗

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 16w+

scrapy 框架抓取艺龙酒店(热门城市酒店信息)

一、scrapy框架Spiders文件-Yi_long.pyimport requestsimport reimport timeimport jsonclass Yi_long(): def __init__(self): headers = { "Accept": "application/json, text/ja...

2019-08-27 16:56:46

破解天翼云Base64 js加密(二)

#!/usr/bin/env python# -*- coding:utf-8 -*-import base64import js2pyimport threadinglock = threading.Lock()def get_userPwd_enc(email, pwd): with open(r"D:\Yuan\ss\电信天翼云.js", encodin...

2019-08-02 09:54:39

破解天翼云Base64 js加密

window = this;var r = 1,n = 0,i = window.atob || r.atob,o = window.btoa || r.btoa;var s = function s(t, e, n, r, i, o) {n && (e = unescape(encodeURIComponent(e)));var s, c, u, l, d, f...

2019-08-02 09:51:36

实战各大平台商品比价--Python 爬取过客网商品历史价格(30天)

#! usr/bin/env python# -*- coding:utf-8 -*-__author__="JUNHAN"环境: Python3.6.51.导入第三方库import functoolsimport execjsimport tracebackfrom urllib.parse import quote_plusimport requests, json,...

2019-01-17 16:08:27

Python3.6+selenium+pytesser3 实现爬虫:含验证码和弹框的页面信息爬取

一、爬虫环境搭建爬虫目前的主流编写语言为python,确实非常好用,“人生苦短,我用python” 的宣传语也并非吹嘘。下面列出爬虫编写的环境需求和搭建方式:python3.6:python分为2.x和3.x两大版本,目前大部分的库已经迁移到了3.x,所以可以放心使用。版本选择的话觉得3.5/3.6都可以。可参照:python3.6——windows环境 来安装python。selenium...

2019-01-09 21:57:23

Python3 list 排序字符串排序

 Python3 对文件的每行字符按长度排序一、           列表的sort排序函数函数原型:         list.sort(key=None,reverse=False)函数功能:对原列表进行排序,完成排序后,原列表变为有序列表。默认情况(不传入任何参数时)按字典顺序排序。函数参数:(1)     key: 主要是用来进行比较的元素,只有一个参数,具...

2018-12-18 11:37:45

mysql-8.0.12-winx64 初次密码修改方法

以管理员的身份打开cmd窗口跳转路径到c:\mysql-8.0.12-winx64\bin>1.首先完成初始化操作:c:\mysql-8.0.12-winx64\bin> mysqld --initialize --user=mysql --console2.c:\mysql-8.0.12-winx64\bin>mysqld -install3.c:\mysql-8....

2018-08-17 16:14:37

Windows环境安装Scrapy框架步骤 -详细总结自己安装经验

首先,第一步安装:Scrapy最简单的方法安装1.安装Scrapypip install scrapy如果命令安装,提示 Failed building wheel for TwistedMicrosoft Visual C++ 14.0 is required...解决问题的过程总结如下:分别安装: wheel,Twisted 18.0,lxml 3.4,pyOpen...

2018-08-15 16:45:11

如何解决OSError: [Errno 98] Address already in use 并杀死python3 进程

[root@localhostappp_dai]#python3run_app.pyTraceback(mostrecentcalllast): File"run_app.py",line33,in<module>  app.run(debug=True,host='0.0.0.0',port=5000) File"/usr/local/python...

2018-04-11 19:06:07

如何在Linux 已安装 Python2.7 共存 Python3.6.4

如果本机安装了python2,尽量不要管他,使用python3运行python脚本就好,因为可能有程序依赖目前的python2环境,比如yum!!!!!不要动现有的python2环境! 一. 安装准备 1. 安装依赖环境  # yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite...

2018-04-11 19:02:24

scrapy基础知识之将item写入JSON文件,unicode如果用中文显示可以在pipelines中设置如下

setting:https://doc.scrapy.org/en/latest/topics/logging.html#topics-logging日志级别Python的内置日志记录定义了5个不同的级别来指示给定日志消息的严重性。这里是标准的,按递减顺序列出:logging.CRITICAL - 严重错误(最严重)logging.ERROR - 经常出错logging.WARNING - 用于警...

2018-03-20 14:06:35

Linux流程控制

一、回顾软件包的管理:对.rpm软件包的管理:查询,安装,卸载,升级1.rpm 方式:rpm -qa | grep [软件名]rpm -e [软件名]  --nodepsrpm -ivh [软件名.rpm]2.yum 方式yum list | more  //查询yum源上拥有的所有的软件包yum  list  insta

2017-08-07 16:38:43

Linux软件包管理

一、回顾1.用户管理(用户创建,删除,修改密码)1).超级用户root  02).普通用户     5003).伪用户  1~4994).新增用户:# useradd  [username]5).设置或修改密码第一种:# passwd   [username]第二种:# echo '12346' | passwd --stdin [u

2017-08-07 16:36:44

Linux用户和用户组

一、回顾1.GUN/GPL GUN/Linux  Linu内核   发行版2.基础命令lsls -l 或者 llls  -acd 绝对路径 / 相对路径 回到上一级或者打开下一级目录用户主目录 /home/username  ~  cd pwdsu  - 3.目录和文件的指令增: mkdir   mkdir -

2017-08-07 16:34:26

Linux基本概念

一、Linux基本概念1.本门课程的定位a.企业环境中使用的服务器操作系统基本就是Linux系统b.大数据集群也是搭建在Linxu系统之上2.Linux内核Linux是一个一体化内核(monolithic kernel)系统。“内核”指的是一个提供硬件抽象层、磁盘及文件系统控制、多任务等功能的系统软件。一个内核不是一套完整的操作系统。一套基于Linu

2017-08-07 16:31:43

Linux简介

Linux是自由软件、免费的、开源的类Unix的操作系统

2017-08-07 16:29:40

spark基础知识之搭建环境<一>

spark基础知识之搭建环境

2017-07-10 20:35:03

spark基础知识之spark streaming<三>

spark基础知识之spark streaming<三>

2017-07-10 20:25:22

spark基础知识之 spark RDD <四>

spark基础知识之 spark RDD

2017-07-10 19:53:48

Spark基础知识之概念<二>

Spark基础知识

2017-07-09 15:59:19

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。