- 博客(66)
- 收藏
- 关注
RSS订阅原创 python3[爬虫实战] 使用selenium，xpath爬取京东手机（下）
这次主要是进行京东具体某个店铺手机评论内容的爬取。本来是跟上一起写的，只是没有时间一块做总结，现在写上来是有点生疏了。这里是暂时获取一个商品的评论内容爬取的字段：评论内容，购买机型，评论人上代码：# -*- coding: utf-8 -*-# @Time : 2017/9/18 23:16# @Author : 蛇崽# @Email : [email protected]#
2017-10-11 23:01:36
910
原创 python scrapy之爬取 zhengfu网站
#encoding=utf8import scrapyfrom govinfos.items import GovinfosItemclass GovInfos(scrapy.Spider): # 启动爬虫的名称 name = 'govinfo' # 爬虫的范围 allowed_domains=['xzqh.mca.gov.cn'] # 爬虫的第一个url
2017-08-04 08:27:31
724
原创 python3 [爬虫入门实战]scrapy爬取盘多多五百万数据并存mongoDB
总结：虽然是第二次爬取，但是多多少少还是遇到一些坑，总的结果还是好的，scrapy比多线程多进程强多了啊，中途没有一次被中断过。 此版本是盘多多爬取数据的scrapy版本，涉及数据量较大，到现在已经是近500万的数据了。1，抓取的内容主要爬取了：文件名，文件链接，文件类型，文件大小，文件浏览量，文件收录时间一，scrapy中item.py代码# -*- coding: utf-8 -*-# D
2017-07-20 20:59:10
5069
3
原创 python3 [爬虫入门实战]爬虫之scrapy爬取织梦者网站并存mongoDB
主要爬取了编程栏目里的其他编程里的36638条数据 过程是自己一步一步的往下写的，有不懂的也是一边找笔记，一边百度，一边调试。 遗憾：没有进行多栏目数据的爬取，只爬了一个栏目的数据，希望有想法的有钻研精神的可以自己去尝试爬取一下，难度应该不会很大。给一张效果图： 爬取字段：标题，标题链接，标题描述，发布时间，发布类型，发布tag爬取方式：主要是获取div【pull-left ltxt
2017-07-16 22:52:35
858
原创 python3 [爬虫入门实战]爬虫之mongoDB数据库的安装配置与可视化
1 mongodb数据库的安装与配置2 mongodb可视化工作3 mongodb在python3中的简单应用
2017-07-05 18:47:53
1946
原创 python3 [入门基础实战] 爬虫入门之智联招聘的学习(一)
请转移新博客地址： http://blog.csdn.net/xudailong_blog 老实说：懵逼啊 这次爬取的是智联招聘上的求职数据，虽然没有仔细正确核对一下数据是否具有重复性，随机抽查了些，数据大部分还是能对上来的，这次爬取的智联招聘上的数据90页，每页60条，主要抓取的是android开发工程的数据， 抓取的数据为全国的数据，先上张结果图吧，如果是想看大图，可以选中图片，长
2017-07-02 00:25:52
2913
原创 python3 [入门基础实战] 爬虫入门之xpath爬取脚本之家python栏目
这次爬取的确实有些坎坷，经过了两个晚上吧，最后一个晚上还是爬取数据到最后一公里了，突然报错了。又得继续重新进行爬取先来个爬取结果图，这次爬取的是标题，url，还有日期，估计也就只有这么多内容，用的单线程， 爬取结果： 爬取的过程很蛋疼，最后是昨天晚上爬取出来的，下次争取不用单线程进行任务了。先来份代码：# -*- coding: UTF-8 -*-import threading #
2017-06-29 23:46:00
2585
1
原创 python3 [入门基础实战] 爬虫入门之xpath的学习
Xpath Xpath全程为xml路径语言，用来确定xml文档中某部分位置的语言。 使用Xpath需要安装lxml库，lxml为Python的第三方库，安装方法可以直接下载库文件手动添加到python库文件夹下或者使用pip安装。 导入模块 from lxml import etree Selector=etree.HTML(网页源代码) 该指令可以把网页源代码转换成可以 被Xpath识别
2017-06-28 23:49:42
1793
原创 python3 [入门基础实战] 爬虫入门之刷博客浏览量
爬取结果 代码很简单：# encoding=utf8import requestsimport reimport timefrom bs4 import BeautifulSoupfirstUrl = 'http://blog.csdn.net/snake_son/article/details/52282490'headers = { 'User-Agent': 'Mozill
2017-06-27 23:45:59
2093
4
原创 python3 [入门基础实战] 爬虫入门之爬取豆瓣阅读中文电子书[热门排序]
稍微总结一下： 今天爬的稍微有点打击士气了，但是还是学到了不少东西，告诉我们，要学会自己去百度，谷歌答案， 自己去思考，不要依赖一些技术交流QQ群，很多都是水群的， 真的帮助你的是很少的。 重点在这里：今天学了将爬取的数据存取到txt ,.xlsx文件，也就是txt文件跟excel 表格中，又一次加强了re模块的正则表达式，先贴结果图： 这次爬取的是 贴代码：我是比较习惯先贴上代
2017-06-25 22:52:24
1574
原创 python3[爬虫基础入门实战] 爬取豆瓣电影排行top250
先来张爬取结果的截图再来份代码吧# encoding=utf8import requestsimport refrom bs4 import BeautifulSoupfrom tkinter import scrolledtext # 导入滚动文本框的模块from tkinter import ttkimport tkinter as tkimport threading# 获取网页
2017-06-24 23:59:32
6778
1
原创 python3 [入门基础实战] 爬虫入门之爬取豆瓣读书随笔页面
话不多说，先上今晚的代码# encoding=utf8import requestsimport refrom bs4 import BeautifulSoup# 此处是爬去豆瓣读书的随笔页面# page=0# doubarurl = 'https://book.douban.com/tag/%E9%9A%8F%E7%AC%94?start='+str(page)+'&type=T'hea
2017-06-24 00:21:57
1652
原创 python3 [入门基础实战] 爬虫之四季花果园的采果模块
这是本人第一次进行根据自己的项目进行爬取，因为处于爬虫初步阶段，现在只是爬取的是一个主标题，和一个副标题，并存入txt文件中，存的数据有些重复的。暂且先这样，来勉励自己吧。#encoding=utf8import requestsimport refrom bs4 import BeautifulSoupimport osdef getSijiHuaGuo(huaguo_url):
2017-06-23 00:03:43
531
原创 UnicodeEncodeError: 'gbk' codec can't encode character '\u200b' in position 0: illegal multibyte seq
python 在写入文件的时候，会出现这个问题：主要是我们在进行写入的时候没有进行编码设置，因为在windows下，新文件的默认编码是gbk编码，所以我们在写入文件的时候需要设置一个编码格式，如下： with open('C:\\QiuShiBaiKe.cvs', 'w+',encoding='utf-8') as f: f.write(tempStr)而不是： w
2017-06-22 23:12:51
9122
原创 android ：StartupAbortedException
升级kotlin anko插件导致项目打不开 com.intellij.ide.plugins.PluginManager$StartupAbortedException: com.intellij.diagnostic.PluginException: org/jetbrains/Android/uipreview/AndroidLayoutPreviewToolWindo
2017-06-21 23:19:07
403
原创 python 百度贴吧
#encoding=utf8from bs4 import BeautifulSoupimport requestsimport timeimport randomimport xlwtflag = ''getin = ''c= 0def detailOper(url, params, header, timeout = 10): global flag out =
2017-06-20 23:32:21
1511
原创 python3 [入门基础实战] 爬虫入门之爬取糗事百科
#encoding=utf8import requestsfrom lxml import etreeclass QiuShi(object): headers = { "user-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.274
2017-05-24 23:43:49
664
原创 python入门基础笔记
新想法： 送矿泉水---送货applinux操作系统 bin sbin 可执行程序 home 目录 temp 临时生成的目录根目录： /用户目录: 用户工作目录或家目录 /home/user相对路径： 上一层路径(父目录) 。。 当前路径 。 根目录 。。和。 都是代表根目录文件的权限：r --readw --
2017-05-23 23:22:32
648
原创 Zxing生成含有LOGO二维码
Zxing生成二维码含有LOGOpackage com.example.mvptest;import android.graphics.Bitmap;import android.graphics.BitmapFactory;import android.graphics.Matrix;import android.support.v7.app.AppCompatActivity;impo
2017-04-18 22:11:39
578
原创 Invalid project description
今天在网上下了个源码，导入的时候发现出现Invalid project description的提示，翻译成中文就是“无效的项目描述”的意思，搞不明白遂百度找到了解决办法，现记录并共享之！Android导入一个工程时提示 Invalid project description字样，当我们单击按钮查看详细内容可以看到overlaps the location of another project的描述
2017-04-18 22:10:22
8623
原创 Android Scroller的基本使用
Scrollerandroid 原生类，滚动器。Scroller基础知识滚动的动作由基类view的scrollTo（x,y） 和scrollBy(dx,dy)的两个方法完成，scroller只是要根据滚动的起始位置和结束生成中间的过度动画。来形成一个滚动的动画。注意：scroller类需要与容器类进行配合才能产生滚动的过程，因为一个View在容器（比如ViewGroup）中的滚动不是自身发起的
2017-03-02 08:24:20
901
原创 2016年2月份面试题
1. OkHttp原生取消网络请求的方法： Call.Cancel();2. android事件分发机制： 3.0 以Button为例：onTouch是优先于onClick执行的，并且onTouch执行了两次，一次是ACTION_DOWN，一次是ACTION_UP(你还可能会有多次ACTION_MOVE的执行，如果你手抖了一下)。因此事件传递的顺序是先经过onTouch，再传递到onCli
2017-02-16 22:54:10
262
原创 Android DataBinding库(MVVM设计模式)
什么是MVVM说到DataBinding，就有必要先提起MVVM设计模式。 Model–View–ViewModel(MVVM) 是一个软件架构设计模式，相比MVVM，大家对MVC或MVP可能会更加熟悉。MVC：（VIew-Model-Controller）早期将VIew、Model、Controller代码块进行划分，使得程序大部分分离，降低耦合。1 MVP：（VIew-Model-Pres
2017-02-03 14:45:02
783
原创 react-native android打包发布
Android平台有两种发布方式，一种是借助于命令行操作，另外一种是借助于Android Studio进行发布，具体步骤我们来看一下：借助Android Studio发布版本首先，借助于Android Studio生成签名keystore： 点击下一步，创建一个新的keystore,这里无需关心后缀名字，默认即可 上面主要是密码，建议全部设置一个密码，方便记忆，Alias这个不要忘记，最好把上面
2017-02-01 15:42:06
4948
原创 android studio 一键清除无用资源
前提：图片在项目中没有被任何资源引用在res文件右键，依次选择Refactor-Remove Unused Resources 结果： 观察一下是不是资源被清除掉了。
2017-01-30 12:10:57
1561
原创 开源框架（android）
1.哪三大图片加载框架？ 1) Picasso 2) Glide 3) Fresco2.介绍: Picasso ：和Square的网络库一起能发挥最大作用，因为Picasso可以选择将网络请求的缓存部分交给了okhttp实现。Glide：模仿了Picasso的API，而且在他的基础上加了
2017-01-26 21:45:32
237
原创 Can't convert to dimension: type=0x1 错误处理
环境：在Launcher横屏的时候遇到了这个问题 java.lang.UnsupportedOperationException: Can’t convert to dimension: type=0x1，找了半天最后才发现是dimes值引用缺失的问题，竖屏values-port里的dimes值在values-land里没有声明，所以导致出现了这个错误。直接把values文件命名方式修改就行了 例
2017-01-19 11:12:05
3358
原创 react-native(Fetch网络请求数据)
语法使用：fetch(参数).then(完成的回调函数).catch(失败的回调函数)fetch(url,opts) .then((response) => { //请求成功后返回的对象response //例如：json、text等 return response.text(); return response.json(); }) .then((r
2017-01-16 22:34:55
6983
1
原创 react-native 入门学习指南
本篇汇集了React从入门到精通的各种技术，是你学习RN的指南 。本指南汇集React-Native各类学习资源，给大家提供便利。指南正在不断的更新，大家有好的资源欢迎Pull Requests！同时还有Awesome React Native系列 https://github.com/jondot/awesome-react-native目录教程React NativeReact.jsES6系列教
2017-01-10 17:22:46
1492
原创 java 常用正则表达式
匹配国内电话号码:/d{3}-/d{8}|/d{4}-/d{7} String str="13112341234,010-12456789,01012456789,(010)12456789,00861012456789,+861012456789"; Pattern p=Pattern.compile("1([\\d]{10})|((\\+[0-9]{2,4})?\\
2017-01-09 19:45:59
296
原创 android 选择图片上传报错
从图库里选择图片是我们开发中非常常用的功能，如上传头像，上传相册。Android4.4之前的版本打开图库选择图片可以这样：Intent intent = new Intent(Intent.ACTION_GET_CONTENT, null); intent.setType("image/*"); activity.startActivityForResult(intent, START_ALBU
2017-01-05 09:45:07
971
原创 WARN [email protected] requires a peer of react@~15.3.1 but none was installed.
报错信息npm WARN [email protected] requires a peer of react@~15.3.1 but none was installed.解决方案：方法一：npm install -save react@~15.3.1方法二：在package.json中可以添加依赖"dependencies": { "react": "^15.3.2",
2016-12-30 17:11:04
10513
原创 android logcat 打印完整信息
在android studio 中打印log：往往不能把请求的全部数据给打印出来，Android系统的单条日志打印长度是有限的，长度是固定的4*1024个字符长度。所以这里我们可以对输出的信息进行分段处理，以保证输出足够的长度。import android.util.Log;/** * 打印日志的工具类 * * @author snakeson */public class LogUtil
2016-12-30 12:54:14
1834
原创 react-native 基础入门
基本概念这里以我的个人理解，快速过一下 React Native 中一些基本概念。如果和官方的理解有些偏差，还请指出。1. 组件React Native 主要是通过 Virtual Dom 来实现显示页面或者页面中的模块。可以通过 React.createClass() 来创建自己的 Dom，在 React 中称之为组件（Component）。创建之后，就可以直接像 HTML 标准标签一样使用了。如
2016-12-30 12:03:21
848
原创 2017 github 上android 源码（适合工作中开发）
转载： http://blog.csdn.NET/a774057695/article/details/49889437 https://github.com/XinRan5312/Android-open-project 目前包括：Android 开源项目第一篇——个性化控件(View)篇 包括ListView、ActionBar、Menu、ViewPager、Gallery、GridV
2016-12-30 11:51:19
14985
原创 TortoiseSVN没有svn.exe（找不到SVN.exe）
解决办法：重新安装：这样就可以在android studio 中进行配置svn.exe路径了.
2016-12-27 15:48:54
29299
原创 android textview 用html设置字体
TextView tv=(TextView)findViewById(R.id.textView1); String html="<html><head><title>TextView使用HTML</title></head><body><p><strong>强调</strong></p><p><em>斜体</em></p>"+"<p><a href=\"http://www.dre
2016-12-14 14:20:07
1193
原创 android:TimePicker仿照IOS时间选择器,可自定义选择器
背景: 项目要求写一个选择器:不仅仅是单纯的时间,还包括自定义部分. 搜了很久,搜出来只用一个自定义view.java类,再简单封装下的选择器: 贴下源码:public class PickerView extends View{public static final String TAG = "PickerView";/** * text之间间距和minText
2016-12-04 16:57:12
2712
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人