「已注销」-CSDN博客

原创 scrapy 抓取的中文结果乱码，请问如何解决？

这个官网给出解释以及解决办法了：在setting文件中设置：FEED_EXPORT_ENCODING = ‘utf-8’ 就可以啦或者使用：首先Unicode不是乱码，如果把这些数据保存下来，或者直接显示使用是没有问题的。另外，如果你需要在scrapy shell中调试hxs的时候，你可以自定义一个printhxs(hxs)这样的函数用来在shell中显示中文。def printhxs

2017-07-27 09:50:22 5492

原创 Django 微信公众号对接开发demo

from django.http import HttpResponsefrom django.views.decorators.csrf import csrf_exemptfrom django.views.generic.base import Viewfrom lxml import etreefrom django.utils.encoding import smart_stri

2017-04-28 13:30:16 3327 1

原创 django TemplateDoesNotExist at /

TEMPLATES = [ { 'BACKEND': 'django.template.backends.django.DjangoTemplates', 'DIRS': [os.path.join(BASE_DIR, 'templates')], 'APP_DIRS': True, 'OPTIONS': {

2017-04-26 13:09:41 6397

原创 ubuntu中使用nginx把本地80端口转到其他端口

配置转发nginx的默认安装路径在/usr/local/nginx下. nginx的默认配置在/etc/nginx下.把80端口指向8080端口, 方法如下:修改nginx.conf注释掉改行: #nginx.conf 中 http 段最后会有以下这两句. #这样你就可以把已经配置好的各种 server conf 放在 sites-available 里， #如果想启用的时候只要

2017-04-22 15:47:43 4021

原创 Django使用paginator实现翻页功能

from django.shortcuts import renderfrom django.core.paginator import Paginatorfrom huxiu.models import Article# Create your views here.def index(request): article_list = Article.objects.all()

2017-04-22 12:06:37 1066

原创 Django添加富文本编辑器kindeditor

kindeditor简介： KindEditor 是一套开源的在线HTML编辑器，主要用于让用户在网站上获得所见即所得编辑效果，开发人员可以用 KindEditor 把传统的多行文本输入框(textarea)替换为可视化的富文本输入框。 KindEditor 使用 JavaScript 编写，可以无缝地与 Java、.NET、PHP、ASP 等程序集成，比较适合在 CMS、商城、论坛、博客、Wi

2017-04-21 17:18:08 1761 1

原创 Django自定义列表 models字段显示

Models.py中class article(models.Model): id = models.AutoField(primary_key=True,verbose_name ='编号') title = models.CharField(max_length=100,verbose_name ='标题') content = models.CharField(max_

2017-04-21 16:38:38 4896

首先我们要新建一个用户名，用来登陆管理网站，可以使用如下命令：python manage.py createsuperuser输入想要使用的用户名：Username (leave blank to use 'administrator'): user01输入email：Email address: (在这里输入你的自己的邮箱帐号)输入密码，需要输入两次，并且输入密码时不会显示出来：Password:

2017-04-21 13:40:23 8074 1

原创 no python interpreter configured for the project

初次安装完PyCharm后，新建项目时，遇到了No Python interpreter selected的问题。意思是说没有找到Python解释器。那我们添加Python解释器即可。Python–Preferences–Project Interpreter–Python Interpreter 点击“+”号选择系统安装的Python。然后再返回Project Interpreter，选择刚添加的

2017-04-21 13:26:30 89976 5

原创 mac终端连接linux

在打开的终端页面，输入如下代码：ssh user@hostname注：上边代码为固定格式，其中 user 为 linux 服务器的管理员名称 hostname 为 linux 服务器的IP如： ssh [email protected]如此就可以像windows下的putty工具一样远程登录管理你的linux服务器了

2017-04-20 20:08:05 903

原创 Django Ubuntu部署：nginx + uWSGI配置

安装 supervisor, 一个专门用来管理进程的工具sudo pip3 install supervisor

2017-04-20 14:27:59 1241 1

原创 Django Ubuntu部署： python3 + mysql + nginx + uswgi

Django的部署可以有很多方式，采用nginx+uwsgi的方式是其中比较常见的一种方式。　　在这种方式中，我们的通常做法是，将nginx作为服务器最前端，它将接收WEB的所有请求，统一管理请求。nginx把所有静态请求自己来处理（这是NGINX的强项）。然后，NGINX将所有非静态请求通过uwsgi传递给Django，由Django来进行处理，从而完成一次WEB请求。the web client

2017-04-20 13:37:59 2388

原创 Django Model.py数据库模型

我们的博客初级版本主要包含这些数据：博客文章，文章会有分类以及标签。一篇文章只能有一个分类，但可以打上很多标签。数据库存储的数据其实就是表格的形式，例如存储我们的博客文章的数据库表长这个样子：文章 id 标题正文发表时间分类标签 1 title1 text1 2016-12-23 django django 学习 2 title2 text2

2017-04-19 16:20:28 724

原创 Django中在template中使用静态文件

#直接使用 {% load staticfiles %} <img src="{% static "images/hi.jpg" %}" /> #变量方式使用 {% load staticfiles %} <link rel="stylesheet" href="{% static user_stylesheet %}" type="text/css" media="screen"

2017-04-19 15:25:56 570

原创 Django View.py通用视图

def index(request): return render(request,'index.html')def article(request): return render(request,'article.html')

2017-04-19 15:07:29 1010 1

原创 Django URlS路由分发

urlpatterns = [ url(r'^admin/', admin.site.urls), url(r'^$', index,name='index'), url(r'^article/', article,name='article'),]

2017-04-19 15:00:55 348

原创 Django后台修改 admin.py

进入 blog 文件夹，修改 admin.py 文件（如果没有新建一个），内容如下from django.contrib import adminfrom .models import Article admin.site.register(Article)只需要这三行代码，我们就可以拥有一个强大的后台！

2017-04-07 13:10:15 1477

原创 Django使用MySQL数据库

1、确认电脑已安装MySQL数据库　　2、在mysql中创建数据库命令模式下可以使用CREATE DATABASE {name} DEFAULT CHARSET=utf8;　　3、修改settings.py文件DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql',

2017-04-06 12:57:11 3300 1

原创设置后台中文面板

Django设置后台中文面板，修改settings.py文件，只需要修改两行：LANGUAGE_CODE = 'zh-Hans'TIME_ZONE = 'Asia/Shanghai'

2017-04-06 11:28:56 496

原创设置static文件路径

首先在工程目录下新建static文件夹，这里要注意的是千万不要在my_app/下创建static文件夹作为static文件存放的目录, 这会导致Django无法搜索到自己的static 文件。创建后好，在settings中配置static文件目录。添加以下代码:STATIC_URL = '/static/'STATICFILES_DIRS = ( os.path.join(BASE_

2017-04-06 11:27:29 1209

原创 Django环境部署

使用PyCharm创建Django环境　　1、新建工程　　2、选择django,创建虚拟运行环境　　3、在弹出的窗口中，设定虚拟环境的名称，并勾选加载所有的Python包，并点击确定。　　4、设定工程名，工程使用的虚拟环境位置，APP名，并勾选django管理员模块。　　5、点击上图的create按钮，进入pycharm工程界面，至此，d

2017-04-06 11:25:25 363

原创 12、外贸站采集代码

import scrapyclass QuotesSpider(scrapy.Spider): name = "quotes" start_urls = [ 'http://www.techstart.org.uk/index.php?main_page=advanced_search_result&search_in_description=1&keyword=a

2017-03-10 21:46:05 481

原创 11、一个简单的更美APP美购项目爬虫

import scrapyclass QuotesSpider(scrapy.Spider): name = "quotes" start_urls = [ 'http://www.gmei.com/promotion_list/province_268?page=1', ] def parse(self, response): for

2017-03-10 13:46:56 585

原创 10、scrapy1.3.0 中文教程

创建项目　　在开始爬取之前，您必须创建一个新的Scrapy项目。进入您打算存储代码的目录中，运行下列命令: 　　scrapy startproject tutorial　　该命令将会创建包含下列内容的 tutorial 目录: 　　tutorial/ scrapy.cfg # 项目的配置文件 tutorial/ # 项目的python

2017-03-09 20:58:12 1426

原创 9、Python3 Scrapy 安装方法（一脸辛酸泪）

写在前面　　最近在学习爬虫，在熟悉了Python语言和BeautifulSoup4后打算下个爬虫框架试试。　　没想到啊，这坑太深了。。。　　看了看相关介绍后选择了Scrapy框架，然后兴高采烈的打开了控制台，　　pip install Scrapy　　坑出现了。。。。　　运行报错error: Unable to find vcvarsall.bat　　开始上网查解决方法。。　　看了大多数方法，基

2017-03-07 16:39:38 549

原创 8、Python正则表达式指南

正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。　　得益于这一点，在提供了正则表达式的语言里，正则表达式的语法都是一样的，区别只在于不同的编程语言实现支持的语法数量不同；但不用担心，不被支持的语法通常是不常用的部分。如果已经在其他语言里使用过正则表达式，只需要简单看一看就可以上手了。

2017-03-05 12:30:49 358

原创 7、批量关键字百度搜索结果url解码

import requestsfrom bs4 import BeautifulSoupimport reimport time#coding:utf-8with open('key.txt','r') as f: result = f.read()keys = result.split('\n')key_words = list(enumerate(keys, start=1))

2017-03-05 12:23:15 2406

原创 6、一个简单的新氧的小爬虫

from bs4 import BeautifulSoupimport requestsimport mathurl_hos = []for i in range(1,15): url_source = 'http://y.soyoung.com/hospital/0_0_0_0_0_0_415_0_0_2/{}'.format(i) web_db = requests.get(

2017-03-05 12:20:43 1074 1

原创 5、URL异常处理和HTTP状态码抛出异常

import requestsfrom bs4 import BeautifulSoup#coding:utf-8#404页url = 'http://www.chinaz.com/manage/2017/0304/665559.shtml'#URL异常处理try: response = requests.get(url)except: data = { 'u

2017-03-04 13:54:58 2111

原创 4、利用Request和Beautiful Soup抓取指定URL内容

import requestsfrom bs4 import BeautifulSoup

2017-03-03 16:35:13 2663

原创 3、Python Beautiful Soup快速开始

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.　　这篇文档介绍了BeautifulSoup4中所有主要特性,并且有小例子.让我来向你展示它适合做什么,如何工作,怎样使用,如何达到你想要的效果,和处理异常情况.　　文档中出现的例子

2017-03-03 16:28:26 351

原创 2、Python Requests快速入门

快速上手　　迫不及待了吗？本页内容为如何入门 Requests 提供了很好的指引。其假设你已经安装了 Requests。如果还没有，去安装一节看看吧。　　首先，确认一下：　　Requests 已安装　　Requests 是最新的　　让我们从一些简单的示例开始吧。　　发送请求　　使用 Requests 发送网络请求非常简单。一开始要导入 Requests 模块：>>> import requests

2017-03-03 16:13:48 388

原创 1、抓取网页的含义和URL基本构成

一、网络爬虫的定义　　网络爬虫，即Web Spider，是一个很形象的名字。　　把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。　　网络蜘蛛是通过网页的链接地址来寻找网页的。　　从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，　　然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。　　如果把整个互联网当成一个

2017-03-03 15:40:06 781

原创 DJANGO获取当前URL

获取带参数URLrequest.get_full_path()获取不带参数URLrequest.path

2016-12-07 15:24:52 1092

原创 Django many to many MultipleObjectsReturned

Let’s say that I have a blog entry with multiple tags. The tags field is a ManyToMany in my model. I want to take all blog entries and for each entry I want to get all tags.Basically I would do somethi

2016-12-04 08:57:19 1395

原创 Django ManyToManyField 跨越中间表查询

1、在 django 表中用到了 manytomany 生成了中间表 pyclub_article_columnfrom django.db import models# Create your models here.class Column(models.Model): id = models.AutoField(u'序号',primary_key=True,auto_created=T

2016-12-04 01:11:09 4355

原创 Python中操作mysql的pymysql模块详解

基本操作：（1）导入pymysqlpymysql: import pymysql （2）连接数据库： conn=pymysql.connect(host='localhost',user='root',passwd='root',db='ere'，charset='utf8') 务必注意各等号前面的内容！charset参数可避免中文乱码（3）获取操作游标：cur=conn.cursor(

2016-11-23 22:27:33 1307

原创 Python使用QQ邮箱发送多收件人email

实际开发过程中使用到邮箱的概率很高，那么如何借助python使用qq邮箱发送邮件呢？代码很简单，短短几行代码就可以实现这个功能。使用到的模块有smtplib和email这个两个模块，关于这两个模块的方法就不多说了。代码如下：#coding:utf-8 # 强制使用utf-8编码格式# 加载smtplib模块import smtplibfrom email.mime.text import

2016-11-21 13:16:02 8017

原创 Mac启动MongoDB

使用终端登录启动MongoDB： 1、在Finder的侧边栏中单击“应用程序”，然后在“实用工具”中，双击启动“终端”命令。 2、在终端中输入添加MongoDB配置文件的命令：sudo mongod --config /usr/local/etc/mongod.conf输入MAC系统管理员确认操作权限。 3、保持当前终端不关，新建终端命令。在新终主界面，输入：mongodjueyingsd

2016-11-20 08:31:41 2884

原创在Mac如何启动MySQL

如何在Mac OS X系统中启动MySQL服务？这些一步步的教你怎么操作。工具/原料 Mac OS X 安装MySQL 启动MySQL服务 1、安装好MySQL服务后（安装步骤可以参考系列经验1）。打开“系统偏好设置”，单击下端的“MySQL”图标。 2、在“MySQL”对话框中，单击“启动MySQL服务”按钮。 3、在弹出的窗口中，输入管理员密码，然后单击“好”按钮。 4、在“M

2016-11-20 07:33:53 8949

空空如也

空空如也