- 博客(225)
- 收藏
- 关注
RSS订阅转载 python网页自动摘要和关键词提取
最近准备用django写一个CMS系统，把单位的网页迁移过去，在网上找了一个博客系统，但是不太满意，摘要和tags都需要自己输入，目标就是把他们实现自动化。之前搞爬虫接触过类似的库，readability,goose等都可以实现文本摘要，jieba具有提取tags的功能。goose主要作用是根据网址提取文本和标题。主要用的库有urllib2，beautifulsoup；有些网页用goose提取不到正文，只能获得标题，因此用在内容也上比较好，目录页、主页效果不太好。用法如下：from goose im
2021-01-14 14:09:37
591
转载 django访问sqlserver2000——使用django-pyodbc
现在单位用的信息管理系统用的数据库还是sqlserver2000，想用django做一个简单的统计系统，django本身没有提供sqlserver的backends，只能借用第三方库。大家用的比较多的就是django-pyodbc，网上有一些教程，但是内容相对比较陈旧。1.设置ODBC2.pip install django-pyodbc由于django-pyodbc依赖pyodbc就不用再安装pyodbc了。3.在settings.py里修改databases参数，其中engine这个键的值跟以前
2021-01-14 14:08:58
494
转载 《图解HTTP》读书笔记
第一章HTTP，hypertext transfer protocol，字面翻译应该是超文本转移协议，现在大家已经习惯叫超文本传输协议。web是建立在HTTP协议上通信的。WWW是致力于全世界的研究者们进行知识共享。web包含三项技术包括HTML，HTTP协议，URLHTTP协议原来主要考虑来解决文本传输的难题。我们常说的网络是基于TCP/IP协议，HTTP协议是TCP/IP协议的一个子集。...
2021-01-14 14:08:17
214
转载 重装系统提示
开机F12进入联想BIOS，在启动设置上默认USB、USB CD-ROM启动exclude的，选中这些设备按X键，使他们进入启动设动设备候选。按F12选择相应设备启动。安装系统时会提示找不到大容量存储，原因是win2003不识别ACHI硬盘模式，回BIOS修改硬盘位IDE模式。安装系统后，注意用联想驱动盘安装驱动。系统配置完之后需要安装VC2005-2013的运行库，最好把.NET的框架也安装完，要不然很多程序不能运行。python安装可以直接选择python2.7.11 直接集成PIP和virtu
2021-01-14 14:07:46
203
转载 moment.js的汉化显示
正在做的信息管理系统里要用到ddaterangepicker，什么都挺好就是日期和时间都显示为英文，这个库依赖于moment.js，需要在moment.js里设置中文显示。参考《moment.js 添加中文语言（汉化） 》这篇文章进行设置。把以下代码添加到moment.js的末端 return _moment; 这段代码之前_moment.defineLocale('zh-cn', { months : '一月_二月_三月_四月_五月_六月_七月_八月_九月_十月_十一月_十
2021-01-14 14:07:22
486
转载 rabbitmq开启web管理后台
rabbitmq自带管理后台，安装后需要配置开启进入rabbitmq安装目录中的sbin目录执行rabbitmq-plugins enable rabbitmq_management重启rabbitmq服务生效打开http://localhost:15672/即可看到管理后台用户名密码均为guest...
2021-01-14 14:06:41
604
转载 怎么在IE11中运行VBScript
在IE11之后微软逐步已经抛弃了VBScript，上课时突然发现写好的VBscript脚本运行无显示，查资料才知道微软又弃坑了，每每总是半途而废解决方法是将IE11.0调成兼容较早IE版本的模式，按下F12键，或者单击浏览器的设置摁扭选择“开发人员工具”，选择“仿真”选项卡，“模式”里文档选择5...
2021-01-14 14:04:17
557
转载 elasticsearch windows下安装
前提：操作系统至少WIN7，要不然会出问题1.下载JDK，ES安装包等文件配置JDK环境，设置系统变量JAVA_HOME C:\Program Files\Java\jdk1.7.0_79PATH %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;CLASSPATH .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;3.进入ES文件夹bin目录4. 运行elasticsearch.bat在浏览
2021-01-14 14:03:48
139
转载 elasticsearch插件安装
1.head安装在es的bin文件夹下使用CMD输入：plugin install mobz/elasticsearch-head访问地址http://127.0.0.1:9200/_plugin/head2.kopf安装在es的bin文件夹下使用CMD输入：plugin install lmenezes/elasticsearch-kopf访问地址 http://127.0.0.1:9200/_plugin/kopfbigdesk安装bigdesk在2014年就停止更新了，因此
2021-01-14 14:03:13
196
转载 Windows下elasticsearch安装jieba分词插件
到github下载插件https://github.com/huaban/elasticsearch-analysis-jieba2.将下载得到的插件，如elasticsearch-analysis-jieba-2.3.3-bin.zip直接解压缩到Es的plugins文件夹，文件夹改名为jieba，重启ES服务在浏览器输入以下地址进行测试（例如先建好一个test索引，如果是国产浏览器需要时用极速模式）http://localhost:9200/test/_analyze?analyzer.
2021-01-14 14:02:07
368
转载 同时装了Python3和Python2，怎么运行.py及pip
一台计算机同时装了Python3和Python2，怎么启动Python3或Python2呢按照官方的说法，安装Python3后会安装一个py.exe，即Python启动器，可以按照如下的方法运行：py -2 xxx.py#运行Python2的文件py -3 xxx.py#运行Python3的文件或者直接Python xxx.py运行Python3文件pip的运行方法有多种:1.根据-m参数按照模块运行pip，方法同运行一般的py文件。py -2 -m pip install xxxpy
2021-01-12 13:55:14
309
转载 Python安装第三方库，如何安装.whl和.egg文件
在Python的第三方库中，除了源码和二进制exe之外，.whl文件和.egg文件也是两种常用的文件类型。.whl文件现在常见的一种二进制格式首先需要安装wheel库pip install wheel然后下载所需的.whl文件最后用pip命令在.whl文件所在的位置安装例如：pip install h:/path/xxx.whl.egg文件egg文件是一种打包，后缀名可以改成rar，直接解压缩，按照源码的形式安装一种最简单的安装方法就是把egg文件和egg文件解压出来的文件夹直接复制到
2021-01-12 13:54:42
1705
转载 Python操作Access数据库
常用方法是使用pyodbc库。-- coding: utf-8 --功能:python连接access2010数据库(.accdb)import pyodbcDBfile = r"h:\xiaonei\xnzy.accdb" # 数据库文件conn = pyodbc.connect(r"Driver={Microsoft Access Driver (*.mdb, *.accdb)};DBQ=" + DBfile + “;Uid=;Pwd=;charset=‘utf-8’;”)#用charse
2021-01-12 13:54:11
1307
转载 Python操作MySQL数据库
#coding=utf-8import MySQLdbimport MySQLdb.cursorsconn= MySQLdb.connect(host=‘localhost’,port = 3306,user=‘root’,passwd=‘root’,db =‘test’,cursorclass = MySQLdb.cursors.DictCursor, charset=‘utf8’)cur = conn.cursor()#创建数据表#cur.execute(“create tabl
2021-01-12 13:53:18
121
转载 Python操作MS SqlServer
#coding=utf-8#-------------------------------------------------------------------------------测试 pymssql库，该库到这里下载：http://www.lfd.uci.edu/~gohlke/pythonlibs/#pymssql#-------------------------------------------------------------------------------import py
2021-01-12 13:52:53
125
转载 python 解析类似 ‘\xe4\xb8\xad\xe5\x9b\xbd‘的unicode码为汉字
#基础知识以Python2.7为例，以iPython样式演示In [1]:s=‘中国’In [2]????Out [2]:s=’\xe4\xb8\xad\xe5\x9b\xbd’In [3]:s=u’中国’In [4]????Out [4]:s=u’\u4e2d\u56fd’In [1]:s=’\xbe\xdc\xbe\xf8\xb7\xc3\xce\xca\xa1\xa3’In [2]:print sOut [2]:�ܾ����ʡ�In [3]:b=repr(s)In [4]:pr
2021-01-12 13:52:15
1191
转载 IPython notebook的安装及安装后网页不能打开问题
安装很简单pip install ipython[notebook]或pip install jupyter notebook第一种安装方式即将被淘汰。安装完在命令行输入ipython notebook或jupyter notebook就会在浏览器里打开notebook但是我遇到了notebook在浏览器打不开（网页连接错误，看不到界面）的问题使用netstat命令查看端口后发现，notebook默认的8888端口没有绑定在127.0.0.1，而是192.168.2.26因为之前在host
2021-01-12 13:51:44
342
转载 IPython notebook（Jupyter notebook）指定IP和端口运行
jupyter notebook --no-browser --port 6000 --ip=192.168.1.103
2021-01-12 13:51:14
1040
转载 IPython notebook（Jupyter notebook）Python2和Python3内核（Kernel）共存
自己计算机里面共存了Python2和Python3，ipython作为试探性的REPL解释器使用的频率还是挺高的，分别在2和3下安装完ipython notebook后怎么分别使用这两种内核呢按照默认的 jupyter notebook命令，只能运行一种内核，如Python3，想运行Python2内核怎么办呢？ipython kernel install --name python2ipython kernel install --name python3或者ipython2 kernelspec
2021-01-12 13:50:41
150
转载 IPython notebook（Jupyter notebook）如何显示已安装的内核
IPython notebook（Jupyter notebook）如何显示已安装的内核（kernel）？ipython kernelspec list或jupyter kernelspec list第一个命令即将被废止，尽量用第二个命令。
2021-01-12 13:50:01
143
转载 测试下MarkDown编辑器
CSDN现在的HTML编辑器用起来真的不太爽，特别是代码块，修改起来很多不便。现在比较习惯各种的文本编辑器，不管是写代码还是写文章、记笔记，轻量级。而且在写的过程中，不用太在意格式问题。def blog_test( ):pass无序列表编号列表编号呢...
2021-01-11 13:53:32
40
转载 H指数（h-index）的Python实现
H指数（h-index）是一种比较主流的科研评价方法，可用于评估研究人员的学术产出数量与学术产出水平。某人的h指数是指在其发表的N篇论文中，有h篇论文分别被引用了至少h次，其余N-h篇的引用次数均不超过h次。例如，张三发表了10篇论文，其中有5篇论文被引用次数大于等于5次，而没有6篇论文的引用次数大于等于6次，那么张三的H指数即为5。第一种方法：实现简单，但是列表较大的话，效率较低。‘’’输入一个列表，列表内容为某人的每篇文章的引用次数。输出H指数值‘’’def Hindex(indexList
2021-01-11 13:52:41
1664
转载 如何在Django中输出matplotlib生成的图片
下面的代码片段是直接在Django中输出matplotlib生成的图片，网上很多种方法都是先生成图片再调用，感觉不是那么直接。环境：Python2.7，Django1.83该文件为views.py文件，函数映射按实际设置。from django.shortcuts import renderfrom django.http import HttpResponsefrom matplotlib.figure import Figurefrom matplotlib.backends.backend
2021-01-11 13:52:05
546
转载 Python实现检测文件的MD5值来查找重复文件
平时学生交上机作业的时候经常有人相互复制，直接改文件名了事，为了能够简单的检测这种作弊行为，想到了检测文件的MD5值，虽然对于抄袭来说作用不大，但是聊胜于无，以后可以做一个复杂点的。coding: utf8import hashlibimport osfrom collections import Counterimport sysreload(sys)sys.setdefaultencoding(‘utf-8’)def get_md5_01(file_path):md5 = Nonei
2021-01-11 13:51:30
416
转载 Python遍历文件夹下所有文件及目录
遍历文件夹中的所有子文件夹及子文件使用os.walk()方法非常简单。语法格式大致如下：os.walk(top[, topdown=True[, οnerrοr=None[, followlinks=False]]])1top – 根目录下的每一个文件夹(包含它自己), 产生3-元组 (dirpath, dirnames,filenames)【文件夹路径, 文件夹名字, 文件名】。topdown –可选，为True或者没有指定, 一个目录的的3-元组将比它的任何子文件夹的3-元组先产生(目录自
2021-01-11 13:51:02
752
转载 Python中文路径及“ValueError: invalid \x escape“的处理方法
很不凑巧，我刚好有”e:\xx\新建文件夹”这么一个路径，把Python路径问题踩了个遍。原始代码为：input_path=“e:\xx\新建文件夹”print input_path结果为：File “xxxxx.py”, line 1SyntaxError: Non-ASCII character ‘\xe6’ in file xxxxx.py on line 1, but noencoding declared; see http://python.org/dev/peps/pep-026
2021-01-11 13:50:18
1222
转载 Python通过MD5值实现重复文件的检测
平时上课时学生上机作业经常有直接复制别人的文件，只修改文件名的抄袭情况，为了快速检测这种问题，通过MD5值简单的写了下，聊胜于无吧，有时间了写一个更完善的。coding: utf8import hashlibimport osfrom collections import Counterimport sysreload(sys)sys.setdefaultencoding(‘utf-8’)def get_md5_01(file_path):md5 = Noneif os.path.isf
2021-01-11 13:49:11
261
转载 Selenium操作中文时UnicodeDecodeError: ‘utf8‘ codec can‘t decode 错误
使用Python及selenium操作网页，出现中文时，比如填写表单element.send_keys(‘中国’)可能会出现UnicodeDecodeError: ‘utf8’ codec can’t decode错误解决方法如下：‘中国’.decode(‘gb18030’)
2021-01-11 13:48:36
130
转载 Selenium操作CNKI（中国知网）网站的远见搜索
最近想对单位发表的期刊情况做一个文献计量学分析，数据倒也不多，但是手动保存优点麻烦。两年前用spynner.py做过抓取CNKI管理后台，spynner.py是基于qtwebkit的一个包，跟ghost.py基本差不多，这也算跟selenium有一定的渊源，spynner基本弃坑了，近几年一直没再动过。CNKI网站为了反爬，做的太复杂，平时自己访问都感觉慢，一看源代码，加载了一堆js，能不慢吗？Python2，selenium操作如下（仅关键部分，代码不全）：coding: utf-8import t
2021-01-11 13:48:06
764
1
转载 使用Windows批处理和WMI设置Python的环境变量
大概在Python2.7.xx以前，安装Python时环境变量是需要自己设的，所以自己做了一个批处理文件.bat来设置环境变量Path，通过WMI命令wmic来实现。::检查path中有没有相关路径echo %path%|findstr /i “c:\python27\scripts”&&(goto run)::先添加，防止没有时修改出错wmic ENVIRONMENT create name=“path”,VariableValue=“c:\python27\scripts;%pa
2021-01-11 13:47:36
119
转载 Windows批处理.bat自动安装Python、设置系统变量、替换文件及安装库
低版本的Python2.7不能直接设置系统环境变量，而且安装setuptools时有一些小BUG，之前写了一个自动安装处理Python2.7.6的批处理，包含安装Python2.7，替换文件，本地安装库。::python版语言环境、配置自动安装批处理文件::初始化批处理文件CLS@ECHO OFFECHO.::检测操作系统是否为windows32位操作系统，如果是，继续安装，如果不是，提示并退出安装::检测是否已经安装python2.76，如果是，继续安装，安装模式为静默模式；如果不是，提示并
2021-01-08 18:26:42
729
转载 Windows批处理.bat检测是否安装某些软件
@echo offreg query HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Uninstall|find /i “sogou input”>nul 2>nulif %errorlevel%==0 (echo 搜狗拼音输入法：已安装) else echo 搜狗拼音输入法：未安装echo.reg query HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\Curre
2021-01-08 18:26:15
2190
转载 selenium、python模拟登陆淘宝
#coding=utf-8import timeimport datetimeimport sysimport osimport randomimport loggingfrom selenium import webdriverfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver impor
2021-01-08 18:25:33
284
转载 《Modern Python Cookbook》（Python经典实例）笔记1.4 浮点数、小数、分数
货币值计算计算货币值时，应当使用decimal模块，如果使用float会出现舍入和截断问题。decimal.quantize()函数的使用。decimal模块提供各种舍入规则。分数计算分数计算使用fractions模块。分母是2的幂时，分数得到的浮点值很精确，不是2的幂时会产生浮点近似值。...
2021-01-08 18:25:00
72
转载 《Modern Python Cookbook》（Python经典实例）笔记1.2 命名
类一般用大驼峰命名法CapitalizedCamelCase，即每个单词的首字母大写其他对象用蛇底命名法snake_case文件名应当遵循Python命名法，要不然影响作为模块或包使用链式命名法：x=y=1
2021-01-08 18:24:26
54
转载 ECharts3 实现四象限图
可在ECharts3实例中的代码框中粘贴直接查看效果option = {title : {text: ‘男性女性身高体重分布’,subtext: ‘抽样调查来自: Heinz 2003’},grid: {left: ‘3%’,right: ‘7%’,bottom: ‘3%’,containLabel: true},tooltip : {trigger: ‘axis’,showDelay : 0,formatter : function (params) {if (param
2021-01-08 18:24:02
1485
转载 ECharts3 实现动态数据累积图
原来网站上的实例是固定只显示10个数据，简单做了一些修改，1秒生成1个数据，数据累积。可在ECharts3实例中的代码框中粘贴直接查看效果var app = {};option = {title: {text: ‘动态数据’,subtext: ‘纯属虚构’},tooltip: {trigger: ‘axis’},legend: {data:[‘最新成交价’, ‘预购队列’]},toolbox: {show: true,feature: {dataView: {readOnl
2021-01-08 18:23:25
431
转载 ECharts3 实现动态数据累积图2+时间坐标
对ECharts3官网中动态数据+时间坐标轴实例进行了修改，X轴为当前时间，并数据累积。可在ECharts3实例中的代码框中粘贴直接查看效果。function randomData() {now = new Date(+now + 1000);value = value + Math.random() * 21 - 10;return {name: now.toString(),value: [now,Math.round(value)]}}var data = [];var .
2021-01-08 18:22:41
205
转载 ECharts3 实现 AJAX异步加载 数据库数据
ECharts3的文档里其实对异步加载说的很明白，但是示例都是生成的随机数据，大多数应用是直接读数据库数据然后动态加载到ECharts图表里的，简单的思路就是把需要显示的数据库数据封装成json格式，然后异步获取json数据，解析显示在图表里。生成json数据不多说了，js重要部分如下：var startTime1=$("#start").html();var endTime1=$("#end").html();url="data/toEcharts.asp?t1="+startTime1+"&am
2021-01-07 09:27:52
109
转载 ECharts3 实现数据动态更新3+时间坐标，数据累积
代码修改自ECharts3文档异步数据加载和更新中的数据的动态更新部分，原示例固定显示若干数据，简单进行了修改，数据累积加上时间坐标。是否累积数据的关键在于shift()，去掉shift()之后即累积数据。其实ECharts3之后更新数据挺简单的，越来越清晰。var date = [];var data = [Math.random() * 150];var now = new Date();function addData() {ss=now.getTime() % 60000secon
2021-01-07 09:27:20
388
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人