伙伴几时见-CSDN博客

原创 ocr比较好的资料链接-需要的记得广播

tesseract-ocr广为传播的，必需置顶，但是对中文的处理不是很好，如果是自然场景，基本就呵呵了，参考链接： https://github.com/tesseract-ocr 这是北京的一位AI大牛个人的试验程序，中文效果不错，本人也有参与，大家可以试下在这基础上结合自己的应用场景，进行拓展，参考链接：https://github.com/senlinuc/caffe_o

2017-11-24 17:17:06 480

转载 Pyinstaller打包出现UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0xce in position 解决方案

解决方案在你打包的命令行中先输入chcp 65001 然后再输入打包命令。 pyinstaller -F xxx.py

2020-10-23 17:11:44 617

转载 flask 文件上传（单文件上传、多文件上传）--from flask_wtf.file import FileField, FileRequired, FileAllowed from flask

文件上传在HTML中，渲染一个文件上传字段只需要将<input>标签的type属性设为file，即<input type=”file”>。这会在浏览器中渲染成一个文件上传字段，单击文件选择按钮会打开文件选择窗口，选择对应的文件后，被选择的文件名会显示在文件选择按钮旁边。在服务器端，可以和普通数据一样获取上传文件数据并保存。不过需要考虑安全问题，文件上传的漏洞也是比较流行的攻击方式。除了常规的CSRF防范，我们还需要重点关注这几个问题：验证文件类型、验证文件大小、过滤文件名

2020-10-16 17:02:20 2319

转载 Python程序中PIL Image “image file is truncated“问题分析与解决

Python程序中PIL Image "image file is truncated"问题分析与解决解决方案错误原因这就解决了？继续探索 truncated image 再试一次总结解决方案第一种、删除截断图片第二种、添加两行代码，如下from PIL import ImageFileImageFile.LOAD_TRUNCATED_IMAGES = True错误原因首先看一下错误信息，大致意思是图像文件是损坏的，无法读取，后面37个byt.

2020-10-16 16:14:53 1223 1

转载 Python之配置日志的几种方式（logging模块）

作为开发者，我们可以通过以下3种方式来配置logging:1）使用Python代码显式的创建loggers, handlers和formatters并分别调用它们的配置函数； 2）创建一个日志配置文件，然后使用fileConfig()函数来读取该文件的内容； 3）创建一个包含配置信息的dict，然后把它传递个dictConfig()函数；需要说明的是，logging.basicConfig()也属于第一种方式，它只是对loggers, handlers和formatters的配置函数进行了封装。另

2020-10-16 16:10:56 662

转载 python TimedRotatingFileHandler 配置参数（转）

TimedRotatingFileHandler这个模块是满足文件名按时间自动更换的需求，这样就可以保证日志单个文件不会太大。用法很简单，示例代码： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 import logging import logging.handlers # log.

2020-10-16 16:04:50 4339

转载 window下flask+uwsgi

1.写在前面一般情况下，flask回部署在linux上，且以flask+uWSGI+Nginx的形式，由于公司项目环境限制，所以flask写的web需要部署在windows上，且要用nginx。无感！查资料有的说，windows下没有uWSGI，还有的是其他方式部署，总之，很头疼。于是乎，省略掉了uwsgi，直接用了flask自带的服务，采用flask+Nginx的方式部署，不搭建uWSGI了2.下载Nginx 官网下载地址：http://nginx.org/en/download...

2020-10-15 17:07:25 758

转载 Windows10关闭占用某一端口号的进程

今天在Windows10电脑上安装zk和dubbo，运行Tomcat总是包端口占用异常，重启了一次电脑后觉得一直重启不是个好办法，于是学会了用命令关闭进程的技能查看指定端口的使用情况使用命令：netstat -ano | findstr 端口号1如下所示：查看端口时可能会出现以下两种情况，即倒数第二个参数可能是LISTENING，或者TIME_WAIT ，当参数为 TIME_WAIT时，表示占用此端口的那个进程正在改变状态，稍等一下可能这个进程就结束了。参数为LISTENING 时，

2020-10-14 11:33:39 93

转载图像差分的方法

差分图像的几个方法2016/7/28在处理图像的时候，特别是处理视频流图像的时候，往往会用到图像差分的方法。顾名思义，图像差分，就是把两幅图像的对应像素值相减，以削弱图像的相似部分，突出显示图像的变化部分。例如，差分图像往往能够检测出运动目标的轮廓，能够提取出闪烁导管的轨迹等等。那么，该如何对图像进行差分呢，或者说输入一个视频流，如何进行差分处理呢。懂点OpenCV的同学可能就要说了，OpenCV里不是有现成的函数实现差分的吗，直接拿来用就可以了，废话那么...

2020-06-03 16:18:12 3529

转载解决类似 /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.21' not found 的问题

源码编译升级安装了gcc后，编译程序或运行其它程序时，有时会出现类似/usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.21' not found的问题。这是因为升级gcc时，生成的动态库没有替换老版本gcc的动态库导致的，将gcc最新版本的动态库替换系统中老版本的动态库即可解决。1. 问题原因分析为了安装最新版本的Node.js（最新版本...

2020-02-07 15:01:07 1038

转载 SELECT is not allowed in cluster （Redis集群JedisCluster数据库详解）

（1）redis在单机模式下redis.conf配置文件中默认的数据库数量是16个，# Set the number of databases. The default database is DB 0, you can select# a different one on a per-connection basis using SELECT <dbid> where# d...

2019-11-07 10:24:04 2035

转载 pyspark特征工程常用方法（一）

本文记录特征工程中常用的五种方法：MinMaxScaler，Normalization，OneHotEncoding，PCA以及QuantileDiscretizer 用于分箱原有数据集如下图：MinMaxScalerfrom pyspark.ml.feature import MinMaxScaler首先将c2列转换为vector的形式vecAssembler = VectorAs...

2019-11-06 11:18:52 1007

转载在PyCharm中调试具有命令行输入项argparse的内容

1)点击“run”下的“Edit Configurations...”2)新建一个有一定意义的名字，输入参数3）直接运行square即可

2019-09-25 11:02:29 848

转载 Python pandas dataframe list(列表)数据列拆分成多行的方法

需要把下面的dataframe里面列的数据类型是list的列拆分成多个行：df=pd.DataFrame({‘A’:[1,2],‘B’:[[1,2],[1,2]]})dfOut[458]:A B0 1 [1, 2]1 2 [1, 2]所用代码如下：（1）如果你要拆分的dataframe只有两列，那么使用下面的方法（亲测非常高效）:df=pd.DataFrame...

2019-08-22 14:17:08 3467 4

转载相对导入问题总结：attempted relative import with no known parent package

如果是准备在同一个目录下采用相对导入，以下面目录为例Python3PackagelA.pylB.py在package中有两个文件A.py和B.py两个文件A.py内容：Def a():Print(11111111)在B.py文件中相对导入A.py文件，来调用a函数B.py文件内容：...

2019-08-19 17:31:28 1078

转载 Centos7 执行firewall-cmd报错“ModuleNotFoundError: No module named 'gi'”

在Linux Centos安装Python3.6后，为了防止yum不可用，更改了：第一步：vi /usr/bin/yum把#! /usr/bin/python修改为#! /usr/bin/python2第二步：vi /usr/libexec/urlgrabber-ext-down把#! /usr/bin/python 修改为#! /usr/bin/python2yum恢复...

2019-08-07 10:42:02 762

转载 Linux 命令发送 http GET/POST 请求

Get请求curl命令模拟Get请求：1、使用curl命令： 1 2 3 4 curl"http://www.baidu.com"如果这里的URL指向的是一个文件或者一幅图都可以直接下载到本地 curl -i"http://www.baidu.com"显示全部信息 curl -I"http://www.b...

2019-08-06 17:48:13 182

转载 Python远程调试图文教程（一）之Pycharm Remote Debug

本文目录新建一个工程连接远程服务器下载远程代码下载远程解释器添加程序入口调试前准备开始调试代码其他友情提示.新建一个工程我这边的工程名是，请自行定义。.连接远程服务器Tools -> Deployment -> configuration添加一个。：请自行定义，我这里填我服务器的IP地址。：请务必改成...

2019-08-06 15:07:11 5514

转载 Python中logging模块的基本用法

在 PyCon 2018 上，Mario Corchero 介绍了在开发过程中如何更方便轻松地记录日志的流程。整个演讲的内容包括：为什么日志记录非常重要日志记录的流程是怎样的怎样来进行日志记录怎样进行日志记录相关配置日志记录使用常见误区下面我们来梳理一下整个演讲的过程，其实其核心就是介绍了 logging 模块的使用方法和一些配置。日志记录的重要性在开发...

2019-06-17 11:07:28 207

转载 13个Python web框架比较

Python程序员有很多很好的选择来创建Web应用程序和API；Django，Weppy，Bottle和Flask引领潮流。如果正在开发一个Web应用程序并且已经选择使用Python作为构建它的语言，那么这是一个明智的选择。Python的开发成熟度，强大的库以及广泛的实际应用使其成为Web开发的必需。现在是困难的部分：从众多可用的Python web框架中选择一个。它...

2019-06-13 09:32:19 253

转载 python之six用法

six.PY2 返回一个表示当前运行环境是否为python2的boolean值six.PY3 返回一个表示当前运行环境是否为python3的boolean值import six,sysprint(six.PY2) #python2结果为Trueprint(six.PY3) #python3结果为Truesys.version_info[0] #PY2 = 2...

2019-06-11 20:11:04 1043

转载 Python的-m参数

作用是：把xxx.py文件当做模块启动但是我一直不明白当做模块启动到底有什么用。python xxx.py和python -m xxx.py有什么区别！自问自答：python xxx.py python -m xxx.py这是两种加载py文件的方式:1叫做直接运行2把模块当作脚本来启动(注意：但是__name__的值为'main' )不同的加载py文件的方式，主要是影响——s...

2019-06-11 17:44:25 108

转载详解Python中的相对导入和绝对导入

Python 相对导入与绝对导入，这两个概念是相对于包内导入而言的。包内导入即是包内的模块导入包内部的模块。Python import 的搜索路径在当前目录下搜索该模块在环境变量 PYTHONPATH 中指定的路径列表中依次搜索在 Python 安装路径的 lib 库中搜索Python import 的步骤python 所有加载的模块信息都存放在sys.modules结构...

2019-06-11 17:13:18 151

转载 Microsoft Visual C++ 14.0 is required 的解决方案

以安装scrapy为例：如：pip install scrapy 时出现：error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tools解决办法1. ...

2019-06-11 09:39:14 537

转载更改jupyter notebook主题

使用jupyter notebook的默认主题久了容易产生视觉疲劳，且白色背景对眼睛伤害更大，所以修改主题还是必要的工具/原料安装jupyter notebook，若没有，请下载，下载地址参考文献主题包jupyter themes，下载地址见参考文献方法/步骤下载好主题包之后，在命令提示符中输入pip install --upgrade jupyterth...

2019-06-10 16:23:18 169

转载修改Spyder的theme为暗色配色（全部为dark theme，非Syntax coloring为暗色背景）

这个issue里有详细讨论，我用下面的方法成功了 https://github.com/spyder-ide/spyder/issues/2350For Anaconda3 users on Windows 10 ：下载安装QDarkStyleSheet，在控制台输入 pip install qdarkstyle在Anaconda安装路径打开 ....\Anaconda3\Lib\sit...

2019-06-10 14:16:56 932

转载 Jupyter Notebook的27个窍门，技巧和快捷键

这篇文章是基于一篇最初出现在Alex Rogozhnikov的博客上的文章Jupyther notebook ,也就是一般说的 Ipython notebook，是一个可以把代码、图像、注释、公式和作图集于一处，从而实现可读性分析的一种灵活的工具。Jupyter延伸性很好，支持多种编程语言，可以很轻松地安装在个人电脑或者任何服务器上——只要有ssh或者http接入就可以啦。最棒的一点是...

2019-06-10 13:50:11 270

原创 python版本对应的Visual C++编译器版本

第一步，知道你的python版本：如上所示，MSC v.1915，也就是对应下表的_MSC_VER是1915Visual Studio version _MSC_VER Visual Studio 6.0 1200 Visual Studio .NET 2002 (7.0) 1300 Visual Studio .NET 2003 (7.1) ...

2019-06-06 16:44:22 3485 1

转载独家 | 从零开始用python搭建推荐引擎（附代码）

本文介绍了各种推荐引擎算法以及使用Python构建它们的基本框架。简介当今社会的每个人都面临着各种各样的选择。例如，如果我漫无目的想找一本书读，那么关于我如何搜索就会出现很多可能。这样一来，我可能会浪费很多时间在网上浏览，并且在各种各样的网站上搜寻，希望能找到有价值的书籍。这个时候我可能寻找别人的推荐。如果有一家网站或者手机应用可以基于我以前阅读的书籍向我推荐新的书籍，那对我肯定有很大...

2019-05-29 14:20:30 301

翻译 pyspark在windows加载数据集训练模型出现以下错误 Connection reset by peer: socket write error

As a workaround you might try the following change to python/pyspark/worker.pyAdd the following 2 lines to the end of the process function defined inside the main functionfor obj in iterator: ...

2019-05-27 13:53:28 726 2

原创构建指标体系的原理

一、构建指标体系的基本原则1、目的性原则2、全面性原则3、可行性原则4、稳定性原则5、协调性原则6、结合性原则二、指标体系构建中的两难选择指标间的独立性与全面性的两难选择三、指标体系构建中的几种定量方法1、变异系数法一般来说，变量越分散，其所含的信息量也越大，反之亦然。2、熵值法信息熵表示一个系统的有序性，系统的有序性越大，信息熵越大，反之，一个...

2019-01-25 15:20:46 12444 1

原创 python 词云实例

#/usr/bin/env python# -*- coding: utf-8 -*-"""Created on Wed Jan 23 16:03:41 2019@author: Administrator"""import osimport sysimport docximport jiebaimport jieba.posseg as psegimport rei...

2019-01-24 10:16:58 643

转载反欺诈建模方案

在反欺诈场景中，知识图谱聚合各类数据源，逐步绘制出借款人的profile，从而针对性的识别欺诈风险。以一个借款人举例，借款人可以有身份证号，手机号，学历等个人信息，属于个人的属性信息；而借款人可以有担保人或是亲属好友，借款人与担保人之间的关系（也就是边Edge）是被担保与担保的关系，借款人与其亲属好友之间的关系是父亲、母亲、同事、同学等关系；借款人也具有住址，银行流水，工作单位等信息。这些信息可以...

2019-01-23 17:19:09 1723

原创 python 逐步逻辑回归源码

import osimport pandas as pdimport statsmodels.api as smfrom sklearn.metrics import auc,roc_curveimport matplotlib.pyplot as plt def stepwise_selection(X, y, initial_lis...

2019-01-18 17:40:03 4185 1

转载 Python：SMOTE算法

17.11.28更新一下：最近把这个算法集成到了数据预处理的python工程代码中了，不想看原理想直接用的，有简易版的python开发：特征工程代码模版，进入页面后ctrl+F搜smote就行，请自取之前一直没有用过python，最近做了一些数量级比较大的项目，觉得有必要熟悉一下python，正好用到了smote，网上也没有搜到，所以就当做一个小练手来做一下。首先，看下Smote算法之前...

2018-12-25 11:18:38 3516

转载 Pandas 和 SQL对比

自认为比较熟悉SQL, 刚开始使用Pandas的时候,总觉得好多地方不如SQL处理来的便捷.但是在熟悉Pandas后,发现Pandas往往也有很简单的解决办法, 部分地方恰好是Pandas的优势地方.下面列出一些曾经遇到的场景:滑动窗口/平滑各种曲线应用场景:当每个月份数据抖动比较大的时候,想把n个月的数据累积到一个月然后平均计算趋势.1DB解决方案:没想到特别简单的方法.希望有...

2018-12-06 19:22:59 453

转载多重共性和VIF检验

图片来源https://wenku.baidu.com/view/7008df8383d049649b66581a.html 和https://wenku.baidu.com/view/6acdf95e52ea551811a68721.html

2018-11-28 16:23:41 5215

转载 pandas与sql 对比,持续更新...

由于工作关系 , 经常会用到sql和python的pandas模块,两者有很多相似之处,我将整理出系列的对比文章,并保持更新. 若有不尽之处,敬请指出.文章目录基础说明select 操作where操作in操作regexp正则操作group by操作order by 操作limit 操作case when操作left join (rigth join, inner join,...

2018-11-27 14:44:06 349

转载基于Python的信用评分卡模型分析（一）

信用风险计量体系包括主体评级模型和债项评级两部分。主体评级和债项评级均有一系列评级模型组成，其中主体评级模型可用“四张卡”来表示，分别是A卡、B卡、C卡和F卡；债项评级模型通常按照主体的融资用途，分为企业融资模型、现金流融资模型和项目融资模型等。我们主要讨论主体评级模型的开发过程。一、项目流程典型的信用评分模型如图1-1所示。信用风险评级模型的主要开发流程如下：（1）数据获取，包括获...

2018-11-27 09:57:31 949