3 mumu_小木

尚未进行身份认证

我要认证

a road, a life

等级
TA的排名 20w+

py链接mysql、redis

写在前面的话: 总结一下学到的内容,还有在做项目中遇到的问题及其解决方式。都是为了学习巩固,有什么不对的地方还希望各位大佬指正出来,不胜感激。1. redis 安装与配置下载地址:下载zip压缩包 https://github.com/MicrosoftArchive/redis/releases解压后打开 cmd 窗口并到其路径下使用该指令将redis注册为windows服务, redis.windows-service.conf 该文件就是注册服务使用的配置文件,在里面也可以更改设置密码,对应

2020-09-02 22:38:44

py批量存入mysql,pandas一些操作,循环内加线程

写在前面的话: 总结一下近期实习学到的内容,还有在做项目中遇到的问题及其解决方式。都是为了学习巩固,有什么不对的地方还希望各位大佬指正出来,不胜感激。1. 批量存入数据库与 excute() 方法对应的是 excutemany()""":param sql: sql语句,values 部分正常写,insert 最好加上ignore,这样会跳过错误的数据:param data: tuple; data 必须是元组,而且其内存的数据顺序与values部分对应,这样存的时候才能对应到相应字段"""#

2020-09-02 22:33:43

ITK Snap 报错信息为 xml 文件不匹配

写在前面的话: 研究方向是医学图像配准,才开始学,用到ITK Snap这个软件,第一次就遇到这问题了,记录下来,防止小白踩坑~打开ITK Snap 报错信息为 xml 文件不匹配如图复制报错信息中的路径找到对应xml文件,修改其信息即可,最好用编程IDE打开(记事本也行吧),找到 IOHistory ,这一部分是存储你打开过的所有记录,你可以看到其中有乱码的部分,将这条记录删除掉,保存退出。将 "*.nii" 数据文件重新放到一个路径名 不含中文 的路径。再次打开即可。还有方法是从xml文件

2020-08-02 12:20:25

python爬虫之编码制内容转化、json追加写入、繁体转简体

写在前面的话: 总结一下学到的内容,还有在做项目中遇到的问题及其解决方式。都是为了学习巩固,有什么不对的地方还希望各位大佬指正出来,不胜感激。1. 将编码制内容转换成可读内容我们可以看到源码和网页审查元素不一样,正文实际上是在 js 代码中,那么可以通过正则获取再去进行解析。from lxml import etreeimport re***text = re.findall("<script>.*?var.*?content='(<p>.*?/p>)'.*

2020-08-01 21:05:46

python爬虫之selenium 选择下拉框、类中加入线程

写在前面的话: 总结一下学到的内容,还有在做项目中遇到的问题及其解决方式。都是为了学习巩固,有什么不对的地方还希望各位大佬指正出来,不胜感激。一、在自己的类中加入线程即类中的方法进行多线程调用在写一个项目的时候使用类进行了封装,有多个类(文件),都需要调用,在调用多线程的时候加上了self总是报错,查资料后发现需要在原类中调用线程。代码去掉了一些信息(当时爬取这个网页,不同页数请求还不一样),主要是保留线程的使用方式,具体可参考 python中如何对类的成员函数开启线程?#!/usr/bin/p

2020-07-21 03:06:14

python爬虫之xpath格式转换与去除多余标签、解决部分重定向问题的方法

写在前面的话: 实习了半个多月,总结一下学到的内容,还有在做项目中遇到的问题及其解决方式。一. xpath的一些用法1. 转换格式将解析过的 xpath 转换成 HTML 字符串为什么会用到这个,是因为之前在爬取一些js包含的内容时用到了js2xml二. 数据库的连接1. 连接为了项目的维护,所以形成了加入大量异常捕捉以及打日志的习惯,便于排错。import pymysqlpymysql.install_as_MySQLdb()from Log import Loglog = Lo

2020-07-11 09:46:35

py处理并保存包含多个sheet的excel文件

py处理并保存包含多个sheet的excel文件写在前面的话: 很久之前同学要我改个excel的数据,把所有大于30000的数据变为0,但是又不会操作excel(一个文件中包含多个sheet,我也不会~),所以只能用python做数据处理了,查了一下并简单应用,记录一下,以后查阅方便。最近实习了,之后找点时间把问题总结总结,还有把毕设和之前的图像处理都总结一下,发现自己真的好菜,要补的太多了T_T用 pandas 进行处理因为要将第7,8,9列的大于30000的数据变为0,所以需要对这三列进行处

2020-07-04 11:59:51

pytorch初学笔记

pytorch学习笔记(一) 写在前面的话: 要做图像处理,肯定得用到深度学习框架,会一点tf,但是感觉是真的麻烦,所以先选择了pytorch进行学习,最苦恼的搭环境也比较容易。都用于自我复习用,非教程!!!一. GPU与CPU环境搭建1. Anaconda——最简单的配置软件下载后是python3.7版本的,自建了一个3.6的用于学习使用(目前对各种库友好一些)CPU版本直接在软件...

2020-02-01 16:40:54

anacnoda+jupyter+vscode 搭建 py, tf, dlib 多 envs

anacnoda+jupyter+vscode 搭建 py, tf, dlib 多 envs一. 安装anaconda (装最新的)二. 安装多个py版本1. 激活环境并查看信息2. 创建python3.6版本三. 安装`tf(CPU)`和`dlib`四. jupyter多环境1. 第一种方法2. 第二种方法3. 查看`jupyter `五. vscode多环境六. 可能遇到的问题1. 在`cmd...

2020-01-11 15:36:55

爬虫之 JS(返回非 json 数据)的爬取

爬虫之 JS(返回非 json 数据)的爬取写在前面的话: 查资料,看到常用浏览器的 user-agent 参考对照表,因为之前爬取百度文库的时候用到手机的请求头,所以就想把这些所有请求头爬下来,结果遇到一系列问题,进而解决,从而记录下来。一. 爬取内容常用浏览器(PC,移动)的 user-agent简介:该对照表整理了时下流行的浏览器User-Agent大全,User Agent也简称...

2019-05-08 00:35:02

爬虫之 scrapy 框架总结

写在前面的话: 最近重新学了一下scrapy框架,之前没学好,现在总结一下…以便以后重装不需要重新找资料一. 安装需要三个库 lxml, twist, pywin32 一般前两个都有pip install pypiwin32 (有whl文件)如果有问题输入下面这句pip install -I cryptography二. 文件类型1. items.py 存放数据模型三个...

2019-05-06 14:04:48

机器学习之概率密度估计

写在前面的话: 本文简述概率密度估计的方法以及代码实现,其中包括 极大似然估计 和 非参数方法, 非参数方法包括 parzen窗 和 knn(k近邻)算法。注意,重点不是推导过程,而是最最最基本的实现方法!代码是用python,老师给的是.mat文件,本意是matlab,奈何我没好好学。代码也不够简单,欢迎批评。都是手动实现,knn用集成库也实现了一下,确实简单粗暴。在文末会放入几篇个人认为比较...

2019-03-13 22:48:46

数字图像处理python基础 (二)

python图像处理基础(二)写在前面的话: 方便以后查文档,且这篇文章会随着学习一直更(因为还有opencv还没怎么学,目前是一些基本的操作)。都是跟着学习资料巩固的,只供学习使用。这一篇分为俩部分—— 边缘提取 与 形态学处理第一部分—— 图像分割 (边缘提取)阈值分割、边缘分割、基于区域的分割、Hough变换阈值分割 二值化from PIL import Imageimpor...

2019-01-24 09:25:58

数字图像处理python基础 (一)

python图像处理基础(一)写在前面的话: 方便以后查文档,且这篇文章会随着学习一直更(因为还有opencv还没怎么学,目前是一些基本的操作)。都是跟着学习资料巩固的,只供学习使用。第一部分—— 图像基本操作缩略图、截图、部分变换、旋转、图像转换为数组进行操作读取图片及灰度图from PIL import Image #导入PIL库的Image类import matplotl...

2019-01-23 17:21:05

机器学习之随机森林、GBDT、Xgboost

随机森林 与 Xgboost一. 决策树——有监督学习二. 随机森林概要:主要是基本概念与实现方法,便于回顾使用一. 决策树——有监督学习决策树: 从根节点到叶子节点 (节点),既可以做分类,也可以做回归,所有的数据最终都会落在叶子节点,决策树学习采用的是自顶向下的递归方法,以信息熵为度量构造一棵熵值下降最快的树,到叶子节点处的熵值为零,此时每个叶节点中的实例属于同一类树的组成: 根节点,...

2019-01-21 22:36:05

混淆矩阵、AUC与ROC曲线及代码实现

一. 混淆矩阵 Confusion Matrix Predict True False Real True True Positive False Positive False False Negative True Negative 准确率 (Accuracy) acc=TP+TNT...

2019-01-21 11:28:56

机器学习之回归

线性回归与逻辑回归一. 线性回归 (Linear model)1. 引入2. 损失函数3. 梯度下降4. 最小二乘法5. 拟合问题二. 逻辑斯特回归1. logistic回归2. 逻辑斯特回归假设3. 岭回归三. 参考链接一. 线性回归 (Linear model)1. 引入分类中最直白的就是二分类,而且为线性可分。就以房价预测为例,价格的变动与面积,房间个数有关,那么写出其基本形式:hθ(...

2019-01-19 19:49:12

机器学习之HMM

ARIMA 模型概念概念AR (p):auto regressive,自回归,p为自回归项数;I(d):integrateed,d为使之成为平稳序列所做的差分次数(阶数);MA(q):moving average,滑动平均,q为滑动平均项数;...

2019-01-18 15:59:13

机器学习之SVM

SVM 支持向量机基本概念1. 什么是SVM2. 为什么引入SVM写在前面得话: 本文都属于个人在学习过程中的笔记以及加上自己理解,如果有不正确的地方欢迎指出批评。基本概念1. 什么是SVM支持向量机(Support Vector Machine, SVM)是一类二元分类得线性分类器。2. 为什么引入SVM...

2019-01-18 12:04:32

车牌定位(四)

python手动实现车牌定位(四)获取所有灰度图片获取所有车牌区域写在前面的话: 这篇文章是将之前的所有整合到一起,对一组图片进行系统的比较分析,判断其处理过程及结果的可行性与准确性。获取所有灰度图片def get_imlist(path): path_list = [os.path.join(path,f) for f in os.listdir(path) if f.endswi...

2019-01-17 13:04:43

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 新人勋章
    新人勋章
    用户发布第一条blink获赞超过3个即可获得
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 分享小兵
    分享小兵
    成功上传3个资源即可获取