Doris_H_n_q-CSDN博客

原创 Python字典参数转类，类参数转字典

参数格式有时候是字典，有时候是类的形式，想要统一时，可以参考如下转变：class A(): def __init__(self): self.c = 'sxs' self.__dict__.update({"a": 1, "b": 2})if __name__ == '__main__': x = A() print(vars(x))...

2022-02-21 14:50:35 1323

原创 linux命令终端提示符显示-bash-4.2#解决问题

出现的原因是在/root下面的几个配置文件丢失，丢失文件如下：1、.bash_profile2、.bashrc以上这些文件是每个用户都必备的文件。使用以下命令从主默认文件重新拷贝一份配置信息到/root目录下cp /etc/skel/.bashrc /root/cp /etc/skel/.bash_profile /root/exit关机重启即可...

2021-12-27 16:32:47 1055

Excel文件传输import flaskfrom flask import send_file, make_responseimport flask_excelserver = flask.Flask(__name__)@server.route('/send', methods=['post', 'get'])def io_excel(): """ 数据流传输（Excel文件） :return: """ io_data = make_resp

2021-09-22 10:25:17 2837

原创 Python压缩文件夹

def zipDir(dirpath='v1.0', outFullName='v1.0.zip'): """ 压缩指定文件夹 :param dirpath: 目标文件夹路径 :param outFullName: 压缩文件保存路径+xxxx.zip :return: 无 """ with zipfile.ZipFile(outFullName, "w", zipfile.ZIP_DEFLATED) as zf: for path, .

2021-09-22 09:25:09 1003

原创 Python多进程-变量共享

一、问题描述使用多进程的时候变量无法共享，找到了如下方法，具体描述等以后继续优化本篇文章。二、代码举例import multiprocessingimport timefrom multiprocessing import Processimport flaskfrom flask import jsonifyapp = flask.Flask(__name__)@app.route('/change_show', methods=['post', 'get'])def c

2021-07-15 14:16:06 1115 1

原创 pycharm设置主题背景图片

一、操作步骤1.双击shift出现搜索框，输入：set background image；（或者通过设置路径：File | Settings | Appearance & Behavior | Appearance，选择Background Image）2.选择你喜欢的背景图片上传；3.可通过opacity控件设置透明度image：输入背景图片路径opacity: 设置透明度方框：选择图片样式...

2021-07-10 22:37:07 669 1

原创 pycharm的py文件抬头文件头模板

一、操作步骤1.菜单栏-> File -> Settings -> Editor ->FileandCodeTemplates->PythonScript；2.配置头文件内容，内容根据自己情况设置，下面有相关模板可供参考；二、模板变量 ${PROJECT_NAME} - 当前Project名称; ${NAME} - 在创建文件的对话框中指定的文件名; ${USER} - 当前用户名; ${DATE} - 当前系统日期; ...

2021-07-10 22:18:36 1364

原创 Python的word文档读取doc读取

读取doc文档：import osfrom win32com.client import Dispatchword = Dispatch('Word.Application') # 打开word应用程序# word = DispatchEx('Word.Application') # 启动独立的进程word.Visible = 0 # 后台运行,不显示word.DisplayAlerts = 0 # 不警告path=os.path.join(os.path.dir

2020-11-17 17:59:34 1230

原创 Python-定时任务APScheduler中两种调度器的区别

概述两种调度器BackgroundScheduler和BlockingScheduler的区别举例说明APScheduler是python的一个定时任务调度框架，能实现类似linux下crontab类型的任务，使用起来比较方便。它提供基于固定时间间隔、日期以及crontab配置类似的任务调度，并可以持久化任务，或将任务以daemon方式运行。from apscheduler.schedulers.blocking import BlockingSchedulerdef job():

2020-07-29 11:09:32 1835 2

原创 Python执行定时任务

1.安装APSchedulerpip install apscheduler2.举例import timefrom datetime import datetimefrom datetime import datefrom apscheduler.schedulers.blocking import BlockingSchedulerfrom time import strftime, localtimedef job(text): t = time.strftime('

2020-07-28 19:17:10 346

原创 oracle建表与MySQL建表区别

MySQL 举例CREATE TABLE spc_ajbl.gonlp_transcript ( `kid` int(11) NOT NULL PRIMARY KEY, -- COMMENT '主键' `ajbh` varchar(32), -- COMMENT '编号' `cbjgbq` int(10), -- COMMENT '结果标签' ...

2020-07-23 10:57:42 1062

原创 Windows远程连接oracle

1.下载下载对应版本：数据库11g-64位即下载11-64位版本号的instantclient（instantclient-basic-win-x86-64-11.2.0.1.0.zip）备注：测试12c数据库也可以使用11g版本的instanceOracle官网：https://www.oracle.com/database/technologies/instant-client/downloads.html2.Python连接oracle2.1.安装cx_oraclepip

2020-07-22 20:02:01 559

原创 numba基础应用

1. Numba是什么？Numba是一个库，可以在运行时将Python代码编译为本地机器指令，而不会强制大幅度的改变普通的Python代码（稍后再做说明）。翻译/魔术是使用LLVM编译器完成的，该编译器是相当活跃的开源社区开发的。Numba最初是由Continuum Analytics内部开发，此公司也开发了著名的Anaconda，但现在它是开源的。核心应用领域是math-heavy（密集数学？重型数学？）和array-oriented（面向数组）的功能，它们在本地Python中相当缓慢。想象一下，

2020-07-19 14:45:31 1000

原创 Windows环境安装MySQL并远程登录设置

1.Windows环境安装MySQL查阅：https://www.cnblogs.com/reyinever/p/8551977.htmlhttps://www.cnblogs.com/yunlongaimeng/p/12558638.html1.1. 下载下载地址：https://dev.mysql.com/downloads/mysql/下载zip的包，下载后解压：E:\mysql-5.7.20-winx641.2. 配置环境变量新建环境变量变量名：MYSQL_HOME变量值

2020-07-15 20:34:17 334

原创 python多重规则多条件字典排序

mydict = {'b':10, 'c':10, 'a':10, 'd':20}字典根据key排序>>> sorted(mydict.iteritems(), key=lambda x:x[0])[('a', 10), ('b', 10), ('c', 10), ('d', 20)]字典根据value排序>>> sorted(mydic...

2020-07-04 11:00:25 2017

原创 Linux环境MySQL安装命令

一、安装前准备：查是否已经安装过mysql：[root@localhost /]#rpm -qa | grep mysql若出现则删除：mysql-libs-5.1.73-5.el6_6.x86_64[root@localhost /]#rpm -e --nodeps mysql-libs-5.1.73-5.el6_6.x86_64再次执行查询命令，查看是否删除：[root@localhost /]#rpm -qa | grep mysql查询所有Mysql对应的文件夹[root@local

2020-07-04 10:59:40 226

原创 Linux环境Python源码安装命令

# wget https://www.python.org/ftp/python/3.6.1/Python-3.6.1.tgzmkdir -p /home/datamining/hnq/python361tar -zxvf Python-3.6.1.tgzcd Python-3.6.1# 一定要加上--with-ssl ，不然pip 报错./configure --prefix=/home/datamining/hnq/python365 --with-sslmakemake instal.

2020-07-04 10:59:27 4564

原创 Pandas组间组内分类排序抽样/rank/groupby/apply/sample/sort_values多种组合随机抽数据

举栗子test=pd.DataFrame({'a':[1,2,3,4,5,11,22],'b':[6,7,8,9,10,12,33],'c':['x','z','y','z','x','y','z']})1组间排序组间排序输出显示的是“c”列中各个类别为一个数值的形式。test['c'].rank(ascending=0,method='dense')2...

2019-12-25 19:43:44 3464

原创 pandas统计表类别个数df.value_counts()

统计数据表里某列的类别个数：value_counts()import pandas as pdimport numpy as npimport matplotlib.pyplot as plt%matplotlib inlinedf=pd.DataFrame('id'=[1,2,1,1,3,3,2,2])df['id'].value_counts()#或者比较复杂的写法df...

2019-07-05 14:48:40 25150 2

转载词频统计

词频统计：""" @file: cipin.py@Time: 2018/11/08@Author:hnq"""import os, codecsimport jiebafrom collections import Counterdef get_words(txt): seg_list = jieba.cut(txt) c = Counter() f...

2018-11-08 22:18:55 271

转载 Python与MySQL的连接

封装Python与MySQL的连接# -*- coding: UTF-8 -*-import reimport MySQLdb as mdbclass MysqldbHelper(object): """操作mysql数据库，基本方法 """ def __init__(self , host="localhost", username="root",...

2018-10-15 10:26:40 485

转载 Git版本控制：Git安装与配置

@概述Git是GitHub开源社区的版本管理系统；下载地址：https://git-scm.com/download/Git的安装：一路使用默认设置进行安装即可，最后一步时选择将GitBash添加到桌面和快速启动菜单；双击启动GitBash命令行工具； @Git的配置 GitBash启动之后，需要将GitHub注册账号时使用的用户名和邮箱进行绑定：git config --g...

2018-10-15 09:14:21 205

原创 Linux常用工具的安装

centos 安装anaconda【Centos6.5下配置anaconda3】1.确定服务器是32位的还是64位的$ file /bin/ls输出为:/bin/ls: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked(uses shared libs), for GNU/Linux ...

2018-10-11 21:29:57 288

原创 Linux命令集合

命令速查手册地址：【更加推荐】命令手册字典：http://man.linuxde.net/-------Linux常用命令100条-----------------------------------------------------------------------@日常命令cd .. // 返回上一级目录cd - // 返回上一次目录cd或cd ~ // 返回家目录cd...

2018-10-11 20:42:11 260

转载【转】使用sklearn做特征工程

逛博文看到此类干货好文章，故此转载原博主博文共同学习。转文：https://www.cnblogs.com/jasonfreak/p/5448385.html----------------------------------------------------------------------------------------------------------------使用s...

2018-09-24 22:02:28 204

转载【转】sklearn.feature_selection特征选择

sklearn.feature_selection模块的作用是feature selection，而不是feature extraction。Univariate feature selection：单变量的特征选择单变量特征选择的原理是分别单独的计算每个变量的某个统计指标，根据该指标来判断哪些指标重要。剔除那些不重要的指标。 sklearn.feature_selectio...

2018-09-24 21:32:15 614

原创 PCA降维实例[GridSearchCV求最优参]

降维概念机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维向量表达，通常y的维度小于x的维度（当然提高维度也是可以的）。f可能是显式的或隐式的、线性的或非线性的。目前大部分降维算法处理向量表达...

2018-09-22 17:37:23 1929

原创 ROC受试曲线AUC[TPR/ FPR/截断点/StratifiedKFold/KFold]

概念ROC和AUC定义 ROC全称是“受试者工作特征”（Receiver Operating Characteristic）。ROC曲线的面积就是AUC（Area Under the Curve）。AUC用于衡量“二分类问题”机器学习算法性能（泛化能力）。计算ROC需要知道的关键概念首先，解释几个二分类问题中常用的概念：True Positive, Fal...

2018-09-22 13:21:53 4755

转载【转】分类/回归模型评估—ROC,AUC,RMSE等指标/调参—Grid Search

看到此篇文章内容干货较多，转载过来学习。链接：https://www.52ml.net/20410.html参考：https://blog.csdn.net/shenxiaoming77/article/details/72626218https://blog.csdn.net/pacosonswjtu/article/details/56871762模型评估的方法 ...

2018-09-22 12:31:40 4673

原创线性回归[求W/中心化/标准差]

使用最小二乘法求解回归系数W:求解W:[对W求导，当导数为零时，平方误差最小，此时W=]参数：class sklearn.linear_model.LinearRegression(fit_intercept=True, normalize=False, copy_X=True, n_jobs=1)fit_intercept：布尔型，默认为true说明：是否对训练数据进...

2018-09-22 09:42:08 2863

原创 SVM[sklearn.svm/SVC/SVR/拉格朗日乘子法]

支持向量机SVM（Support Vector Machine）【关键词】支持向量，最大几何间隔，拉格朗日乘子法一、支持向量机的原理Support Vector Machine。支持向量机，其含义是通过支持向量运算的分类器。其中“机”的意思是机器，可以理解为分类器。那么什么是支持向量呢？在求解的过程中，会发现只根据部分数据就可以确定分类器，这些数据称为支持向量。见下图，在一个二维环...

2018-09-21 19:07:27 2194

原创 K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]

K均值算法（K-means）聚类【关键词】K个种子，均值一、K-means算法原理聚类的概念：一种无监督的学习，事先不知道类别，自动将相似的对象归到同一个簇中。K-Means算法是一种聚类分析（cluster analysis）的算法，其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法。K-Means算法主要解决的问题如下图所示。我们可以看到，在图的左边有一些...

2018-09-20 23:10:44 6085 2

原创决策树[sklearn.tree/DecisionTreeClassifier/scatter/np.meshgrid/np.concatenate/Kfold/Cross-validation]

决策树概念举栗子import numpy as np引入数据：s= '''在1948年，香农引入了信息熵，将其定义为离散随机事件出现的概率，一个系统越是有序，信息熵就越低，反之一个系统越是混乱，它的信息熵就越高。所以信息熵可以被认为是系统有序化程度的一个度量。'''s_l = list(s)len(s_l)Out：93# 打乱顺序index = np.arange(...

2018-09-20 19:43:06 1191

原创朴素贝叶斯分类算法[sklearn.naive_bayes/GaussianNB/MultinomialNB/BernoulliNB]

朴素贝叶斯举栗子1'''另一个例子，现分别有 A、B 两个容器，在容器 A 里分别有 7 个红球和 3 个白球，在容器 B 里有 1 个红球和 9 个白球，现已知从这两个容器里任意抽出了一个球，且是红球，问这个红球是来自容器 A 的概率是多少?假设已经抽出红球为事件 B，选中容器 A 为事件 A，则有：P(B) = 8/20，P(A) = 1/2，P(B|A) = 7/10，...

2018-09-20 14:39:02 8146

原创梯度下降

导包import numpy as npimport matplotlib.pyplot as plt%matplotlib inline构建数据集# 定义函数# f(x) = x**4 + x**3 + 5f = lambda x:x**4 + x**3 + 5x = np.linspace(-10,10,200)y = f(x)绘制图形plt.plot(...

2018-09-20 11:18:40 192

原创逻辑斯蒂回归分类算法[sklearn.linear_model/LogisticRegression/最大似然/梯度下降]

【关键词】Logistics函数，最大似然估计，梯度下降法1、Logistics回归的原理利用Logistics回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归” 一词源于最佳拟合，表示要找到最佳拟合参数集。训练分类器时的做法就是寻找最佳拟合参数，使用的是最优化算法。接下来介绍这个二值型输出分类器的数学原理Logistic Regressi...

2018-09-20 09:50:40 1768

转载【转】L1正则化和L2正则化的理解

转：https://blog.csdn.net/fisherming/article/details/79492602一、奥卡姆剃刀(Occam's razor)原理：在所有可能选择的模型中，我们应选择能够很好的解释数据，并且十分简单的模型。从贝叶斯的角度来看，正则项对应于模型的先验概率。可以假设复杂模型有较小的先验概率，简单模型有较大的先验概率。二、正则化项...

2018-09-20 08:52:05 503

转载【转】数据处理——One-Hot Encoding

机器学习数据预处理之独热编码（One-Hot Encoding）来源：https://blog.csdn.net/dulingtingzi/article/details/51374487https://www.cnblogs.com/haobang008/p/5911466.htmlhttps://blog.csdn.net/pipisorry/article/details/...

2018-09-17 22:37:06 290

转载【转】语言模型的基本概念

语言模型的基本概念转载于：https://www.cnblogs.com/Dream-Fish/p/3963028.html 本文介绍一下有关语言模型的基本概念，但是在介绍语言模型之前，先简单回顾一下自然语言处理这个大问题吧。现在自然语言处理的研究绝对是一个非常火热的方向，主要是被当前的互联网发展所带动起来的。在互联网上充斥着大量的信息，主要是文字方面的信息，对这些信息的处理离不开自...

2018-09-17 17:29:05 417

转载【转】梯度下降法与反向传播

一、梯度下降法1.什么是梯度下降法顺着梯度下滑，找到最陡的方向，迈一小步，然后再找当前位，置最陡的下山方向，再迈一小步… 通过比较以上两个图，可以会发现，由于初始值的不同，会得到两个不同的极小值，所以权重初始值的设定也是十分重要的，通常的把W全部设置为0很容易掉到局部最优解，一般可以按照高斯分布的方式分配初始值。 2.有两种计算梯度的方法：（1）慢一些但是简单一些...

2018-09-17 17:20:48 279

空空如也

空空如也