wld的博客

原创 个人选择黑苹果配置--中端机

黑苹果中端机配置：CPU：i5 9600K （6核6线程）主板：华硕、技嘉 Z390系列 （如果不超频，CPU就不带K，而主板就用B360M）内存：金士顿 DDR4 3200 16GB(8G×2)显卡： RX 580（蓝宝石、微星）SSD：三星 512GB M.2接口(NVMe协议) 970 PRO（MZ-V7P512BW）或者：西部数据 500GB M.2接口(NVMe协议) Black系列-游戏高性能版方案（支持超频）：CPU：i5 9600K主板：...

原创 个人资料收集

numpy教程Python之numpy教程（一）：基础概念Python之numpy教程（二）：运算、索引、切片Python之numpy教程（三）：转置、乘积、通用函数Python之numpy教程（四）：数据处理、绘图、数据统计分析Python之numpy教程（五）：筛选、排序、集合函数、读取存入数据pandas教程Python 数据科学入门教程：PandasPand...

转载 数据处理：1 用pandas处理大型csv文件 2 使用Pandas分块处理大文件 3 分块读取

在训练机器学习模型的过程中，源数据常常不符合我们的要求。大量繁杂的数据，需要按照我们的需求进行过滤。拿到我们想要的数据格式，并建立能够反映数据间逻辑结构的数据表达形式。 最近就拿到一个小任务，需要处理70多万条数据。我们在处理CSV文件时，经常使用的大熊猫，可以帮助处理较大的CSV文件。大熊猫中处理CSV文件的函数主要为read_csv() 状语从句：to_csv()这两个，其中read...

原创 pandas read_csv 编码错误导致无法读取的问题

这是电投的一个比赛，基于大数据的汽轮机瞬态应力分析与预测首先可以看下原始数据（正确的读取模式）       一般的读取模式import numpy as npimport pandas as pdtrain_data = pd.read_csv('./data/train.csv', sep=',')train_data.head()结果是显...

转载 梯度下降算法分类总结

引言  梯度下降法 (Gradient Descent Algorithm，GD) 是为目标函数J(θ)，如代价函数(cost function), 求解全局最小值（Global Minimum）的一种迭代算法。为什么使用梯度下降法      我们使用梯度下降法最小化目标函数J(θ)。在使用梯度下降法时，首先初始化参数值，然后一直改变这些值，直到得到全局最小值。其中，我们计算在每次迭代时计算代价函...

转载 pandas与numpy数据结构

Pandas是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据（panel da...

转载 pip --upgrade批量更新过期的python库

今天看了下系统环境，不少python库都有了更新，再用旧版本库可能已经不适合了，就想把所有的库都更新到最新版本。查看系统里过期的python库，可以用pip命令1pip list  #列出所有安装的库1pip list --outdated #列出所有过期的库对于列出的过期库，pip也提供了更新的命令1pip install --upgrade 库名 但此命令不支持全局全部库升级。在stackov...

原创 python2 python3的区别

原创 [加速]为conda添加国内镜像（三）

[加速]为conda添加国内镜像有没有觉得用conda安装包时超级慢呢？而且经常卡住，动都动不了的那种。超级尴尬了，很多时候都逼得我想za电脑~（我是个冲动的猿类）不管了，该死的default镜像用不下去了~崩溃了~换！！！百度一下！清华大学有提供镜像，而且到目前为止（2016\07\16）国内似乎仅此一家！干！贴网址 https://mirrors.tuna.tsinghua.edu.cn/he...

原创 使用conda管理python环境（一）

一、动机最近打算折腾vn.py，但只有py27版本的，因为一向习惯使用最新稳定版的，所以不得不装py27的环境，不得不说 Python的全局锁真的很烦。 身为懒癌患者，必然使用全功能的anaconda，但不想同时装py27和py35两个版本的anaconda巨无霸（同时装两个， 不知道conda是否也可以管理环境），于是选择用conda装python27的环境及一些必要的包。 弄了几天终于把办公电...

转载 conda环境（二）

Conda 环境# 创建一个名为python34的环境，指定Python版本是3.4conda create --name python34 python=3.4# 激活某个环境activate python34 # for Windowssource activate python34 # for Linux & Macdeactivate python34 # for W...

转载 xgboost 技巧

import sysimport numpyimport sklearnimport xgboostprint sys.versionprint numpy.version.versionprint sklearn.__version__print xgboost.__version# Boosting - Wisdom of the Crowd(theory)import ...

原创 windows重装系统教程

以下步骤简易安装windows操作系统一、寻找正版的windows系统软件在MSDN基本上有所有windows的软件， 链接为  https://msdn.itellyou.cn/如下图，找到win10操作系统，推荐选择windows 10 ENterprise（X64）-DVD（Chinese-Simplified）                                        ...

原创 python 基础（一）

关键字常量：TrueFalseNone对象和容器classimportfromdel   从对象中删除某些元素判断ifelifelseisinassert循环forwhilecontinuebeakpass    什么都不做，主要解决python的语义问题异常raisetryexceptfinallyas算术运算+-*/%**//比较运算>    >=<    <===!=...

转载 reshape(-1,1)什么意思 numpy.reshape

numpy.reshape(a, newshape, order='C')[source]，参数`newshape`是啥意思？ 官方文档：https://docs.scipy.org/doc/numpy/reference/generated/numpy.reshape.htmlnewshape : int or tuple of intsThe new shape should be compa...

转载 正则表达式2

正则表达式字符串格式既然我们知道正则表达式重要性，通用性。那么我们对常见格式可以了解下。一般正则表达式由：普通字符+特殊字符（元字符）一起组成的字符串。如：匹配“ab开头，后面紧跟数字字符串“ “ab\d+” 这其中ab就是普通字符，\d代表可以是0-9数字，+代表前面字符可以出现1次或以上。哈哈，看起来还真的很容易吧！正则表达式无论是普通还是扩展还是高级正则表达式。不同之处，可能在特殊字符方面有...

转载 读取大文件CSV

    read_csv中有个参数chunksize，通过指定一个chunksize分块大小来读取文件，返回的是一个可迭代的对象TextFileReader，IO Tools 举例如下：pd.readcsv 的chunksizeIn [138]: reader = pd.read_table('tmp.sv', sep='|', chunksize=4)In [139]: readerOut[13...

转载 Python中的切片操作

源连接 https://www.cnblogs.com/zhangjiansheng/p/6853640.htmlpython中的切片操作功能十分强大，通常我们利用切片来进行提取信息，进行相关的操作，下面就是一些切片的列子。列如我们从range函数1-100中取7的倍数，函数及结果如下所示：>>> for i in range(1,100)[6::7]: prin...

转载 正则表达式1

winform验证textbox只能输入数字或中文正则表达式 验证数字的正则表达式集验证数字：^[0-9]*$验证n位的数字：^\d{n}$验证至少n位数字：^\d{n,}$验证m-n位的数字：^\d{m,n}$验证零和非零开头的数字：^(0|[1-9][0-9]*)$验证有两位小数的正实数：^[0-9]+(.[0-9]{2})?$验证有1-3位小数的正实数