流光2021-CSDN博客

原创虚拟机ubuntu如何实现与主机的复制粘贴

当虚拟机的菜单栏隐藏时，应该利用右ctrl+C键调出。然后点击设备——>安装增强功能把VBoxLinuxAdditions.run放到桌面打开终端，切换到root用户下切换到桌面路径下ls查看当前目录下的文件chmod +x +VBoxLinuxAdditions.run 将文件变成可执行状态./VBoxLinuxAdditions.run 运行文件...

2021-06-14 10:19:40 1645

第八章财政收入预测分析实训实训1 求取企业所得税各特征间的相关系数import numpy as npimport pandas as pdinputfile='./income_tax.csv'data=pd.read_csv(inputfile)print('相关系数矩阵为:',np.round(data.corr(method='pearson'),2))相关系数矩阵为: year x1 x2 x3 x4 x5 x6 x7

2021-05-05 10:11:49 4071 3

原创第七章

实训实训1 处理信用卡数据异常值1.读取信用卡数据import pandas as pddata=pd.read_csv('./credit_card.csv',encoding='gbk')print('原始数据的形状为:',data.shape)data原始数据的形状为: (65535, 28) 信用卡顾客编号申请书来源瑕疵户逾期呆账借款余额退票

2021-05-05 10:08:20 2646 1

原创第四章 pandas统计分析基础

第四章 pandas统计分析基础4.1读/写不同数据源的数据4.1.1读/写数据库数据1、数据库数据读取import MySQLdbfrom sqlalchemy import create_enginefrom sqlalchemy.orm import sessionmakerengine = create_engine("mysql+pymysql://root:[email protected]/testdb?charset=utf8mb4")session = sessionma

2021-05-05 10:06:50 6167

原创第六章使用scikit-learn构建模型

第六章使用scikit-learn构建模型任务6.1 使用sklearn转换器处理数据6.1.1 加载datasets模块中的数据集#加载breast_canser数据集from sklearn.datasets import load_breast_cancercancer=load_breast_cancer()print('breast_cancer数据集的长度为:',len(cancer))print('breast_cancer数据集的类型为:',type(cancer))br

2021-04-27 14:57:45 2287 1

原创第五章使用pandas进行数据预处理

第五章使用pandas进行数据预处理任务5.1 合并数据5.1.11堆叠合并数据1、横向堆叠#索引完全相同时的横向堆叠import numpy as npimport pandas as pdfrom sqlalchemy import create_engineconn = create_engine("mysql+pymysql://root:[email protected]/testdb?charset=utf8mb4")detail1=pd.read_sql('meal_orde

2021-04-25 15:32:58 4839 1

原创 MYSQL数据库基本操作

MYSQL数据库基本操作1、启动MYSQL2、创建数据库创建数据库的语法形式为：create database database_name;其中，“Query OK” 表示SQL语句执行成功；“1 row affected ” 表示操作只影响了数据库中一行的记录；“0.01 sec” 表示操作执行的时间。3、查看和选择数据库查看数据库的语法形式为：show databases;选择数据库的语法形式为： use database;4、删除数据库删除数据库的语法形式为：d

2021-04-20 16:29:04 92

原创第三章 Matplotlib 数据可视化基础

第三章 Matplotlib 数据可视化基础3.1掌握绘图基础语法与常用参数3.1.1掌握pypot基础语法大部分的pyplot图形绘制都遵循一个流程，使用这个流程可以完成大部分图形的绘制。pyplot基本绘图流程主要分为3个部分，如下所示。创建画布与创建子图添加画布内容保存与显示图片#pyplot中的基础绘图语法import numpy as npimport matplotlib.pyplot as plt# %matlpotlib inlinedata=np.arange(0

2021-04-20 07:44:17 2349 1

原创第二章NumPy数值计算基础

第二章 NumPy数值计算基础2.1掌握Numpy数组对象ndarray2.1.1创建数组对象2.数组创建#创建数组并查看数组属性import numpy as nparr1=np.array([1,2,3,4])print(arr1)arr2=np.array([[1,2,3,4],[5,6,7,8],[9,10,11,12]])print(arr2)print(arr2.shape)print(arr2.dtype)print(arr2.size)#重新设置数组的shape属性

2021-04-18 12:02:15 1437 2

原创 Python 数据分析概述

1、认识数据分析1.1 数据分析概念数据分析是指用适当的分析方法对收集来的大量数据进行分析，提取有用信息和形成结论，对数据加以详细研究和概括总结的过程。广义的数据挖掘包括狭义数据分析和数据挖掘。狭义的数据分析是指根据分析目的，采用对比分析、分组分析、交叉分析和回归分析等分析方法，对收集的数据进行处理与分析，提取有价值的信息，发挥数据的作用，得到一个特征统计量结果的过程。数据挖掘则是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，通过应用聚类模型、分类模型、回归和关联规则等技术，挖掘潜在价值

2021-04-17 18:38:01 2405

转载数据分析知识体系与校招时间线

一、数据分析知识体系整理1、统计学（数据分析核心理论基础之一）具体知识点：统计学两大基础定理：大数定理，中心极限定理常见分布的图像，性质与应用（ex. 正态分布，泊松分布…）假设检验 & AB测试全流程（统计学在数据分析领域中的重中之重！！）条件概率 & 贝叶斯公式排列组合（虽然是高中知识但是大厂笔试特别喜欢考这个）常用统计软件的使用（ex. SAS, SPASS etc.）推荐学习资料：浙大版《概率论与数理统计》2、SQL（结构化查询语言）数据分析最重要的

2021-04-15 18:56:41 381

原创 Python爬虫验证码识别登录

验证码识别登录获取验证码图片import requestsfrom lxml import etreeurl='https://so.gushiwen.org/user/login.aspx?from='headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko

2021-04-13 15:25:24 1247

原创数据解析（聚焦爬虫：爬取页面中指定的页面内容）

数据解析（聚焦爬虫：爬取页面中指定的页面内容）1.编码流程指定url发起请求获取响应数据数据解析持久化存储2.数据解析分类正则bs4xpath(重点）3.数据解析原理概述解析的局部的文本内容都会在便签之间或者便签对应的属性中进行存储进行指定标签的定位标签或者标签对应的属性中存储的数据进行提取（解析）4.常用正则表达式回顾单字符（.):除换行以外所有字符（[]):[aoe],[a-w] 匹配集合中任意一个字符（\d):数字 [0-9]（\D):非数字（\w

2021-04-09 09:11:32 807

原创 Python爬虫之request模块

Python爬虫之request模块定义python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。作用模拟浏览器发送请求request模块使用流程指定url发送请求获取响应数据持久化存储环境安装pip install requests实战编码需求：1、爬取搜狗首页的页面数据import requestsif __name__=="__main__": # 第一步：指定url url='https://web.sogou.com/?2199

2021-04-09 08:33:54 277

原创 Python数据挖掘：1.4预料数据化需要考虑的工作

原始语料数据化时需要考虑的工作（1）基本目的：在将语料数据化的同时尽可能地保留有效信息（2)分词：将原始文本拆分为有分析意义的最小信息单位注：中文由于信息效率太高，在这方面存在很大障碍（3）去除停用词：剔除无意义单词，减少无效信息去除空白，去除标点符号等（4）词根识别：中文不存在时态变化，基本无此问题大小写转换（5）同义词/近义词识别：很多工具都缺少这一部分功能（6）术语识别：姓名识别、地理名称识别、专有名词识别等可进一步附加术语信息，如性别、所在国家、所属亚型等。（7）情感标注（8

2020-07-14 19:48:26 206

原创 Python文本挖掘笔记：1.3文本挖掘的基本思路

文本中所蕴含信息的层次1.词条是否在文本中出现——>各种基于词袋的模型例：大鱼/吃/小雨/和/虾米/。2.词条的各种内在关联——>各种字典上位词：猫——>动物/哺乳类/有毛/宠物下位词：猫——>波斯猫/阿兹猫同义词：高兴——>开心/喜悦/欢乐/狂喜反义词：高兴——>难过/悲伤/悲痛/愤怒3.词序信息——>N-gram语言模型我喂猪 vs. 猪喂我4.语法信息——>待探索区域词性：主谓宾定状补句内语法分析句间语法分析NLP的基本思路

2020-07-14 16:29:56 312 1

原创 Python文本挖掘笔记：1.2文本挖掘的基本流程和任务

文本挖掘/NLP的基本流程1.语料获取（比如网络数据抓取、文本文件读入、图片OCR转化…)2.原始语料的数据化（比如分词、信息清理与合并、文档-词条矩阵、相关字典编制、信息的转换…）3.内在信息挖掘与展示（词云、关键词提取、自动摘要、文档聚类、情感分析、文章推荐…)常见的TM分析任务1.亚洲语言分词（及结果展示）2.自动摘要3.指定消解例：他对她说它的尾巴很短4.机器翻译5.词性标注6.主题识别7.文本分类8.语义理解TM的各种应用方向举例1.新一代搜索引擎例：某博热搜榜2

2020-07-14 15:18:14 898

原创 Python文本挖掘笔记：1.1什么是文本挖掘

1. 数据的范畴1.1数据是信息的载体是对客观事物性质、状态、相关关系等进行记载的符号组合1.2 数字、文本、图像、声音、视频等实际上都是数据(1)只不过在历史上由于手段限制，只要是对数字进行了分析和利用(2)即便是数据分析的方法论体系也要等到16世纪之后才发展起来。1.3 数据是人类文明传承的重要媒介通过对各种人类活动的数据化（比如利用语言和文字加以记录）和不断累积，文明才得以继承和发展，生产生活活动得以不断的精细化2. 非数字类数据难以利用的原因2.1难以做到定量化（1）本质是各种类

2020-07-14 13:09:09 507

原创你的金融第一课笔记（互联网金融入门）

金融的本质（1）金融是以信用体系为基础的，比如你让小明投100万，小明投，说明他信任你，他不投，说明他不信任你。（2）金融其实就是一场场生意，想学好金融，首先要先学会做生意。（3）如何理解空手套白狼（即白嫖）实质上就是资源整合，你有一个赚钱的方案，资方/客户因信任你和你的方案而投钱，你的其他顶级资源负责宣传、承销和产品架构等工作。2.交叉学科金融本身是一个交叉学科，早日确定好学习的方向，可以少走很多弯路。注：由于量化投资在预测市场方面还存在瓶颈，需要靠行为经济学进行补充。比较笼统的.

2020-07-11 17:01:14 372

原创数据库课程设计：医院信息管理系统（pycharm+MySQL)

医院信息管理系统（pycharm+MySQL)1. 利用sql语句创建数据库表科室表：包括科室编号、科室名称、科室地址、科室电话医生资料表：包括医生编号、医生姓名、职务、性别、年龄、所属科室病房资料表：包括房间号、房间地址、所属科室患者资料表：包括患者编号、患者名、性别、年龄、疾病、主治医生编号、所住病房编号、住院时间、预计出院时间护士资料表：包括护士编号、护士姓名、性别、年龄药品资料表：包括药品编号、药品名、供应商、库存、价格患者使用药品记录表：包括患者编号、药品编号、用药数量患者护理记

2020-07-09 11:56:16 18449 34

qq_44913558的博客