weixin_42850424的博客

原创 机器学习算法：唐老师1.1决策树算法

树模型决策树：从根节点开始一步步走到叶子节点（决策）所有的数据最终都会落到叶子节点，既可以做分类也可以做回归树的组成根节点：第一个选择点非叶子节点与分支：中间过程叶子节点：最终的决策结果决策树的训练与测试训练阶段：从给定的训练集构造出来一棵树（从跟节点开始选择特征， 如何进行特征切分）测试阶段：根据构造出来的树模型从上到下去走一遍就好了一旦构造好了决策树，那么分类或者预测任务就很简单了，只需要走一遍 就可以了，那么难点就在于如何构造出来一颗树，这就没那么容易了，需 要考虑的问题还有很多的

原创 数据分析师：2.1peewee模块写入数据库

初始化数据库并设计模型class 模型名称(Model) -> 一个class就是一张表from peewee import SqliteDatabasefrom peewee import Modelfrom peewee import CharField,DateField,ForeignKeyFielddb = SqliteDatabase('people.db')class Person(Model): name = CharField() birthday =

原创 数据分析师：2.0peewee读取数据库数据

ORM(Object-Relational Mapping) 对象关系映射• 关系型数据库与Python代码之间做映射• 不需要直接写SQL语句• 通常以面向对象(Object-Oriented,OO)的形式对数据进行封装及交互安装模块pip install peewee

原创 数据分析师-Python金融数据分析课程高戈老师

基本面数据分析、行情数据分析、量化策略课程学习目标强化python数据分析能力• 数据整理 – pandas• 数据分析 –alphalens了解金融学理论与实践• 金融市场知识• 投资的理论基础• 案例练习金融数据分析流程1.确定研究对象确定研究哪些指标，需要获取哪些数 据。如：股票价格、股票收益率、盈 利指标2.获取数据通过数据接口（如：wind、ricequant、yahoo finance、fred 或公司内部的数据库）获取数据3.数据整理处理缺失值、数据标准化处

原创 数据分析师1.4量化交易策略的回测方法和技巧

1、具体流程1。利用Python编写好策略，选择选好的股票池。2。设置开始和结束的时间点，然后设定资金池3。通过股票池和日期获得股票数据，然后按照设定的间隔，比如每天/每 分钟调用回测函数。4。下单后，交易软件处理交易。5。绘制图表显示回测结果6。回测结束后，画出收益和基准收益曲线，列出每日持仓，每日交易和一 些列风险数据。风险指标学习...

原创 数据分析师1.4量化交易策略的更多技术指标选股技巧

量化交易中的KDJ指标1、KDJ基本概念随机指标(KDJ)又被称为随机指数(The Random Index),是一种用来分析 市场中超买和超卖现象的指标，最早用于期货市场，后来在股票分析中被投 资者广泛使用。从交易原理来看，KDJ指标是建立在W%R(威廉指标)基础之上。威廉指标的计算首先选定一个特定的时间跨度（比如14天），然后找出 这个特定区间内的最高价和最低价，构成一个价格变化区间，然后分析这一 时间跨度最后一个时间点的收盘价和期间最高价最低价的相对位置。2、KDJ基本概念事实上，KDJ指

原创 数据分析师1.3量化交易策略的技术指标选股技巧

1、什么是量化择时所谓量化择时，就是利用数量化的方法，通过各种技术手段进行量化分 析，找出自选股中股票的买入和卖出时间点。目前应用在股市的技术分析 指标有几百种，本章选取集中常见的多种指标进行计算原理的介绍和常见 买卖点解析。K线图介绍1、K线起源K线起源于17世纪日本德川幕府时代，18世纪，日本技术分析中的重要 人物本间宗久在进行大米期货交易时，记录并研究大米期货的历史价格信息， 同时将战争的策略应用于商场上的交易，在这一过程中发展出来的交易策略 逐步演变成为今日用于技术分析的K线形态研究学。19

原创 数据分析师1.2量化交易策略的基本面选股技巧

1、什么是量化选股所谓量化选股就是利用选择多个股票的方式组成一个组合包，并期望该组合包中的股票可以 获得超过基准收益率的投资行为。总体来说量化选股分为基本面选股和技术面选股。实际投资时，往往先利用基本面先选出要操作的股票，并加入自选股中，然后利用技术面来 确定交易时机，即根据技术判断来确定何时买入，何时加仓，何时减仓，何时全部卖出。成长类因子选股技巧1、营业收入同比增长率选股营业收入，是指在一定时间内销售商品和劳务所得的货币收入。营业收入同比增长率，是指在一定期内获得的营业收入和上年同期收入 的

原创 数据分析师1.1量化交易系统介绍

量化交易系统是什么1、什么是量化交易量化交易是指投资者利用计算机技术，金融工程建模等方法，对自己的 交易策略进行定义和表述，以帮助投资者形成交易决策，并且严格按照设 定的规则去执行交易（买入，卖出）的一种方法。2、量化交易和算法交易在当前的金融市场中，听到“算法交易”的次数可能比听到“量化交易” 的次数多，一般来讲，这两种说法可以相互替换。不过算法交易通常更偏向于高度自动化的交易。在本章节中所讲的量化交易，不仅包括算法交易，也包括自动化程度不 算高和交易频率也不是很高的其他交易。3、量化交易和

原创 学习笔记：python数据分析：10.数据就该这么玩2.2

安装财经数据接口模块pip install lxmlpip install tushare读取沪深300成分及权重import tushare as tsstock_df = ts.get_hs300s() # 读取沪深300成分及权重print(stock_df)运行结果：date code name weight0 2020-07-31 600000 浦发银行 0.731 2020-07-31 600004 白云机场 0.092 2

原创 网络蜘蛛：8.Selenium 爬取淘宝商品实战

Selenium安装pip install seleniumpip install pyquery自动运行浏览器from selenium import webdriverbrowser = webdriver.Chrome('D:\APP\chromedriver.exe')browser.get("https://www.baidu.com/s?wd=python")...

原创 学习笔记：网络机器人7.1Scrapy实战 ——爬取新闻

新建项目scrapy startproject newsitems.py打开scrapy框架自动创建的items.pyitems.py修改items.py定义spider在项目根目录运行命令行命令（注意是否已经cd news进入到项目根目录）：scrapy genspider news163 news.163.com...

原创 学习笔记：网络机器人6.1 python使用you-get爬取网站视频

1. 下载安装you-get模块（以windows系统为例）：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple you-get2. 指令：you-get -i [URL]视频基础信息介绍，用来展示集中不同的清晰度you-get -i https://www.bilibili.com/video/av801289953. 指令 you-get -o/-O指定输出文件夹（-o）和文件名字（-O）you-get -o C:\Users

原创 学习笔记：网络机器人：7.0Scrapy

引擎(Scrapy Engine)调度器(Scheduler)下载器(Downloader)蜘蛛(Spiders)项目管道(Item Pipeline)爬取流程针对每个URL, Scheduler->Downloader->Spider->如果返回的是新的URL, 就会返回Scheduler如果是需要保存的数据, 则会被放到item pipeline里面Wi...

原创 学习笔记：网络机器人6.0python爬取多类型音乐步骤详解

目标网址：酷狗音乐-谁伴我闯荡爬虫逻辑：【找到要获取特定音乐的url】>>>【找到该资源链接的url】>>>【封装获取音乐的函数】>>>【封装下载音乐的函数】注意：这两个获取url的顺序是和之前获取url的过程是反过来的，以往是获取外部页面的url后进入内部页面的url，然后再获取该页面的信息。但是下载音乐（定向爬取数据），首先是要确定获取音乐的url（通过浏览器输入后点击可以直接播放–内部页面数据），然后再找其上一层的url（资源链接的url

原创 学习笔记：网络机器人5.1JSON解析之爬取腾讯新闻

1. 寻找json接口在目标页面点击鼠标右键进行’检查’，然后选择’Network’，再点击’网页刷新’按钮，接着在右下区域内弹出的内容上选择具有pull_url标识的文件，最后点击’Preview’选项即可。https://news.qq.com/比如就以当前这个页面来看，获取这个json的接口就是点击’Preview’旁边的’Headers’，选择’Request URL:'后面的网址，就为请求数据的接口。如下Request URL:https://i.match.qq.com/ninja/f

原创 学习笔记：网络机器人5.0JSON格式数据基础

概念JSON(JavaScript Object Notation, JS 对象简谱) 是一种轻量级的数据交换格 式。它基于 ECMAScript (欧洲计算机协会制定的js规范)的一个子集，采用完 全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。 易于人阅读和编写，同时也易于机器解析和 生成，并有效地提升网络传输效率。{“a”: 1, “b”: [1, 2, 3]}数组转化为JSONimport json # 导入json包data =

原创 学习笔记：网络机器人:4.0.Python获取图片

目标网址：全景网山水壁纸网页分析还是和之前爬取文字信息一致，需要进行网页信息的解析，获得图片数据所在的地址，然后进行图片的下载分析网页后发现所需要的图片的url在【a.item.lazy img】中封装第一个函数，获取图片的url首先是导入相关的库，然后进行函数的编写，这里的第一个函数的内容和之前的几乎一样import requestsfrom bs4 import BeautifulSoupfrom uuid import uuid1import osdef get_image

原创 学习笔记：网络机器人：3.1实习僧网站信息

https://www.shixiseng.com/interns?page=1&keyword=python实战解析步骤一、建立for循环爬取前20页的内容首先、查看翻页URL的信息，找规律发现只有page=后面的数值是不一样的，所以构造for循环（先获取少一点的页面），如下import requests # 导入网络请求模块from bs4 import Beautif...

原创 学习笔记：网络机器人1.前端入门

爬虫是在互联网是执行的程序。最大的网络是万维网www，我们的爬虫只是参与其中很小的一部分爬虫本质上就是HTTP客户端请求。爬虫怎么做？1.找到URL2.构造请求包（headers，cookies，data）3.发送请求，接收响应4.数据清洗，提取需要信息爬虫工具1.发起请求 requests2.处理响应 bs4 xpath re3.存储数据 本地存储，数据库存储pip install requestspip install bs4网页三剑客HTML CSS JavaScr

原创 pygame游戏一

第一个pygame程序import pygame, sys # 导入pygame和sys模块from pygame.locals import * # 导入pygame局部变量pygame.init() # pygame所有模块初始化DISPLAYSURF = pygame.display.set_mode((400, 300)) # 设置屏幕长和宽值pygame.display.set_caption('Hello Pygame World!') # 设置pygame程序的标题wh

原创 学习笔记：python数据分析：9.数据就该这么玩2.1

安装scikit-learnpip install scikit-learn直接load_iris()即可获取自带数据from sklearn import datasets # 导入数据集iris = datasets.load_iris() # 直接load_iris()即可获取自带数据print(iris)数据切分from sklearn import datasets # 导入数据集from sklearn import svmfrom sklearn.model_se

原创 学习笔记：python数据分析：8.数据就该这么玩1.1

根据电影ID在douban_movie_data找出电影名和评分可以构造为一个函数来调用函数构造，根据电影ID返回电影名和评分def get_movie_name_and_score(movie_id): movie_link = 'https://movie.douban.com/subject/{}/'.format(movie_id) search_result = movie_data[movie_data['链接']==movie_link].iloc[0] movi

原创 学习笔记：python数据分析：7.数据就该这么玩1.0

利用Python读取SQLite数据import sqlite3 # 导入SQLite3数据库模块import pandas as pd # 导入pandas模块conn = sqlite3.connect('douban_comment_data.db') # 连接数据库comment_data = pd.read_sql_query('select * from comment;',conn) # 读取数据print(comment_data) # 输出数据统计各个电影的评论数

原创 学习笔记：python数据分析：6.Python + PyEcharts——数据可视化（下）

饼图Piefrom pyecharts.charts import Pie # 导入pyecharts图表模块的饼图from pyecharts.faker import Faker # 导入pyecharts随机虚构数据模块from pyecharts import options as opts # 导入图表配置模块pie = Pie()pie.add("", [list(z) for z in zip(Faker.choose(), Faker.values())])pie.

原创 学习笔记：python数据分析：5.Python + PyEcharts——数据可视化（上）

为什么用Pyecharts与Echarts结合与Web端结合超强交互性国人开发的项目安装Pyechartspip install pyecharts图表绘制流程chart_name = 图表类型() 初始化具体类型图表。chart_name.add_xaxis() 添加横坐标名称。chart_name.add_yaxis() 添加纵坐标数据。chart_name.render() 生成 .html 文件。新建一个Python文件导入pyecharts模块及随机虚构数据模块f

原创 学习笔记：python数据分析：4.Pandas数据合并、文件存取

两个DataFrame进行合并import pandas as pd # 导入pandas模块book_name = pd.DataFrame({ 'book_name':['a','b','c','d','e','f'], 'book_id':[11,22,33,44,55,66]})id_rating = pd.DataFrame({ 'book_id':[11,22,22,44,55,66,33,11], 'rating':[

原创 学习笔记：python数据分析：3.Pandas数据结构DataFrame

创建一个DataFrame类型的数据import pandas as pd # 导入pandas模块dict_data = { "student":['lilei','hanmeimei','madongmei'], "score":[98,85,100], "gender":['M','F','F']} # 字典data = pd.DataFrame(dict_data) # 创建一个DataFrame类型的数据print(data) # 输出数据指定Dat

原创 学习笔记：python数据分析：2.Pandas数据结构Series

安装Pandaspip install pandas创建一个Series类型的数据import pandas as pd # 导入pandas模块data = pd.Series([1,3,5,7]) # 创建一个Series类型的数据print(data) # 输出数据Series()里直接填一个由数字组成的列表import pandas as pd # 导入pandas模块list_data = [1,3,5,7] # 把列表赋给一个变量data = pd.Serie

原创 学习笔记：python数据分析：1.Numpy基础 及基本应用

数据分析基础数组的概念数据处理的一般流程数据收集-数据预处理-数据处理-数据展示数据收集的方法网络爬虫公开数据集其它途径收集的数据数据预处理方法4. 归一化5. 二值化6. 维度变换7. 去重8. 无效数据过滤数据处理方法9. 数据排序10. 数据查找11. 数据统计分析数据展示方法列表图表动态交互图形安装Numpypip install numpy新建一个Python文件import numpy as np # 导入numpy模块导入Num

原创 学习笔记：网络机器人3.0最简单的网络机器人

利用request输出首页内容import requests # 导入网络请求模块headers = {"User-Agent":"xxx"} # 定制请求头html = requests.get('http://xiaohua.zol.com.cn/lengxiaohua/1.html',headers = headers) # 找到网址，get请求print(html....

原创 学习笔记：网络机器人2.3正则表达式

Python中的正则表达式match 从头匹配search 全局匹配group 获取内容findall 匹配全部re.S 匹配换行符re.I 不区分大小写惰性匹配就是匹配文本第一次结束，后边还有一样的也不去匹配了import re # 导入正则表达式模块text = 'hellohellohello' # 定义字符串r = re.compile('h.*?o',...

原创 学习笔记：网络机器人2.1BeautifulSoup解析

import requestsfrom bs4 import BeautifulSoupheaders={ 'Cookie':'xxx', 'User-Agent':'xxx'}url = 'https://www.baidu.com/s?wd=python'html = requests.get(url,headers=headers)html.encoding='...

原创 学习笔记：网络机器人2.0request请求初探

requests模块import requestsurl = 'https://blog.csdn.net/weixin_42850424'html = requests.get(url)print(html.text)params加参数import requests#https://www.baidu.com/?tn=44004473_2_oem_dgparams = {'...

原创 模块二：Python实现办公自动化

原创 30利用Python读取邮件

读取keyring密码import osos.chdir("D:\\shiyan\\OFFICE\\Email")import keyringpassword = keyring.get_password("yagmail","[email protected]")print(password)读取邮件对于163、126邮箱，需要提前设置一下网址：https://config....

原创 26python编程实现PPT文档内容样式批量调整

文本框样式的调整import osos.chdir("D:\\shiyan\\OFFICE\\5. PPT")from pptx import Presentationfrom pptx.enum.text import MSO_ANCHOR,MSO_AUTO_SIZEfrom pptx.util import Cmfrom pptx.dml.color import RGBColor...

原创 25利用python向PPT文档中写入内容

幻灯片的母版行及占位符添加Slide和内容查看母版信息from pptx import Presentationprs = Presentation("奖学金证书模板.pptx")slide = prs.slides.add_slide(prs.slide_layouts[0])for shape in slide.placeholders: phf = shape.placeho...

原创 24Python读取PPT文档内容

pip install python-pptxPPT结构主要四部分：Slide、Shape、Paragraph和Run获取slide.slide 得到一个列表，包含每一个slidefrom pptx import Presentationprs = Presentation("demo.pptx")for slide in prs.slides: print(slide)...

原创 20python编程实现Word文档内容样式批量调整

对文字字体样式进行修改run.font.样式 = xxximport osos.chdir('D:\\shiyan')from docx import Documentfrom docx.shared import Pt, RGBColorfrom docx.oxml.ns import qndoc = Document('这是一个文档.docx')for paragraph ...