- 博客(35)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 利用百度地图api抓取POI点（上海公交站）
1.功能描述从百度地图api抓取POI点（上海）2.代码import pandas as pdimport requestsimport jsonimport numpy as npimport requestsurl = "http://api.map.baidu.com/place/v2/search?query=公交车站®ion=嘉定区&" \ "output=json&ak=KpPZdbZn9sGqSDZKSIyKki5O4sf7
2020-10-14 21:51:39
1078
原创 【记录】调取百度地图API获取东京机场群距离
一、需求描述输入信息：机场名字、经纬度返回：机场间的路径距离矩阵（非直线距离）。二、代码import pandas as pdimport requestsimport jsondf = pd.read_excel(r'东京城市群机场9_ss.xlsx')import numpy as npimport requestsnum = 8;#东京是9个distance_channel = np.zeros((num,num))for i in range(num):
2020-10-12 14:11:16
299
原创 用pandas的stack注意问题：改行索引
1.python无法读取shp文件——要把所有文件都拷过来，不能把shp文件单独放进来啊~参考：https://gis.stackexchange.com/questions/262505/python-cant-read-shapefile
2020-09-07 19:43:13
290
原创 基于anaconda的geopandas安装
这个包是在是太难装了，折腾了一天？？？最后参考以下文章解决，记录一下（用了方法3pip安装）geopandas安装心得（win10） - 软绵绵的大橘子的文章 - 知乎 https://zhuanlan.zhihu.com/p/137628480
2020-09-07 09:44:53
2123
8
原创 数据挖掘课堂笔记1
什么是数据挖掘？数据挖掘任务：预测＋描述性的图：监督对应预测性的；描述性的对应非监督分类--预测；聚类--描述；关联规则--描述；序列模式发现--跟关联规则很像--描述；回归--预测；奇异值检测--描述，预测。分类：预测，所以训练集（+验证集）+测试集验证集：实验室环境下的测试集。聚类：和分类最大是区别，没有分类标签。相似度度量，距离（欧氏距离等）...
2020-03-06 20:28:54
184
原创 用python进行数据分析——第七章：数据规整化、清洗、转化、合并、重塑【3】：数据转换
数据转换移除重复数据duplicated、drop_duplicates、利用函数和映射进行数据转换map替换值replace重命名轴索引.index.maprename——data.rename(index={'OHIO':'FHDJ'},columns={‘fdjh’:'fhdhgj'})离散化和面元划分pd.cut、pd.qcut>...
2020-02-21 18:49:37
284
原创 SQL教程4：函数
SQL AVG 函数例子 1现在，我们希望计算 "OrderPrice" 字段的平均值。我们使用如下 SQL 语句：SELECT AVG(OrderPrice) AS OrderAverage FROM Orders结果集类似这样： OrderAverage 950 例子 2现在，我们希望找到 OrderPrice 值高于 O...
2020-02-06 20:23:27
270
原创 SQL教程3：高级教程2
SQL CREATE INDEX 语句CREATE INDEX 实例本例会创建一个简单的索引，名为 "PersonIndex"，在 Person 表的 LastName 列：CREATE INDEX PersonIndexON Person (LastName) 如果您希望以降序索引某个列中的值，您可以在列名称之后添加保留字DESC：CREATE INDEX ...
2020-02-05 21:55:50
161
原创 SQL教程2：高级教程1
SQL TOP 子句TOP 子句用于规定要返回的记录的数目。对于拥有数千条记录的大型表来说，TOP 子句是非常有用的。注释：并非所有的数据库系统都支持 TOP 子句。MySQL 语法SELECT column_name(s)FROM table_nameLIMIT number例子SELECT *FROM PersonsLIMIT 5...
2020-02-05 21:55:17
211
原创 SQL笔记1：基础教程
SQL语法SQL 对大小写不敏感。SQL 语句后面的分号某些数据库系统要求在每条 SQL 命令的末端使用分号。在我们的教程中不使用分号SQL DML 和 DDL可以把 SQL 分为两个部分：数据操作语言 (DML) 和 数据定义语言 (DDL)。查询和更新指令构成了 SQL 的 DML 部分：SELECT- 从数据库表中获取数据 UPDATE- 更新数据库表中...
2020-02-02 10:55:47
353
原创 KNN分类原理
原文链接：https://zhuanlan.zhihu.com/p/22345658kNN 可以用来进行分类或者回归，大致方法基本相同，本篇文章将主要介绍使用 kNN 进行分类。K:邻居数量1.距离函数：最常用L2距离，即欧氏距离。标准化：要对距离标准化（归一化）2.概率KNN定义：可有时我们并不想知道一个确切地分类，而想知道它属于某个分类的概率是多大。这只兔...
2020-01-04 16:00:55
375
原创 【python】book爬虫、数据清洗与可视化实战2
import requestsimport timeimport pandas as pd# 加载pymongo库iimport pymongo#建立连接client = pymongo.MongoClient('localhost',27017)# 在MongoDB中新建名为weather的数据库book_weather=client['weather']# 在weathe...
2019-12-08 21:56:11
333
原创 Python网络数据采集--第二章
from urllib.request import urlopenfrom bs4 import BeautifulSoup##2.1#我们可以抓出整个页面，然后创建一个BeautifulSoup 对象html = urlopen("http://www.pythonscraping.com/pages/warandpeace.html")bsopj = BeautifulSoup(...
2019-11-05 09:50:35
172
原创 小甲鱼爬虫2——隐藏
代理：本节代码~：import urllib.requestimport urllib.parseimport jsonimport randomurl = 'http://ip.chinaz.com/getip.aspx'iplist = ["118.144.149.206:3128","27.208.25.59:8060","117.191.11.10...
2019-06-04 19:09:54
2149
原创 【小甲鱼】爬虫1
练习：import urllib.requestresponse = urllib.request.urlopen("http://www.fishc.com")html = response.read()html = html.decode("utf-8")print(html)
2019-06-01 15:17:43
735
原创 NIK插件-托马斯教程1-color efex pro 4
0.define2：在camera raw中颜色降噪默认，在define2里全局降噪就不用颜色降噪了，但是局部降噪可选颜色和控制点。1.输入输出锐化：一般在camera里习惯性锐化25%，所以不用输入锐化插件；操作过程中用out锐化插件中创意锐化(输出锐化归零)＋蒙版局部锐化。如何用输出锐化，盖印图层→设置图片大小（图像→图像大小→宽度2000像素）→输出锐化选项（注意此时创意锐化归零控制...
2019-04-20 10:22:16
3931
原创 【arcgis】1.空间数据采集
1.添加底图：文件-添加数据-添加底图2.缩放至合适大小3.链接文件夹，创建文件：在文件夹上右键新建-shapefile4.确定参考系：投影坐标系-UTM-WGS1984-northern...-WGS84 UTM ZONE50N6.同理，继续添加线要素和面要素7.右下角创建要素，开始编辑：在空地先把编辑器召唤出来，把想要的点都点上，线（双击原点完成编辑）、面同理-保存编辑内容...
2019-04-17 15:52:22
1622
原创 【python小甲鱼7】文件
def file_write(file_name): f = open(file_name,'w') print('请输入内容【单独输入\':w\'保存退出】:') while True: write_some = input() if write_some != ':w': f.write('%s\n' ...
2018-10-30 12:36:56
378
原创 【python小甲鱼6】集合
用{}括起来的，没有映射关系的，就是集合。集合的特点：1.元素唯一。num = {4,1,2,3,4,2,4,2}print(num)#运行结果为{1, 2, 3, 4}2.无序。eg:num[2]就会报错。 创建集合：1.直接把一堆数用{}括起来。2.工厂函数set().3.创建不可变集合frozenset()....
2018-10-29 19:46:35
130
原创 【python小甲鱼5】字典
字典{}；元组（）；列表[]。字典的key和value值既可以是整型，也可以是字符串类型 。创建字典：fromkeys()、访问字典：keys(),values(),items(),get()修改字典：get(),a=b和a=b.copy()的区别啊！！...
2018-10-29 09:55:57
119
原创 【python小甲鱼4】函数——递归
def digui(n): if n==1: return 1 if n ==2: return 1 else: return digui(n-1)+digui(n-2)print(digui(10))
2018-10-28 19:08:23
241
原创 【python小甲鱼3】函数——lambda、filter、map函数
g = lambda x:2*x+6print(g(1))1.lambda函数2.filter函数#过滤器filter(None,[0,None,1,True])print(list(filter(None,[0,None,1,True])))#结果为[1, True]temp = range(10)print(list(filter(lambda x:x%2,t...
2018-10-28 15:48:37
104
原创 【python小甲鱼1】序列
#1list-把。。。变成列表[]a = list()print(a)b = 'I LOVE WANGDI'#序列b = list(b)print(b)c = (1,1,2,3,5,8,13,21,34)#这是元组哦c = list(c)#把元组变成列表了print(c)#2tuple——把一个可迭代对象变成元组tuple(c)print(c)#3max、min——返回...
2018-10-28 10:46:26
142
原创 【python】案例实战：使用sklearn构造决策树模型
import matplotlib.pyplot as pltimport pandas as pdfrom sklearn.datasets.california_housing import fetch_california_housinghousing = fetch_california_housing()print(housing.DESCR)print(housing....
2018-08-06 17:05:24
3774
转载 Python: sklearn库中数据预处理函数fit_transform()和transform()的区别
原帖：https://blog.csdn.net/quiet_girl/article/details/72517053敲《Python机器学习及实践》上的code的时候，对于数据预处理中涉及到的fit_transform()函数和transform()函数之间的区别很模糊，查阅了很多资料，这里整理一下： 涉及到这两个函数的代码如下： # 从sklearn.pre...
2018-07-21 16:34:45
1988
原创 数据挖掘导论笔记2--第3章：探索数据
名词解释：1.多元汇总统计（协方差矩阵、相关性矩阵）：2.百分位数图、经验累积分布图3.平行坐标系为了避免线交叉太多，图形变得模糊不清，要将交叉多的那个属性放在最左边。4.维归约、转轴5.上卷和下钻与聚集的区别6....
2018-06-09 14:26:39
451
1
原创 数据挖掘导论笔记1——第二章：数据
鲁棒算法--有噪声也可以产生可接受的结果。使用【特征、变量】替代【属性】。数据预处理1.特征子集选择2.特征提取：由原始数据创建新的特征集。3.特征构造：由一个或者多个原始特征构造新的特征。4.二元化5.非监督离散化6.监督离散化...
2018-06-03 17:20:13
932
原创 vissim交通仿真实验（2）--十字信号交叉口
1.导入底图并设置比例尺：1.1view-background-edit,选择JPG，再点击显示整个地图按钮。再打开这个对话框，在图上选择4个车道，然后将其宽度设为14米即可。1.2保存：保存工程文件，保存在刚刚的文件夹下；保存底图配置文件，view-background--parameters，在点save即可。这之后会生成一个.bgr文件，下一次在加载同一背景图片时，一定保证这
2018-02-02 23:00:15
18717
2
原创 vissim交通仿真实验（1）--仿真基础
1.移动路网位置：按住shift在移动鼠标2.改变路段属性：双击3.改动路段上的车流量：在车流输入状态下双击路段；若删除，弹出对话框后右键最左侧的黑色小三角既有选项。（默认的交通构成是98%小汽车和2%的大车）4.设置仿真速度：目的获得仿真形成的交通参数时，将速度设的大一点max；目的观察效果，将速度设的小一点5. 3D仿真：view--3Dmodel,左侧旋转按钮可实现
2018-01-27 17:28:43
15977
1
原创 多元数据分析降维方法--非线性方法（多位标度分析）--（《多元数据分析（2012）》笔记）
概念：具体地说,多维标度法是以多绍研究对象之间某种亲近关系为依据(如距离、相似系数，亲疏程度的分类情况等)，合理地将研究对象(样品或变量)在低维空间中给出标度或位置，以便全面而又直观地再现原始各研究对象之间的关系，同时在此基础上也可按对象点之间距离的远近实现对样品的分类。与聚类对比：聚类以谱系图的方式将高维样本归到一维谱系中，这种简化可能会导致数据失真，故聚类结果具有一定主观性。多位标度分析将数据
2018-01-18 21:22:27
2657
转载 Matlab中pdist 函数详解(各种距离的生成)
pdistPairwise distance between pairs of objectsSyntaxD = pdist(X)D = pdist(X,distance)DescriptionD = pdist(X)计算 X 中各对行向量的相互距离(X是一个m-by-n的矩阵). 这里 D 要特别注意，D 是一个长为m(m–1)/2的行向量.可以这样理解 D 的生成：首先生成一个 X 的距离方阵
2018-01-18 21:21:04
1160
原创 多元数据降维方法--线性方法--《多元数据分析（2012）》笔记3
线性方法：多元特征选择和多元特征转换方法（又可分为主成分分析和因子分析）1.主成分分析法适用于：原始数据之间存在较高的相关性，变量之间相关性越强，则原始数据之间存在非常大的冗余。主成分分析在MATLAB中实现：princomp(需提供原始数据集)、pcacov(需提供样本数据间的协方差和相关系数)。实现：X = 3+randn(30,1);%randn(30,1)表示随机产生30*1的正太矩阵。
2018-01-16 22:59:07
2541
原创 多元数据分布——以及在MATLAB中的相关函数（《多元数据分析2012》笔记（2））
对应单变量数据分布的二项分布、正态分布、beta分布，多元数据有多项式分布、dirichlet分布。1.多元正态分布的相关函数：随机产生多元正态分布的矩阵：mvnrnd；计算多元正态概率密度函数：mvnpdf；计算多元正态分布的累计分布：mvncdf；mu = [0,0];sigma = [0.25 0.3;0.3 1];x1 = -3:0.2:3;x2 = -3:0.2
2018-01-13 17:34:25
2366
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人