- 博客(43)
- 收藏
- 关注
RSS订阅原创 微软开源时空预测Fost的使用和解读
时空预测是指对未知系统状态在时间和空间上的预测，它是地球系统科学、交通运输、智慧城市等领域的重要技术和工具。时空预测的目的是利用历史数据和当前信息，通过建立时空依赖关系，来推断未来的变化趋势和可能的情景。时空预测的应用价值非常巨大，它可以帮助人们提前了解和应对各种自然灾害、社会危机、经济波动等问题，从而提高决策效率和社会福祉。时空预测面临着许多挑战和问题，主要包括以下几个方面：一是数据的高度非线性和复杂性。
2024-01-07 20:10:05
989
原创 利用wenda实现本地多模态数据的知识获取和推理
近年来，大型语言模型（LLM）技术取得了令人瞩目的进展，为自然语言处理领域带来了巨大的变革，但是大多数LLM都面临着领域适应性的问题，因为它们使用的数据都是公开的数据，在国内，有很多数据是受到部门保密或隐私限制的。因此，针对特定环境的内容生成是LLM应用中的一个重要方向，实现这一目标，主要有以下几种方法：全量微调、lora微调和LLM模型外挂知识库方法。和。
2023-05-02 19:43:21
5094
6
原创 训练第一个MMClassification模型
MMClassification的项目结如图所示，截图来自openmmlab的B站官方。不仅是MMClassification，openmmlab的其他工具包也是同样的项目结构。
2022-09-08 22:07:42
971
3
原创 Arcgis小工具_实现重叠分析
需求：两个矢量文件，当A与B有重叠（包括相交和包含）面积时，赋予B某些A的字段。要点：用到了arcpy的几何模块。坑点：写arcgis脚本的编码方式最好为ASCII（可使用notepad++转换），且中文使用XX.decode('utf-8')转换。"""Created on Fri Aug 14 17:34:37 2020@author: zonggongban HGH"""import arcpy"""接收脚本输入"""ds0 = arcpy.GetParameterAs
2020-08-16 21:10:24
2507
原创 arcmap下的多进程脚本
问题：python多进程无法正常在arcmap下正常开启原因：arcmap下信息处理时，调用的时内置的py内核，但是一个arcmap进程只能调用一个py内核。解决：使用外置的py内核，为保证兼容性，用2.7X 32位，必须把工作代码跟main函数分开。实例代码：# -*- coding: utf-8 -*-"""Created on Thu Mar 12 19:12:59 2020...
2020-04-10 16:07:07
618
2
原创 geopandas中文乱码
gppandas利用对shp文件读写后，在写入shp时要用 encoding = 'gb18030'对文件进行编码data.to_file(r'更新后的三调图斑.shp', encoding = 'gb18030')
2020-03-27 17:14:15
2576
4
原创 从mask-rcnn到shp
最近做一个图斑识别的项目，要从mask转到shp文件，花了几周时间整理了以下代码，从shape转json的coco数据集代码以后再整理。代码# -*- coding: utf-8 -*-"""Created on Mon Jan 20 16:15:37 2020@author: hgh"""import geopandas as gpfrom shapely.geometry ...
2020-01-23 11:14:35
490
2
原创 detectron2，手把手教你训练mask_rcnn
弄了好几个月，现在终于能训练自己的数据了。首先cuda 10.2PyTorch 1.3.1labelme 3.18.0安装PyTorch和labelme 直接 anaconda下面pip就好，之所以不用conda，是因为使用conda下PyTorch不能使用cuda，pip会帮你安装cudatoolkit=10.2。1、使用labelme整理数据1.1使用下面代码重命名图片文件，显...
2020-01-07 13:01:27
9257
8
原创 利用opencv读取图片，重命名。
# -*- coding: utf-8 -*-"""Spyder Editorhgh"""import osimport cv2path_img = r'/images'dirs = os.listdir(path_img)os.chdir(path_img)try: os.mkdir('rename')except: passcount = 0...
2020-01-03 12:19:11
1686
原创 安装cuda10.2下paddlepaddle的安装
win10下pytorch是支持cuda10.2的，但是百度的paddlepaddle非得是cuda10，安装的时候会有下面两个错误。cublas64_100.dll not found.cudnn64_7.dll not found.对于问题一，我们可以更改C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\bin路径下的cu...
2019-12-21 20:44:26
2007
3
原创 arcgis填坑_4
记录两个事件当中的问题读取文件数据并利用xlwt写入xls*前，要用u'{}'.format(x)进行格式转换。arcgis中python2.7脚本文件格式必须为gb2312，才能够正常进行中文信息的处理，此时可利用notepad进行py文件编码格式转换。...
2019-11-08 16:58:21
138
原创 pytorch下tensorboard可视化深坑
看pytorch可视化的时候碰到这样的问题，没办法打开tensorboard，显示No dashboards are active for the current data set.，经过多方查找，可以用一下方式解决。使用打开Anconda Prompt，并cd到/runs/文件夹下。教程是tensorboard --logdir=runs，但是这样没办法打开tensorboard，会显示*...
2019-10-17 11:02:14
323
原创 地理时空大数据和深度学习的合作
笔者数学系出身，在某单位从事空间数据分析，在这里仅仅一个深度学习菜鸟的角度，谈一谈（copy ）深度学习下的空间数据分析。空间数据分析中常见的栅格数据的本质跟普通计算机视觉分析的图片数据相同，所以在计算机视觉上常用的算法都可以在栅格数据分析中使用。目标检测有时候我们需要在栅格数据中分析或者找出一个特定图斑、建筑，目标检测算法可以实现图像分类获取图像并预测图像中的目标，而目标检测不仅预测目标，...
2019-10-07 16:19:32
2938
1
原创 python下xlsxwriter与pandas的办公自动化 v20191022
写个脚本实现自动化办公，主要参看xlsxwriter文档原始表格如下我们需要添加表格标题和添加图片，为重复利用脚本，写为函数。# -*- coding: utf-8 -*-"""Created on Mon Sep 30 11:07:03 2019@author: hgh"""'''data 数据workbook 工作表worksheetname 工作簿Merged_C...
2019-09-30 16:40:14
607
原创 一些pandas的备忘
对比两个DataFrameimport pandas as pdimport numpy as npnp.random.seed(0)df1 = pd.DataFrame(np.random.randint(1, 4, (10, 2)))df2 = pd.DataFrame(np.random.randint(1, 2, (10, 2)))df1 = df2 res ...
2019-09-27 17:57:32
802
转载 训练分类器
进行一下学习的记录，对自己不懂的地方加以注释。参考pytorch中文教程1.加载并标准化CIFAR10使用torchvision加载CIFAR10超级简单。import torchimport torchvision #torchvision是独立于pytorch的关于图像操作的一些方便工具库。import torchvision.transforms as transforms #...
2019-09-18 10:51:15
501
原创 空间点模式方法_一阶效应和二阶效应
本文参考（抄）自王远飞的《空间数据分析方法》数学上，一阶效应与i版用点过程密度 λ(s) ~\lambda (s)~ λ(s) 描述，它是指在点 s ~s~ s 处单位面积内事件的平均数目（P.J. Diggle, 1983）。用数学极限公式可以定义为λ(s)=limds→0{E(Y(ds))ds}\lamb...
2019-09-06 10:20:38
2567
原创 Sturges规则
设计数据分类时，其基本技术时Sturges规则：分类的数量为xxx介于2n<x<2n+12^n<x<2^{n+1}2n<x<2n+1。例如美国有五十个州，设计分类时25<50<26+12^5<50<2^{6+1}25<50<26+1，分类数量为 5 到 6 个。...
2019-08-29 15:28:52
795
原创 arcgis填坑_3
通过sql表达式选出需要更改字段的值# -*- coding: utf-8 -*-"""Created on Tue Aug 6 12:23:36 2019@author: hgh"""import arcpyimport osfc = arcpy.GetParameterAsText(0)fc = u'{}'.format(fc)arcpy.env.workspace ...
2019-08-22 09:11:56
206
1
原创 arcgis填坑_2
更新（平移）转折点# -*- coding: utf-8 -*-"""Created on Tue Aug 6 12:23:36 2019@author: hgh"""import arcpyimport sysarcpy_path = [r'F:\arc\Desktop10.7\arcpy', r'F:\arc\Desktop10.7\bin',...
2019-08-13 09:07:27
208
原创 arcgis填坑_1
读取点跟面的转折点，写入txt。# -*- coding: utf-8 -*-"""Created on Tue Aug 6 12:23:36 2019@author: hgh"""import arcpydef polygonsave2txt(fc, outfc): fclist = fc.split('\\') arcpy.env.workspace = ...
2019-08-13 09:04:23
177
原创 arcgis填坑_0
入了arcgis的坑，py2.7的ascii问题把我搞得快死了。。。。。。。写了一个能在arcgis自带环境使用的脚本，将arcgis生成的txt文件转为xls或者xlsx。# -*- coding: utf-8 -*-"""Created on Tue Aug 6 12:23:36 2019@author: hgharcgis自带的python环境没有openxl模块，导致pan...
2019-08-09 08:37:20
244
原创 基于python中sympy库的符号模型求解方法 v20190930
注：本文Anaconda的安装请参考安装教程，sympy库的基本使用可以参看sympy使用教程1和sympy使用教程2。在学习python后发现可以用sympy库进行符号计算，在毕业论文的撰写过程中也一直使用python中sympy库进行模型的求解，在网上也很少见到类似的资料，所以在这里写一个教程。一个栗子作为Stackelber博弈模型的领导者，制造商首先制定批发价格 www，随后零售商根...
2019-06-09 15:49:53
1015
1
原创 titanic的一个解法
本文参考了Titanic Data Science Solutions和第一次Kaggle项目——泰坦尼克号的思路。** 问题提出**什么样的人在泰坦尼克号中更容易存活？数据的导入与整理本文要用到的数据在Kaggle，然后利用pandas进行数据的导入。import pandas as pdtrain_df = pd.read_csv('train.csv')test_df = pd...
2019-04-06 22:49:13
181
转载 matplotlib中文显示
一个小笔记import matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei'] # 中文字体设置plt.rcParams['axes.unicode_minus'] = False
2019-03-28 17:18:49
70
翻译 Titanic Data Science Solutions
注：kaggle网站上入门的数据挖掘项目，最大推荐度的代码为(原文)，为进行机器学习、数据分析方面的学习，进行中文的整理。行文的翻译参考腾讯翻译君。泰坦尼克号数据科学解决方案这notebook是“数据科学解决方案”(DataScienceSolutions)一书的伴侣。notebook引导我们在像Kaggle这样的网站上解决数据科学竞赛的典型工作流程。有几本优秀的笔记本可以用来研究数据科学...
2019-03-19 17:04:52
681
原创 一个机器学习公司的笔试题
投了一家公司，发来一份笔试题，也就做了起来，若原公司有异议，我会及时删除。第一题：用一个你觉得效果最好的分类算法（e.g., SVM，RF，ANN，etc.）对Test1的data进行classification建模，用5-fold crossvalidation来计算预测的AUC或F-measure。若电脑计算能力不足可用3-fold。对于有些本身就含有cross validation功...
2019-03-15 18:30:25
147
转载 MYSQL学习13
MYSQL学习_CASE表达式参考MICK的SQL基础教程，进行SQL的基础学习。SELECT CASEWHEN product_type = '衣服' THEN CONCAT('A: ', product_type)WHEN product_type = '办公用品' THEN CONCAT('B: ', product_type)ELSE NULLEND AS _FROM...
2019-03-01 21:42:10
83
转载 MYSQL学习
MYSQL学习_谓词什么是谓词范围查询(`BETWEEN`)判断是否为NULL(`IS NULL`、`IS NOT NULL`)OR的简便用法(IN)参考MICK的SQL基础教程，进行SQL的基础学习。什么是谓词对通常的函数来说，返回值有可能是数字、字符串或者日期等，但是谓词的返回值全都是真值（TRUE、FALS、EUNKNOWN）。这也是谓词和函数的最大区别。SampleLike表...
2019-03-01 17:55:18
70
转载 MYSQL学习12
MYSQL学习_视图函数算术函数绝对值(`ABS`)求余(`MOD`)四舍五入(`ROUND`)字符串函数拼接(`CONCAT`)字符串长度(`LENGTH`)小写转换(`LOWER`)字符串的替换(`REPLACE`)字符串的截取(`SUBSTRING`)日期函数参考MICK的SQL基础教程，进行SQL的基础学习。函数算术函数+、-、*、/绝对值(ABS)SELECT m, A...
2019-02-25 18:29:22
66
转载 MYSQL学习10
MYSQL学习_视图创建视图子视图标量子查询参考MICK的SQL基础教程，进行SQL的基础学习。视图的优势视图无需保存数据，因此可以节省存储设备的容量。可以将频繁使用的 SELECT 语句保存成视图。视图中的数据会随着原表的变化自动更新。创建视图CREATE VIEW productsum (product_type, cnt_product) AS SELECT produc...
2019-02-24 15:32:21
72
转载 MYSQL学习9
MYSQL学习_表的增、删和更新增多种多样的SELECT语句删` DROP TABLE`和`DELETE`搜索型`DELETE`搜索型`UPDATE`参考MICK的SQL基础教程，进行SQL的基础学习。创建一个新表CREATE TABLE ProductCopy ( product_id CHAR (4) NOT NULL, product_name VARCHAR (100) NOT ...
2019-02-23 17:02:48
87
转载 MYSQL学习8
MYSQL学习_聚合与结果排序为聚合结果指定条件HAVING子句对查询结果进行排序ORDER BY子句参考MICK的SQL基础教程，进行SQL的基础学习。Product表：为聚合结果指定条件HAVING子句WHERE子句只能指定记录（行）的条件，而不能用来指定组的条件（例如，“数据行数为 2 行”或者“平均值为 500”等）。因此，对集合指定条件就需要使用其他的子句了，此时便可以用H...
2019-02-23 15:57:48
93
转载 MYSQL学习7
MYSQL学习_对表进行分组GROUP BY子句参考MICK的SQL基础教程，进行SQL的基础学习。Product表：GROUP BY子句下面，先把表分成几组，然后再进行汇总分析，按照商品种类统计数据行数SELECT product_type, COUNT(*)FROM productGROUP BY product_type使用 GROUP BY 子句时，会将表中的...
2019-02-23 14:57:31
92
转载 MYSQL学习6
MYSQL学习_对表进行聚合聚合函数计算NULL之外的数据的行数（COUNT）计算合计值(SUM)计算平均值计算最大值和最小值(MAX/MIN)使用聚合函数删除重复值（关键字DISTINCT）参考MICK的SQL基础教程，进行SQL的基础学习。Product表的内容:聚合函数符号含义COUNT计算表中的记录数（行数）SUM计算表中数值列中数据的合计值A...
2019-02-20 22:25:44
167
转载 MYSQL学习5
MYSQL学习_逻辑运算符NOT运算符AND运算符和OR运算符不确定（UNKNOWN）处理参考MICK的SQL基础教程，进行SQL的基础学习。NOT运算符Product表选取出销售单价大于等于1000日元的记录SELECT product_name, product_type, sale_priceFROM productWHERE sale_price &amp;gt;= 10...
2019-02-20 21:36:12
88
转载 MYSQL学习4
MYSQL学习_比较算术运算符比较运算符使用比较运算符对计算结果进行比较对字符串使用不等号时的注意事项Product表为：算术运算符SELECT product_name, sale_price, sale_price * 2 AS "sale_price_x2"FROM Product;结果：SQL语句中可以使用的四则运算的主要运算符含义运算符加...
2019-02-17 21:41:10
86
翻译 60分钟入门PyTorch1
什么是PyTorch？注: 本文的翻译基于PyTorch官方(1.0.0.dev20190125)，在翻译的过程中参考了(https://ptorch.com/docs/3/tensor_tutorial)入门张量Tensors类似于numpy的ndarrays，另外还可以在GPU上使用Tensors来加速计算。from __future__ import print_function...
2019-02-16 22:40:55
222
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人