续汉冕-CSDN博客

原创自定义UDF完成稀疏矩阵在Pyspark和Java的交互运算

目录背景具体步骤1. 数据准备2.自定义UDF2.1 添加依赖2.2 参数格式要求2.3 完整Java代码3. 上传jar文件4. 在pyspark中调用UDF背景最近有个项目需求，要根据hive表内存储的稀疏矩阵数据，提取一些算法的运算结果。分布式的工具自然选择pyspark了，毕竟对python很熟，但是算法的代码是Java写的，只能自己将其打包为UDF在pyspark调用了，所以就研究了...

2019-05-22 15:16:26 605 1

原创 Centos7 安装Postgresql10.5和PostGIS

Centos7 安装Postgres10.5和PostGIS又安装了一次Postgres，每次安装总会出一些莫名其妙的问题，这次给记录下来系统：Centos7.4安装Postgres10.51.首先安装PostgreSQL的rpmyum install https://download.postgresql.org/pub/repos/yum/10/redh...

2018-08-14 12:57:25 9358 1

原创 PostGIS快速导入大量点空间数据及最近邻要素跨表查询

PostGIS快速导入空间数据及最近邻要素查询其实实现的就是两个功能，一个是导入坐标点数据，一个是为坐标点空间数据跨表找到它最近邻的要素，功能上说多难其实也不是很难，关键是摊上了一个数据量大的特点，为了尽可能地节省时间，光是数据导入方式我就研究了三种。环境：centos7.1，Python3.5.2，Postgres10.3处理器双E5，内存128GPostGIS快速导入空间...

2018-03-10 13:02:46 4736 3

原创利用geopandas包对PostGIS数据库插入地理空间数据及性能对比

最近在使用Python中的geopandas包操作地理空间数据，由于数据量过大采用PostgreSQL中的PostGIS进行管理操作，最后查到了一些资料代码插入数据库，国内网上没有相关内容，这里分享一下，自己以后也需要对大批量数据操作，这里对比下不同数据量下的插入性能。环境：笔记本windows7 64位（内存8G） Python 3.5.2（Anaconda3）PostgreSQL ...

2018-01-29 22:27:03 3923 1

原创高德地图机器学习岗位面试问题

高德地图机器学习岗位面试问题今年8月底校招找同学内推阿里高德地图部门的机器学习岗位，经历了三次专业面试和hr面试，分享被问的问题，可能还有些问题遗漏了。一面主成分分析方法的原理，会不会推导L1和L2正则化的区别讲解下集成方法boosting、bagging、stacking讲解下随机森林的原理以及boostrap思想机器学习中过拟合的解决方法讲解自己做的机器学习项目给一个整数n，如何以

2017-10-23 16:54:25 3696 1

原创 Python3 Anaconda3下import cv2错误解决方案

Python3 Anaconda3下import cv2错误解决方案Python3 Anaconda3 下import cv2错误解决方案，本地环境如下：Windows7 64位python3.5.2opencv-python 3.3.0前言在上述环境中import cv2时，显示”ImportError: DLL load failed: 找不到指定的模块”，于是去网上搜索了下答案，看到的

2017-09-17 12:14:06 11783 3

原创 openlayers与echarts3的结合使用

OpenLayers 是一个专为Web GIS 客户端开发提供的JavaScript 类库包，用于实现标准格式发布的地图数据访问，echarts是百度的开源js图表库，下面简单讲解下如何在openlayers的地图‘贴’上echarts的图表。示例下载地址:开始首先在html界面上添加两个div，一个装载地图，一个装载表格：div id="map">div>div i

2017-03-06 20:42:04 11380 7

原创 OpenLayer3自定义测量控件 MeasureTool

OpenLayer3自定义测量控件 MeasureTool一直苦恼于OpenLayer3没有现成的测量工具，看了歪果仁做的图层控件，于是自己结合了官网上的measure实例和歪果仁的模板鼓捣出了一个测量工具控件。下载地址：https://github.com/giser-yugang/ol3-measuretool描述基于Openlayers3所做的自定义控件，支持测量距离（l

2016-12-20 16:53:41 4354 3

原创将Mongodb中NumberLong类型转String类型方法

将Mongodb中Numberlong类型转String类型方法本文介绍将.CSV文件数据导入到Mongodb数据库后，Numberlong类型数据如何转换为String类型数据。电脑配置：windows7 64位 Mongodb：3.2. 电脑配置：windows7 64位引言本意是将其他处得来的数据导入到mongodb中，经过摸索也成功使用.csv文件将其导

2016-12-12 19:14:26 26973 8

原创 Wampserver如何在重装系统后恢复使用（简便）

Wampserver重装系统后恢复使用（简便）注明：该恢复使用方法必须建立在安装路径非系统盘，若为系统盘则此法无效。若无心思看前缀可直接跳到步骤环境：windows7 64 位wampserver版本：3.0.4 apache2.4.18 mysql5.7.11 php5.6.19-7.0.4前述最近由于个人原因导致电脑出现故障，不得不重装电脑系统，自然在装

2016-11-19 22:49:49 3795

原创 echarts3生成关系网络关系力向图

echarts3生成关系网络关系力向图力引导布局是模拟弹簧电荷模型在每两个节点之间添加一个斥力，每条边的两个节点之间添加一个引力，每次迭代节点会在各个斥力和引力的作用下移动位置，多次迭代后节点会静止在一个受力平衡的位置，达到整个模型的能量最小化。力引导布局的结果有良好的对称性和局部聚合性，也比较美观，我们也常常用来模拟人物关系等。echarts3相比于之前的版本有着不小的变化，其生成力向图

2016-10-28 12:14:17 28963 29

原创移动应用地图工具包WhirlyGlobe-Maply新建android项目

WhirlyGlobe-Maply是一个基于OpenGL ES、专注移动应用的开源地图工具包，支持ios和android平台，本文以android平台为例。环境：windows7 64位，Androidstudio 1.2.2，WhirlyGlobe-Maply（下载地址）打开Androidstudio，新建一个名为“HelloEarth”的项目：选择SDK 选择空的activity 保持默

2016-08-03 14:09:59 1848

原创 Oracle Spatial 12C GeoRaster导入影像栅格数据并显示

看了几天Oracle的英文文档都要吐了，网上资源也少得出奇，总算是皇天不负有心人，至少结果还是出来了。环境：windows 7 64位，Oracle 12.0.1.2.0（下载地址），GEORASTERETL工具（下载地址），GEORASTERVIEWER（下载地址）我的安装顺序：Oracle 12.0.1.2.0->GEORASTERETL工具->GEORASTERVIEWER; Or

2016-07-19 14:40:12 2477 3

原创优化range双滑块及单选开关按钮

我们知道html5+CSS3的出现为前端开发人员省去了许多功夫，但人总是追求尽善尽美，html5默认的一些控件还是无法达到我们的要求，这次为大家介绍如何优化range为双滑块及美化单选开关按钮。工具：webstrom10.0 ，jQuery， jRange（https://github.com/nitinhayaran/jRange）， Bootstrap 开关控件（http://www.

2016-06-30 18:35:48 3238 1

原创 phpstorm表单递交post出错get正确的解决方法

好吧，这是我第二次因为这个问题搞得凌晨才睡觉，这次一定要记录下来！phpstorm版本2016.1.1问题详细描述：在html写好表单之后以post方式递交给php文件，返回结果在谷歌浏览器是“Automatically populating $HTTP_RAW_POST_DATA…”错误，在其他浏览器是弹出404 not found ，但是采用get方式递交时有没有报错。在网上找了很久有个解释是p

2016-05-28 02:38:23 8290 7

原创使用Arcgis API for android加载OpenStreetMap底图并完成定位

为了完成这个应用功能花了三天，代码倒不多就是比较坑！环境：Android SDK API 22，Android Studio 1.2.2，arcgis android SDK 10.2.7如何基于Arcgis API for android在Android Studio新建一个项目就不再赘述了，大家可以参考以下网址：使用Android Studio与Arcgis and

2016-04-06 11:17:14 5198 19

原创解决thinkpad维持“正在关机”及“启动PWMTR64V.DLL时出现问题”

第一次写博客，标记下解决方法，问题如图系统是windows7 64位，应该是今天安装了邮政储蓄网银插件的问题首先参照网友所述卸载联想的电源管理器，但是由于卸载不完全，重新启动后又出现“启动PWMTR64V.DLL时出现问题”手工删除方法：按windows+R键，运行输入msconfig回车，打开系统配置实用程序，在启动项目中查找一个名为“PWMTR64V.DLL”，如果有将它前

2016-02-02 00:55:37 19936 1