- 博客(17)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 google s2 java开发文档
最近需要做运营商信号地图，需要检索某一区域用户上报的信号质量问题，所以需要用到空间检索能力，经过调研，geohash和google s2都可以实现相关的能力，但是geohash只有12级别，无法做细粒度的索引，google s2有30level，针对1公里甚至1cm都可以做索引，最终选择google s2 的level12 13 14三个级别作为索引。根据坐标建立cell,level选择13级别，覆盖范围1平方公里。import com.google.common.geometry.*;doubl
2020-07-17 17:24:36
1975
1
原创 记录一次spark本地运行时的org.apache.hadoop.io.nativeio.NativeIO问题
最近换了新的电脑，好久不用的win10系统，安装了maven，jdk，idea之后，从git上下载了代码库，希望可以本地调试运行spark代码，安装好系统环境后，代码可以运行起来了，代码就是很简单的将系统字符存储到当前文件中，代码如下：def main(args :Array[String]) :Unit = { val sparkConf = new SparkConf().setAppName("ArgsDemo") val sparkSession = SparkSe...
2020-06-19 14:34:10
296
原创 xgboost在spark集群使用指南
1.maven环境配置<dependency> <groupId>ml.dmlc</groupId> <artifactId>xgboost4j</artifactId> <version>0.90</version></dependency><dependency> <groupId>ml.dmlc</groupId> <
2020-05-11 11:44:16
2056
1
原创 geotools之jts使用指南
最近项目中遇到了需要将很多小的多边形合并成一个大多边形的场景，经过调研，可以使用的方法有两种，一种是geotools，一种是postgis数据库，因为是业务场景中使用，并且可能会有其他业务需求，所以采用强大的工具类库geotools，本文主要讲解geotools使用方法，首先需要引入官方仓库源：<repositories> <repository> &l...
2020-04-17 23:42:30
1394
原创 停车预测未来展望
真值： 车流信息获取，某一区域开始导航数量，结束导航数量 作为停车容易、停车难的真值 用户反馈信息，正负样本比例适中 对于中心城区，这种方式比较好特征： 用户 家和公司、常住点 不同用户对待同一停车场的难易概念可能会有不同，常去的地方可能会比较熟悉，觉得好停，公司可能也会好停家和公司：用户设置数据为真值、但是会有设置地点为国贸，但是从来...
2020-04-01 18:10:04
91
原创 spark采用foreach方法向下游写数据导致mysql报警问题记录
为了统计数据库中某一字段动态变化量，采用定时采集数据的方式，每半小时采集一次动态数据，每天统一汇总推送到hadoop文件系统中，每月采用spark分布式计算动态数据的变化规律，并写入数据库中，以便监控数据库中数据变化趋势。 但是在写入数据的过程中，采用调用下游接口的方式，利用spark针对rdd的foreach方式写入，代码如下： 但是，在写入过程中，数据库瞬时qp...
2020-03-31 10:13:23
269
原创 如何判断一个点是否在多边形之内
背景： 在做POI特征处理的过程中，需要用到环路特征，即计算某一个POI点是否在已经圈定好的环路之内，地图环路信息在百度地图虎鲸数据管理平台手动绘制，平台地址http://lbsyun.baidu.com/data/v4/mydata#/?_k=r4a0r6，那么，我们现在面临的问题是，如何判断某一个点(比如百度大厦)是否在五环内？问题： 我们所圈定的环路是一个不规则的多边形...
2019-12-27 17:08:46
469
原创 MacOS平台上编译 hadoop 3.1.2 源码 cmake no matching function for call to 'getgrouplist'问题解决
在编码过程中遇到的问题总结：问题1 ：cmake 函数库变更引起的问题：问题描述：[WARNING] /Users/wyx/Downloads/hadoop-rel-release-3.1.1/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-nodemanager/src/main/nativ...
2019-08-24 17:08:05
610
原创 mac 环境下 hadoop与spark环境搭建
环境搭建想必之前搭建Hadoop环境的Windows系统的相对繁琐步骤，Mac下显得简单不少。虽然我们需要搭建的是Spark环境，但是因为Spark依赖了Hadoop的HDFS以及YARN计算框架，当然还有类似软件包管理软件。安装前必备操作系统：Mac OS XJDK：1.8.0_192命令终端：iTerm2（Mac自带的命令终端也一样）软件包管理工具：brew安装Hado...
2019-08-22 18:01:05
235
原创 python向influxdb写入数据
python版本：3.6influxdb版本：1.5.2使用python的influxdb库插入数据from influxdb import InfluxDBClientclass TestInflux(object): """ Attributes: """ def __init__(self): self.influx_cli...
2019-07-09 11:11:38
3566
原创 mac系统 使用tsung测试openfire服务器
1.在系统中安装tsung brew install tsung 2.利用jabber_register.xml在openfire上面注册用户 找到/usr/local/Cellar/tsung/1.6.0/share/doc/example/jabber_register.xml 拷贝到~/.tsung/tsung.xml，修改tsung.xml如下：
2016-07-29 11:37:01
1218
原创 openfire好友管理
一、用户添加删除好友是发送Presence包，由PresenceSubscribeHandler和IQRosterHandler处理Friends
2016-07-22 14:59:10
442
原创 openfire presence研究
当有客户端的状态更新时都会给服务器发送presence消息，从而触发PresenceUpdateHandler中的process方法，此方法首先判断presence包中的type，分为以下几种方案： 1.type为空 说明是第一次发送状态消息， 首先，服务器调用broadcastUpdate方法广播该消息给所有的好友，由于我们项目中不需要了解用户的在
2016-07-14 21:08:37
1443
原创 局部敏感哈希(local sensitive hash,LSH)
高维数据检索（high-dimentional retrieval)是一个有挑战的任务。对于给定的待检索数据（query），对数据库中的数据逐一进行相似度比较是不现实的，它将耗费大量的时间和空间。这里我们面对的问题主要有两个，第一，两个高维向量的相似度比较，第二，数据库中庞大的数据量。最终检索的复杂度是由这两点共同决定的。 针对第一点，人们开发出很多hash算法，对原高维数据降维。针
2013-03-20 21:31:46
1518
原创 如何在matlab中做出标签页的效果
我们经常需要在matlab上做一个上面的标签效果，推荐使用一个matlab的控件TabPanel Constructor，下载地址是http://www.mathworks.com/matlabcentral/fileexchange/6996-tabpanel-constructor-v2-8-2010，最新版本V2.8。 使用方法如下： 1.首先建立
2013-03-10 11:30:38
4147
4
原创 在linux下python安装rpy2 包
1.按照上一篇文档安装python，pip等2.下载R文件到本地，编译 R 时需要指定 --enable-R-shlib wget http://ftp.ctex.org/mirrors/CRAN/src/base/R-2/R-2.11.1.tar.gztar xvfz R-2.11.1.tar.gzcd R-2.11.1.tar.gz./configure --prefix
2013-01-09 16:41:24
6069
原创 windows XP下安装Python2.7及其安装包的方法
1、下载安装 Pythonpython-2.7.2.msi http://www.python.org/download/因为python的download有敏感的关键字，所以被中国给和谐了。但是python有个秘密的ftp，可以在这里下载：http://www.python.org/ftp/python/2、下载 setuptools在http://pyp
2013-01-09 10:35:08
7637
1
java调用ocx的jacob包
2013-08-15
用两个栈实现一个队列的功能
2012-08-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人