- 博客(29)
- 收藏
- 关注
RSS订阅原创 python multiprocessing多进程导致数据库连接不可用问题
python multiprocessing多进程导致数据库连接不可用问题问题背景产生的问题涉及的知识点psycopg2的数据库连接池进程的初始化方式问题的原因解决思路python中的id()的返回TODO:要满足多核计算、流程耗时可控、资源共享最大化。算法服务应如何实现代码附录问题背景公司的算法服务为了能够管理每次算法服务请求的计算耗时同时使算法服务能够充分利用CPU的多核处理能力，在响应算法请求时使用了pebble包中的concurrent.process注解，使每个请求的处理由单开的进程来完成，并
2022-02-27 18:23:14
2608
原创 OSM路网预处理达到连通处打断（基于QGIS）
OSM路网数据下载地址http://download.geofabrik.de/asia/china.html注意OSM对我国轮廓的界定，不符合事实，用一下部分地区的路网数据就可以了，不要用于发布加载OSM路网到QGIS对OSM路网按照layer属性切分Toolbox–>split vector layer操作界面如下（马赛克处选择自己的存储路径即可）：打开分割好的图层对同一图层内的路段按照相交点分割使用QGIS的Split with lines 工具，Input layer和
2021-08-26 15:33:00
2319
原创 基于阿里云dataworks的离线数仓流程设计与开发规范
根据我司的基于阿里云dataworks的离线数仓实践总结的各类数据开发规范。有不足的地方欢迎拍砖。数仓各种类型表说明表类型名用途命名规范事务事实表记录各业务系统的原子粒度的业务事实(例如:主数据中的线路或者站点的增删改查操作)f_{project}{原系统名称}{原业务名称}_{分区方式(day, week)}周期快照事实表/累积快照事实表记录各业务系统的固定周期/不固定周期时间内的汇总业务事实(一般是对事实做了某种统计处理, 不是最细粒度的记录)f_{project
2021-07-07 17:34:56
662
原创 mac安装homebrew
mac安装homebrew注意这里的方法可能是有时效性。2020年7月7日左右吧。我安装homebrew，按照官方的说法只要执行：/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)"但是这个域名暂时无法访问，所以需要在https://www.ipaddress.com/输入raw.githubusercontent.com查询服务器IP，结果是199.232
2020-07-07 22:36:30
237
原创 图的深度优先遍历和广度优先遍历
图的深度优先遍历和广度优先遍历算法实现原理见注释import java.util.ArrayList;import java.util.List;import java.util.Queue;import java.util.concurrent.LinkedBlockingQueue;/** * Created by yangrs on 2020/6/6. */public class GraphTraversal { public static void main(St
2020-06-06 17:23:01
191
原创 线性规划基本概念
线性规划基本概念线性规划标准型minimizecTxsubjecttoAx=bx≥0\begin{aligned} minimize & \qquad \boldsymbol c^T \boldsymbol x \\ subject\quad to&\qquad \boldsymbol A \boldsymbol x= \boldsymbol b \\ &\qq...
2019-11-30 20:21:02
1116
原创 大矩阵乘法运算
大矩阵乘法运算的问题最近在研究导航算法，涉及到一些位置之间的可达性。需要用到矩阵的传递闭包特性。所以中间需要用到很多关联矩阵的乘法运算。随着位置的数量的增多，他们的关联矩阵的尺寸会以n2n^2n2倍的速度增长。 按照矩阵乘法的运算法则，乘法运算的计算次数会以n3n^3n3倍的速度增长。所以对内存和cpu的资源占用会越来越大。所以需要有一些额外的处理来减轻计算压力。稀疏矩阵虽然位置的增多会带来...
2019-11-24 16:35:42
3677
原创 EM算法
EM算法前置知识极大似然估计功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入前置知识EM算法是一种迭代算法， 用于含...
2019-07-27 15:19:14
139
原创 Jensen不等式
Jensen不等式Jensen不等式Jensen不等式Jensen不等式是凸函数的一个性质。如果fff是凸函数，XXX是随机变量，那么：E[f(X)]>=f(E[X])E[f(X)]>=f(E[X])E[f(X)]>=f(E[X])从图片上很好理解：...
2019-07-14 20:26:40
6759
8
原创 极大似然估计
极大似然估计极大似然估计极大似然估计极大似然的思想来自于统计学界中频率主义学派（Frequentist），该学派认为参数虽然未知， 但却是客观存在的固定值。极大似然估计的做法是：根据已经存在的观测结果，得到观测结果的似然函数（出现观测结果的概率的表达式）L(Y∣θ)L(Y|\theta)L(Y∣θ)。其中YYY表示观测序列，θ\thetaθ表示要估计的参数。举个抛硬币的例子：假设一枚硬币抛出...
2019-07-14 20:21:37
228
转载 在centos7上搭建jupyter lab服务器
在centos7上搭建jupyter lab服务器转自 https://blog.csdn.net/sqq513/article/details/80028675安装jupyter lab添加远程访问jupyter notebook的功能防火墙开放8888端口关闭firewall(不推荐)安装python3.62和jupyterlab的python3解释器安装R和jupyterlab的R解释器启动...
2018-09-27 20:19:20
1371
转载 随机变量方差, 协方差, 样本方差, 协方差, 样本协方差矩阵
https://www.cnblogs.com/terencezhou/p/6235974.html
2018-09-16 17:21:37
1776
原创 postgis与geotools、qgis对应方法总结
工作中发现postgis相关文档比较清晰, 想要找到需要的方法往往比较容易. 而geotools实现某些功能没有postgis直观, 往往需要好多类协同完成. 所以有必要维护一下postgis与geotools实现某些功能时的对应方法. 持续更新. 纯手工维护, 各位大佬有什么更好的方法欢迎指导.JTS api 地址: http://locationtech.github.io/jts/j...
2018-07-02 19:32:37
2997
转载 dubbo使用logback输出日志
转自：https://blog.csdn.net/long243416336/article/details/49946833 最近在做dubbo协议扩展，发现dubbo错误信息没有打印。于是跟踪源码发现，dubbo默认使用log4j作为日志输出，而我们项目是采用logback来输出日志。采取以下方式来切换成slf4j：（1）设置jvm启动参数来指定slf4j（这种方式无论是spring...
2018-04-24 19:18:15
6726
2
转载 P、NP、NPC和NP-Hard相关概念的图形和解释
转自：https://blog.csdn.net/huang1024rui/article/details/49154507一、相关概念 P: 能在多项式时间内解决的问题 NP: 不能在多项式时间内解决或不确定能不能在多项式时间内解决，但能在多项式时间验证的问题 NPC: NP完全问题，所有NP问题在多项式时间内都能约化(Reducibility)到它的NP问题，即解...
2018-04-15 16:59:07
179
转载 为什么样本方差（sample variance）的分母是 n-1
为什么样本方差（sample variance）的分母是 n-1？ - 马同学的回答 - 知乎 https://www.zhihu.com/question/20099757/answer/312670291
2018-03-11 16:16:12
982
原创 R语言爬取网站数据（带cookies登录状态）
R语言爬取网站数据（带cookies登录状态）爬虫这种事情貌似应该用python来完成。无奈python还不太熟，只能先用R做了。其实比想象的方便一些。 需求场景如下： 从要求登录状态的网站爬取接口数据并解析返回的json数据，存入mysql数据库。这中间涉及几个问题： 发起带有正确request header的http请求(httr包)； 解析返回的json
2018-01-14 21:51:21
5821
1
原创 Dijkstra最短路径算法浅析及java实现
一直以来对于Dijkstra算法都是只知道其大致步骤，至于为什么该算法能保证找到的都是最短路径却一直似懂非懂。今天花费了半天功夫仔细思考了其中的原理，感觉有些收获。为了防止像之前一样一边捡一边丢，决定记录一下~~~问题 :设G(V,E)G(V,E)为简单无向赋权连通图， VV为其顶点集，EE为其边集。邻接矩阵记为MM, M(Vi,Vj)M(V_i,V_j)表示图中连接顶点ViV_i和 VjV_j的边
2017-10-29 15:05:25
826
原创 mybatis操作mariadb驱动的mysql批量插入报错java.nio.BufferOverflowException: null
mybatis操作mariadb驱动的mysql批量插入报错java.nio.BufferOverflowException: null业务中需要定期向数据库中写入统计数据，数据量比较大。在往数据库中写入时有时会报缓冲区溢出异常。最后的异常栈如下： Caused by: java.nio.BufferOverflowException: null at java.nio.HeapB
2017-10-13 17:16:05
3293
转载 GIS开发中常用几何算法原理图解
转自：OSGeo中国中心 http://www.osgeo.cn/post/ae457计算机的出现使得很多原本十分繁琐的工作得以大幅度简化，但是也有一些在人们直观看来很容易的问题却需要拿出一套并不简单的通用解决方案，比如几何问题。在本文中，我们将对计算几何常用的基本算法做一个全面的介绍，希望对您了解并应用计算几何的知识解决问题起到帮助。矢量的概念如果一条线段的端点是有次序之分的，我们把这种线段成为有
2017-08-20 22:23:51
4931
原创 平面几何中点到直线上的投影计算
已知直线AB上点A，点B的坐标，直线外一点P的坐标，如何计算点P在直线AB上的投影坐标： 使用向量表示的方法比较简单：⎧⎩⎨⎪⎪AB−→−∙PP′−→−=0ya−yxa−x=yb−yaxb−xa\left\{\begin{aligned}\overrightarrow{AB} \bullet \overrightarrow{PP'} = 0 \\\frac{ya - y}{xa - x}
2017-07-03 16:11:28
3722
转载 mint完全卸载mysql并重新安装
mint完全卸载mysql并重新安装我的mint里的mysql不知为何开放不了远程权限, 我以为卸载之后重新安装就好了. 但是mysql卸载似乎不是那么简单的事情, 重新安装可能会出现下面错误：error processing mysql-server-5.7 (–configure):error processing mysql-common (–configure):原因还没能弄明白,但是
2017-06-11 10:02:38
797
原创 Linux Mint下ODBC连接mysql
R语言可通过ODBC驱动操作数据库。但是前提是操作系统中已经安装了ODBC驱动管理器和ODBC驱动。由于使用的Mint系统，unixODBC和mysql odbc驱动均无法通过apt命令直接安装。所以下面介绍源码安装的过程和可能出现的问题，mysql的安装和配置略过。安装ODBC驱动管理器unixODBC
2017-02-10 11:52:45
821
2
原创 使用Maven构建JavaWeb工程并设置Dynamic web module版本为3.0
使用Maven构建JavaWeb工程并设置Dynamic web module版本为3.01. 环境说明Maven 3.0.4JDK 1.7Ecliipse Kepler Service Release 22. 操作步骤由于步骤较多，下面仅写出几个关键步骤。 首先，在创建工程中选择Maven Project，插件选择maven-archetype-webapp。如下图所示： 工程创建
2017-01-02 11:50:01
801
原创 java多线程基础总结
java多线程基础总结最近在看《Java网络编程》这本书，刚看完线程部分。书里这部分内容虽然不算多，但是十分精炼，总结的很好。把Java多线程的各个方法都做了介绍。之前看过《Java编程思想》中关于多线程的讲解，感觉更偏重于多线程编程的技巧和注意事项。拿来入门的话还是比较晦涩，包括对IO流的讲解也是一样。这本书相比之下就更加简单粗暴，更易入门~~~~启动新线程的方法在Java虚拟机
2016-12-25 15:01:48
388
原创 mybatis框架学习demo
为了学习mybatis，写了一个demo程序，应该算是对mybatis的基本配置项有了些了解。首先是eclipse工程的结构截图： User类如下：package name.mathyrs.domain;import java.io.Serializable;import java.util
2016-12-04 17:53:38
3829
原创 javafx8无法读取系统中文字体
javafx8中Font类使用Font.getFamilies()无法获得中文字体。实际使用中设置了中文字体也没有实际效果。猜测是内部实现对中文编码问题没有处理好。可通过加载字体文件的方法获得字体效果。代码如下：private Label clockPane;private Text clockText;clockPane.setFont(Font.loadFont(ClockApp.class
2016-08-08 10:07:14
2396
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人