- 博客(46)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 SVN踩坑实录
背景在华为云服务器上搭建了SVN服务器，在本地客户端向SVN服务器提交代码的过程中，踩了不少坑，所以记录下来踩坑实录1. 无法正常连接到远程服务器报错信息svn: E170013: Commit failed (details follow):svn: E170013: Unable to connect to a repository at URL 'svn://xxx.xxx.xxx.xxx'svn: E000060: Can't connect to host 'xxx.xxx.xx
2020-11-19 12:25:59
728
原创 hadoop搭建--datanode信息为0，Live datanodes 为0
背景hadoop集群启动后，无有效的datanode节点，表现形式为：使用hdfs dfsadmin -report查看节点的情况时，都是0xf@master01:~/hadoop-2.6.5$ hdfs dfsadmin -reportConfigured Capacity: 0 (0 B)Present Capacity: 0 (0 B)DFS Remaining: 0 (0 B)DFS Used: 0 (0 B)DFS Used%: NaN%Under replicated bloc
2020-09-09 23:08:20
2387
原创 mac下使用VirtualBox搭建Ubuntu集群
背景系统：macOS 10.15.3软件：VirtualBox 6.1目标：搭建一个虚拟集群(5个节点，2个master，3个slave)，为后面搭建高可用(HA)的大数据系统的学习做准备步骤1. Linux镜像下载从Ubuntu官网下载 https://releases.ubuntu.com/16.04/因为之前习惯使用Ubuntu，并且16.04版本比较稳定，再考虑到搭集群不需要桌面环境，所以选择了这个版本 64-bit PC (AMD64) server install ima
2020-09-06 23:00:53
526
原创 (一)Flink之quickStart填坑
目录背景开始填坑1. 在语句Generating project in Batch mode卡住2. Failed to execute goal org.apache.maven.plugins:maven-archetype-plugin 报错3. Failed to execute goal org.apache.maven.plugins:maven-archetype-plugin 报错欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片
2020-05-24 11:39:45
885
原创 PostgreSQL中的距离计算问题 ST_Length
背景：PostgreSQL 可以扩展PostGIS 模块，来完成地理空间计算方面的任务问题描述：使用内置函数 ST_Length来计算轨迹长度时，发现计算的结果和实际不太符合，查阅相关博客发现原来是坐标系的问题。（但是各个博客的内容可能不太准确，折腾了半天，最后找到官网，成功把问题解决，只能说，官网是个好东西）问题解决：概念： geometry和geography的区别geomet...
2019-02-27 16:09:07
9725
1
原创 MySQL 批量导入数据，并且显示警告信息
使用LOAD DATA 比一行一行insert的效率要高，另外mysqlimport也是封装了LOAD DATA的直接在命令行下执行：mysql -u root -p --execute="LOAD DATA LOCAL INFILE 'xxx文件名' INTO TABLE 库名.表名 FIELDS TERMINATED BY ',' IGNORE 1 LINES; SHOW WARNINGS...
2019-01-11 13:44:44
1374
原创 MySQL中， Errcode: 24 - Too many open files 问题解决
原因：打开文件数量太多，超出了open_files_limit这个参数的限制，在一个表中有多个分区的时候，这种情况更容易发生。解决方法：查看open_files_limit参数使用show variables like '%open%';就可以看到了如上图，改参数的大小为1024修改open_files_limit参数在网上找了很多资料，有的说直接在/etc/mysql/mysq...
2019-01-11 11:40:38
7478
1
原创 交通数据来源整理
深圳市道路交通运行指数有全市概况、热点片区概况、道路概况等高德实时路况数据获取教程1_简书高德实时路况数据获取教程2_github高德交通态势API出行云-综合交通大数据开发云平台开放的数据量比较有限，另外相关决策服务和开发服务由第三方公司提供...
2019-01-08 15:07:11
11566
原创 空气质量&天气质量数据来源整理
一. 空气质量1.1 实时1.1.1 pm25.in有web界面，并且提供开放API1.1.2 中国空气质量在线监测分析平台1.1.3 环保部数据中心1.2 历史1.2.1 全国空气质量历史数据 | 北京市空气质量历史数据该网址提供如下历史数据（可以直接通过百度网盘免费下载）：北京市空气质量历史数据下载（2013/12/06以来）全国空气质量历史数据下载（2014...
2019-01-08 13:48:26
6765
1
原创 HDU 1022 Train Problem I
HDU 1022 Train Problem I题目描述：求解：题目描述：Train Problem ITime Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 48735 Accepted Submission(s): 18382P...
2018-11-23 14:58:58
105
原创 c语言中输入包含空格的字符串：scanf(“%[^\n]“,str) vs gets(str)
背景：想要在c语言中输入包含空格的一行字符串。很明显scanf("%s",str)无法实现，因为这个输入方式，遇到空格或者回车符就会停止输入。（备注：全文中出现的str都表示一个字符串数组，或者char *）一. 输入单组数据方法一：使用gets(str)来实现#include<stdio.h>int main(){ char str[20]; gets(st...
2018-11-23 14:44:40
12527
6
转载 如何将UTF-8编码的CSV文件转换为GBK编码？
我们公司产生的CSV文件一般默认都是UTF-8编码的（考虑到通用性），如果用Excel直接打开就会显示为乱码形式的，这是因为在中文Windows环境下，Excel默认的字符编码是GBK。所以要想让Excel正常显示，我们需要先将CSV文件从UTF-8编码修改为GBK编码。如何操作呢？这是我们客户经常会问到的问题。其实方法很简单：1）用UltraEdit打开我们要处理的CSV文件。2）文件 ...
2018-11-22 19:14:31
18101
1
原创 HDU 1016 Prime Ring Problem
HDU 1016 Prime Ring Problem题目描述：求解：题目描述：Problem DescriptionA ring is compose of n circles as shown in diagram. Put natural number 1, 2, …, n into each circle separately, and the sum of numbers in t...
2018-11-12 08:40:36
94
原创 HDU 1013 Digital Roots
HDU 1013 Digital Roots题目描述：求解：解法1：解法2：题目描述：Problem DescriptionThe digital root of a positive integer is found by summing the digits of the integer. If the resulting value is a single digit then th...
2018-11-08 11:06:29
152
原创 解决No module named numpy问题
背景：安装了Anaconda，自带的是python 3.6的版本。通过这个教程： 在jupyter notebook中同时安装python2和python3 ，增加了python 2.7版本。问题：在jupyter中使用python 2内核时，使用from numpy import *命令导入包时，出现异常：ImportError: No module named numpy解决：进入p...
2018-06-16 21:19:11
87806
6
原创 docker容器的迁移
0.背景需要把云服务器上用docker搭建的大数据集群迁移到本地的主机上。大数据集群有一个master主节点和slave01、slave02两个计算节点。云上服务器和本地的主机的数量都只有一台，是采用docker虚拟化的方式搭建大数据集群。要求迁移后数据不会丢失。1.用export&amp;amp;amp;amp;amp;amp;amp;import 还是 save &amp;amp;amp;amp;amp;amp;amp; load ？export&a
2018-06-03 00:57:53
34701
4
原创 Ubuntu 下 JDK 和 SCALA的安装
0.简述Java JDK在Linux系统有两个版本，一个开源版本OpenJDK，还有一个Oracle官方版本JDK。一般系统中自带的是OpenJDK，但常用的是Oracle的JDK。所以一般先卸载自带的OpenJDK，再安装Oracle的JDK。Scala运行与JVM之上，所以若要scala可以跑起来必须先按照JDK。1.卸载OpenJDK查看JDK 版本 java -ver...
2018-06-02 16:12:51
993
原创 对运行中的Docker容器进行端口映射
问题：如何对运行中的Docker容器进行端口映射？解决方案如下：iptables -t nat -A DOCKER -p tcp --dport ${YOURPORT} -j DNAT --to-destination ${CONTAINERIP}:${YOURPORT}iptables -t nat -A POSTROUTING -j MASQUERADE -p tcp --...
2018-05-14 10:58:50
1800
原创 使用分治法和蛮力法求解最近点对
问题描述 对于平面上给定的N个点，给出所有点对的最短距离，即输入是平面上的N个点，输出是N点中具有最短距离的两点。求解创建点类，使之具有两个属性，x坐标和y坐标class myPoint {public: int x; //x坐标 int y; //y坐标};比较函数bool compare(myPoint a, myPoint b, in
2018-05-14 10:56:58
6729
4
原创 对运行中的Docker容器添加端口映射
问题：如何对运行中的Docker容器添加端口映射？解决方案如下：iptables -t nat -A DOCKER -p tcp --dport ${YOURPORT} -j DNAT --to-destination ${CONTAINERIP}:${YOURPORT}iptables -t nat -A POSTROUTING -j MASQUERADE -p tcp --...
2018-04-15 22:10:52
7291
3
转载 Crontab内环境变量与Shell环境变量的关系及解决问题的办法
问题 有时需要用到Crontab的定时任务去执行脚本，但是发现通过命令（./test.sh)执行Shell文件的时候，可以获取Linux的环境变量;可是通过Crontab做的定时任务，无法获取。问题剖析 crontab有一个坏毛病，就是它总是不会缺省的从用户profile文件中读取环境变量参数，经常导致在手工执行某个 脚本时是成功的，但是到crontab中试图让它定期执行时就是会出错。
2018-01-31 15:12:30
18977
4
转载 MySQL 事件调度器(Event Scheduler)创建定时任务
事件调度器(Event Scheduler)是在MySQLv5.1.6中新增的一个功能，它相当于一个定时器，可以在指定的时间点执行一条SQL语句或一个语句块，也可以用于在固定间隔重复执行。事件调度器相当于操作系统中的定时任务(如：Linux中的cron、Window中的计划任务)，但MySql的事件调度器可以精确到秒，对于一些实时性要求较高的数据处理非常有用。创建/修改事件(EVENT)事
2017-12-21 19:54:33
335
转载 C++ string 用法详解--原作者是Nicolai M.Josuttis
任何人对本文进行引用都要标明作者是Nicolai M.Josuttis///////////////////////////////////////////////////////////////////////////////////C++ 语言是个十分优秀的语言，但优秀并不表示完美。还是有许多人不愿意使用C或者C++，为什么？原因众多，其中之一就是C/C++的文本处理功能太麻烦，用起来很不方便。
2017-12-12 08:56:48
337
转载 关于MySQL异常捕捉那些事儿
本系列文章主要介绍如何捕捉处理MySQL异常以及实战演练展示，参考于MySQL5.6官方文档(http://dev.mysql.com/doc/refman/5.6/en/index.html) 和 ZHDBA官网之MySQL数据库的例外处理测试(http://www.zhdba.com/mysqlops/2013/08/31/mysql-handler-2/)。异常捕捉原因
2017-12-09 10:16:36
13569
转载 mysql插入当前时间
now()函数以`yyyy-mm-dd hh:mm:ss返回当前的日期时间，可以直接存到datetime字段中。 curdate()以’yyyy-mm-dd’的格式返回今天的日期，可以直接存到date字段中。 curtime()以’hh:mm:ss’的格式返回当前的时间，可以直接存到time字段中。 例： create table test_date(t_date date);
2017-12-07 12:52:59
2425
转载 mysql date 格式的提取和转换
0 先理解下格式问题 要理解两种格式，一是mysql内部使用和存储时使用的格式，另一个是用户显示的格式； 存储格式：mysql保存日期时间值时使用的CCYY-MM-DD格式遵循ISO 8601标准； 显示格式：显示在输出界面上的格式，可以使用DATA_FORMAT()或TIME_FORMAT()函数来设置和转换； 1 转换和处理 1）提交数据，一是使用标准格式让其自动识别，
2017-12-06 09:16:42
5686
转载 贪心算法，递归算法，动态规划算法比较与总结
一般实际生活中我们遇到的算法分为四类： 一>判定性问题 二>最优化问题 三>构造性问题 四>计算性问题而今天所要总结的算法就是着重解决 最优化问题 《算法之道》对三种算法进行了归纳总结，如下表所示：分治算法特征：1）规模如果很小，则很容易解决。//一般问题都能满足2）大问题可以分为若干规模小的相同问题。//前提3）利用子问题的解，可以合并成该问题的解。//关键4）分解出的各个子问
2017-11-30 12:47:58
530
原创 解决：connect Network is unreachable 和 ping unknown host www.baidu.com
问题：在虚拟机上加载了两个linux系统，一个Ubuntu，一个TD-EXPRESS。很纳闷，Ubuntu那边的网络顺畅，ping外面的主机，ping www.baidu.com 都可以ping通，而TD-EXPRESS 那边只能ping 同一个网段内的，ping 其他ip 像 8.8.8.8就出现了connect Network is unreachable错误，ping 其他主机像 www.b
2017-11-25 16:20:20
5756
1
原创 MIPS下的冒泡排序
MIPS汇编语言的特点在于整齐划一。 本文主要实现冒泡排序算法。话不多说，先给出其中两个函数的c语言代码void swap（int v[],int k）{ int temp; temp=v[k]; v[k]=v[k+1]; v[k+1]=temp;}void sort(int v[],int n){ int i,j; for(i=0;i<n;
2017-11-08 22:50:03
1943
原创 解决 wampserver 中无法启动mysql数据库的问题
问题描述： 启动wampserver后，软件的图标用红色变为橙色之后，就一直保持原样了。只有当图标变成绿色的时候才能正常使用的。 图标中显示 local server -1 of 2 services running 。表示2个服务中只有一个服务启动。我们进去mysql里面看一下： 发现里面根本没有启动，点击启动之后，依旧不启动。打开phpMyAdmin页面，发现无法登陆进去： 问题
2017-11-05 15:41:20
25380
2
转载 大学生如何搞自己的科研项目
看到一篇问答，很有体会，终于知道为什么自己现在这么废了。哎，少了那份沉着与坚持啊！痛！现将原文分享给大家，希望大家能有所收获：一、脚踏实地，努力学好专业基础知识1， 具备良好的专业素质，掌握过硬的专业技术，形成先进的专业理念：没有良好的专业知识与技术，谈科研与竞赛只是空话。2，合理安排自己的学习时间，积极完成老师布置的学习任务，多与老师交流：多与老师交流可以获得一些接触科研的机会。我现在的
2017-10-24 12:21:09
8859
2
原创 Map的使用
//直接上代码import java.util.Collection;import java.util.HashMap;import java.util.Iterator;import java.util.Map;import java.util.Map.Entry;public class UsageOfMap { public static void main(String[]
2017-10-23 23:27:51
267
转载 java中replace()和replaceAll()的区别
replace和replaceAll是JAVA中常用的替换字符的方法,它们的区别是：1)replace的参数是char和CharSequence，即可以支持字符的替换，也支持字符串的替换(CharSequence即字符串序列的意思,说白了也就是字符串)；2)replaceAll的参数是regex，即基于规则表达式的替换，比如，可以通过replaceAll("\\d", "*")把一
2017-10-23 21:20:59
6756
1
原创 ccf 201509-2 日期计算
问题描述试题编号：201509-2试题名称：日期计算时间限制：1.0s内存限制：256.0MB问题描述：问题描述 给定一个年份y和一个整数d，问这一年的第d天是几月几日？ 注意闰年的2月有29天。满足下面条件之一的是闰年： 1） 年份是4的整数倍，而且不
2017-10-23 18:58:05
213
原创 ccf 201512-3 画图
问题描述试题编号：201512-3试题名称：画图时间限制：1.0s内存限制：256.0MB问题描述：问题描述 用 ASCII 字符来画图是一件有趣的事情，并形成了一门被称为 ASCII Art 的艺术。例如，下图是用 ASCII 字符画出来的 CSPRO 字样。
2017-09-14 23:59:33
220
原创 ccf 201703-3 Markdown （ java）
问题描述试题编号：201703-3试题名称：Markdown时间限制：1.0s内存限制：256.0MB问题描述：问题描述 Markdown 是一种很流行的轻量级标记语言（lightweight markup language），广泛用于撰写带格式的文档。例如以下这段
2017-09-08 00:33:46
452
原创 在Linux下检查内存泄露
1.什么是内存泄露？内存泄露指的是应用程序在分配某段内存后,由于设计错误,失去了对该段内存的控制,因而造成了内存的浪费。2.造成内存泄露的原因是什么？一般情况下造成内存泄露的主要原因是，由于程序设计的不合理，未对动态申请的堆空间进行回收，或者只在程序的部分出口对申请的内存空间进行回受，从而导致被某个程序弃用却不能被其他程序使用的内存越来越多。3.内存泄露带来的危害：内存
2017-09-05 20:45:53
15280
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人