Keep Learning

学习Spark、CarbonData 、Alluxio等，且为其Contributor，Github为：https://github.com/xubo245。欢迎微信联系601450868！

原创 ganglia学习1之ganglia集群版搭建（支持hadoop和spark）

更多代码请见：https://github.com/xubo245/SparkLearningspark源码解读系列环境：spark-1.5.2、hadoop-2.6.0、scala-2.10.4，ganglia-3.6.1系统：ubuntu 14.041.理解1.1 ganglia的概述 Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Gan

2016-11-09 15:48:05 1942

原创 spark源码解读4之SortByKey

更多代码请见：https://github.com/xubo245/SparkLearningspark源码解读系列环境：spark-2.0.1 （20161103github下载版）1.理解1.1 需求使用spark的时候会经常使用sortBykey，比如wordCount后需要排序，可以使用sortBy，也可以先map然后再sortByKey，soerBy也是调用SortByKey1.2 源码S

2016-11-06 18:58:35 2294

原创 spark源码解读3之RDD中top源码解读

更多代码请见：https://github.com/xubo245/SparkLearningspark源码解读系列环境：spark-2.0.1 （20161103github下载版）1.理解输出读取中常用到topK算法，RDD也提供了top方法。特别是RDD过大时，要慎用RDD的collect方法，建议使用take和top方法。如果要有序，可以使用top方法。1.1 定义 def top(num

2016-11-04 19:51:14 2625

原创 spark源码解读2之水塘抽样算法（Reservoir Sampling）

更多代码请见：https://github.com/xubo245/SparkLearningspark源码解读系列环境：spark-1.5.2、hadoop-2.6.0、scala-2.10.41.理解　　问题定义可以简化如下：在不知道文件总行数的情况下，如何从文件中随机的抽取一行？　　首先想到的是我们做过类似的题目吗?当然，在知道文件行数的情况下，我们可以很容易的用C运行库的rand函数随机的获

2016-11-04 19:51:02 3519

原创 spark源码解读1之Partitioner

更多代码请见：https://github.com/xubo245/SparkLearningspark源码解读系列环境：spark-1.5.2、hadoop-2.6.0、scala-2.10.41.理解Partitioner类Partitioner类是用于处理key-value类型的RDD，根据key进行元素划分。Partitioner是一个抽象类。只有两个方法：numPartitions和get

2016-11-04 19:50:46 2441

原创 Spark入门学习记录之SparkLearning

为了更好的学习spark，也为了记录自己学习过程中的遇到的各种问题，方便以后查询，故谢了相关博客，也公开了代码和数据，代码基本都可以本地运行。总目录： SparkLearning博客：http://blog.csdn.net/bob601450868/article/category/5730447 SparkLearning代码和数据：https://github.com/xubo245/

2016-05-17 22:34:00 4251 1

原创 SparkLearning博客模版

更多代码请见：https://github.com/xubo245/SparkLearning1解释2.代码：3.结果：参考【1】 http://spark.apache.org/docs/1.5.2/graphx-programming-guide.html【2】https://github.com/xubo245/Sp

2016-05-03 19:15:34 852

原创基于kuberay的rayjob中集群启动时间测试

基于kuberay的rayjob中集群启动时间测试

2023-05-12 11:13:16 324 1

原创学习和体验Ray on volcano

学习和体验Ray on volcano

2023-05-11 20:41:46 616

原创跑RayJob遇到的问题5：ConnectTimeoutError

跑RayJob遇到的问题5：ConnectTimeoutError

2023-05-11 11:51:33 386

原创跑RayJob遇到的问题4：提交rayjob之后一直卡在waiting for the cluster to be ready

跑RayJob遇到的问题4：提交rayjob之后一直卡在waiting for the cluster to be ready

2023-05-11 11:47:25 160

原创跑RayJob遇到的问题3：Permission denied: ‘/tmp/ray/session

跑RayJob遇到的问题3：Permission denied: '/tmp/ray/session

2023-05-11 11:43:58 240

原创跑RayJob遇到的问题2：x509: certificate has expired or is not yet valid

跑RayJob遇到的问题2：x509: certificate has expired or is not yet valid

2023-05-11 11:40:50 213

原创跑RayJob遇到的问题1：spec.type: Unsupported value: “headService“”

基于KubeRay提交RayJob。serviceType没指定的问题

2023-05-11 11:36:53 120

原创基于KubeRay提交RayJob

通过kuberay提交Ray job

2023-05-10 21:54:17 1002

原创使用AutoGpt创建自动化任务

使用AutoGpt创建自动化任务，ChatGPT

2023-04-15 02:06:48 1207

原创基于Docker快速在notebook上运行spark命令

【代码】基于Docker快速在notebook上运行spark命令。

2023-04-10 02:15:52 268

原创基于Docker快速运行Spark

本文是基于macos电脑，docker 20.10.6。已经搭建好docker环境。3.运行Spark命令。

2023-04-10 02:07:28 543 1

原创编译报错：PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilder

【代码】编译报错：PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilder。

2023-04-08 22:23:48 531

原创配置docker 代理，连接外部网络并下载docker镜像

配置docker 代理，连接外部网络并下载docker镜像，Ubuntu， proxy

2022-07-18 20:35:41 1794

原创如何将CVAT2.0的docker镜像上传到华为云镜像中心SWR

1.打包localhost:cvat xubo$ docker container lsCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMESf5

2022-02-09 21:06:57 842

原创如何将CVAT的docker镜像上传到华为云镜像中心SWR

1.打包localhost:cvat xubo$ docker save -o cvat_proxy.tar nginx:stable-alpinelocalhost:docker xubo$ docker save -o cvat_ui.tar cvat/ui localhost:docker xubo$ docker save -o cvat.tar cvat/serverlocalhost:docker xubo$ docker save -o cvat_db.tar post

2022-02-09 11:49:08 1441

原创修改git下面 .gitignore之后没有生效的解决办法

修改git下面 .gitignore之后没有生效的解决办法有时候发现通过vi .gitignore修改 .gitignore之后并没有生效，想排除的文件通过git status也查看不到，这个时候有可能是没有清空缓存。解决办法：清空本地的git缓存：git rm -r --cache . 重新查看git status就可以看到修改，然后继续add和commit即可...

2021-07-08 09:54:18 378

原创 How to release python whl to pypi

Edit setup.pu setup.cfg version id# Copyright 2018 Deep Learning Service of Huawei Cloud. All Rights Reserved.## Licensed under the Apache License, Version 2.0 (the "License");# you may not use this file except in compliance with the License.# You may

2021-06-30 14:54:58 223

原创下载XAMPP并安装和使用（Mac环境）

1.下载XAMPPhttps://udomain.dl.sourceforge.net/project/xampp/XAMPP%20Mac%20OS%20X/8.0.6/xampp-osx-8.0.6-0-vm.dmg

2021-06-06 16:53:37 6144 3

原创使用命令连接XAMPP中的mysql

localhost:mysql xubo$ mysql -uxubo -h 192.168.64.2 -P 3306 -pEnter password: Welcome to the MySQL monitor. Commands end with ; or \g.Your MySQL connection id is 259Server version: 5.5.5-10.4.19-MariaDB Source distributionCopyright (c) 2000...

2021-06-06 16:40:32 491

原创使用人脸关键点检测（68点）模型进行标注

1.环境Macgit2.下载dlib

2021-06-04 23:55:20 3998 2

原创 CVAT任务和项目无法创建（系统错误）的解决办法

[Mon May 24 09:33:33.202214 2021] [wsgi:error] [pid 222:tid 140058422798080] [remote 172.28.0.6:35744] ERROR:django.request:Internal Server Error: /api/v1/tasks[Mon May 24 09:33:33.202223 2021] [wsgi:error] [pid 222:tid 140058422798080] [remote 17...

2021-05-30 20:59:25 1794 1

原创原创使用docker 安装CVAT并使用

CVAT参考：【1】https://github.com/openvinotoolkit/cvat/blob/develop/site/content/en/docs/for-users/installation.md【2】【3】

2021-05-30 20:51:36 3527 2

原创使用docker 安装label me并使用

环境：Mac OS准备工作：Docker安装， git1 下载项目代码git clone https://github.com/CSAILVision/LabelMeAnnotationTool.git历史记录：localhost:git xubo$ git clone https://github.com/CSAILVision/LabelMeAnnotationTool.gitCloning into 'LabelMeAnnotationTool'...remote: Enumerati

2021-05-17 15:31:38 763

原创基于Docker下载文本标注工具(doccano) 并安装使用

基于Docker下载文本标注工具(doccano) 并安装使用。环境：Mac OS准备工作：Docker安装1.拉取镜像doccano：运行命令sudo docker pull chakkiworks/doccano2.启动镜像运行命令sudo docker run -d --rm --name doccano \ -e "ADMIN_USERNAME=admin" \ -e "[email protected]" \ -e "ADMIN_PASSWOR

2021-05-14 10:19:35 1703

原创通过git拉取github/gitlab上的Pull Request(PR)/Merge Request(MR)到本地进行code review

通过git拉取github/gitlab上的Pull Request(PR)/Merge Request(MR)到本地进行code reviewGithub:git fetch origin pull/3188/head:pr31883188是PR的idhttps://github.com/apache/carbondata/pull/3188Gitlab:git pull remo...

2019-08-17 10:39:50 9170

原创 read traffic light image(4138 images) from whole dataset（10w+） to obs

Applicationread traffic light image(4138 images) from whole dataset（10w+） to obsPrepare:Download data from reference[2]start jupter, import pycocoDemo.ipynb localhost:PythonAPI xubo$ jupyter ...

2019-04-10 09:58:22 825

原创 Share Android 8.0 network to Mac High Sierra 10.13.3 by horndis

Share Android 8.0 network to Mac High Sierra 10.13.3 by horndisI can confirm Horndis works with Honor V10 on High Sierra 10.13.3. Here’s a quick guide:brew cask install horndisYou might have to...

2019-03-18 23:17:42 1030

原创 Apache CarbonData学习资料汇总

CarbonData Learning Materials1. introductionApache CarbonData is an indexed columnar data store solution for fast analytics on big data platform, e.g.Apache Hadoop, Apache Spark, etc.1.1 官网： http:...

2018-11-22 12:02:27 1766

原创 Install tensorflow and run hello world in MacBook pro : MacOS

Install tensorflow and run hello world in MacBook pro / MacOSinstall tensorflowlocalhost:git xubo$ pip3 install tensorflowCollecting tensorflow Cache entry deserialization failed, entry ignored ...

2018-10-20 23:45:37 895

原创集群节点间数据分发dispath.sh

!/usr/bin/env bashif [ $# -ne 1 ]; then echo “Usage: dispath.sh filename” exit 1 ficur_dir=(cd"(cd"(cd "(dirname “$1”)”; pwd) for dst in {1..50} doscp -r $1 emr-worker-$dst:$cur_di...

2018-06-06 12:07:52 910

原创基因数据处理123之SSW代码不正确，到时比SparkSW时间长

更多代码请见：https://github.com/xubo245基因数据处理系列1.解释由于要生成新的score matrix：blosum50，第一次使用静态方法，直接传给align，到时每次运行都需要进行一次score matrix的计算，而这个是将blosum50的矩阵转换成128*128的矩阵，当计算Q0,即8个字符串的query时，显然时间占比大，本来序列比对时间就不长...

2018-06-06 09:02:49 695

原创基因数据处理122之SSW和SparkSW评分不一致，query为Q9

更多代码请见：https://github.com/xubo245基因数据处理系列1.解释RT,但是顺序一致2.代码：hadoop@Master:~/disk2/xubo/project/alignment/SparkSW/SparkSW20161114/alluxio-1.3.0$ vi sparkSWSSWQ10.sh dir=$(ls -l query/* |...

2018-06-06 09:02:11 670

原创基因数据处理121之SSW的score matrix调整，使得与SparkSW评分一致

更多代码请见：https://github.com/xubo245基因数据处理系列1.解释SSW的评分矩阵是128*128的，是按char的int值来进行计算的。而blosum50是蛋白质的，而且不是按ABC顺序来的，所以需要转换。java中无法运行128*128的String矩阵，所以需要提供blosum的转换2.代码： public static int[...

2018-06-06 09:01:22 728

CarbonData学习资料

Apache CarbonData学习文档汇总，包含视频/文档/文件等。

2018-11-22

opencv 3.4.1 jar

opencv-341.jar. for invoking opencv,you can add the code to your project

2018-05-16

高级Shell脚本编程

高级Shell脚本编程,高级Shell脚本编程

2016-03-15

2015年中国软件开发者白皮书

2016-01-12

neo4j-javadocs-2.3.1-javadoc.jar

neo4j-javadocs-2.3.1-javadoc.jar neo4j 2.3.1 API

2015-11-26

neo4j-enterprise-2.3.1-unix.tar.gz

neo4j-enterprise-2.3.1-unix.tar.gz，官网下载

2015-11-25

neo4j-enterprise-2.3.0-M03-unix.tar.gz

neo4j-enterprise-2.3.0-M03-unix.tar.gz,官网下载

2015-11-25

资金流入流出预测大赛冠军答辩PPT

资金流入流出预测大赛冠军答辩PPT，资金流入流出预测冠军答辩PPT 阿里云天池

2015-09-09

redis-3.0.4安装包

redis-3.0.4.tar.gz，redis-3.0.4安装包，官网下载

2015-09-09

JDK.API.7_English.chm

JDK.API.7_English.chm Java™ Platform, Standard Edition 7 API Specification This document is the API specification for the Java™ Platform, Standard Edition.

2015-08-24

Java 2 SE 6 Documentation.chm

Java 2 SE 6 Documentation.chm JavaTM SE 6 Platform at a Glance This document covers the JavaTM Platform, Standard Edition 6 JDK. Its product version number is 6 and developer version number is 1.6.0, as described in Platform Name and Version Numbers. For information on a feature of the JDK, click on a component in the diagram below.

2015-08-24

JavaSE中文API.chm

JavaSE中文API.chm JavaTM 2 Platform Standard Edition 5.0 API 规范本文档是 Java 2 Platform Standard Edition 5.0 的 API 规范。

2015-08-24

jdk api 1.7英文版-带索引

java, jdk api 1.7英文版-带索引,English,Index,Java™ Platform, Standard Edition 7 API Specification

2015-08-24

微软、谷歌、百度、腾讯等各大公司笔试面试题整理全版.rar

2015-08-20

10部算法经典著作的合集

2015-08-20

百度人搜，阿里巴巴，腾讯华为小米搜狗笔试面试八十题.pdf

2015-08-20

色彩空间转换matlab

色彩空间转换matlab RGB HSV YIQ NTSC

2014-04-14

isrgb.m,matlab

isrgb.m matlab rgb function y = isrgb(x) %ISRGB Return true for RGB image. % FLAG = ISRGB(A) returns 1 if A is an RGB truecolor image and % 0 otherwise. % % ISRGB uses these criteria to determine if A is an RGB image: % % - If A is of class double, all values must be in the range % [0,1], and A must be M-by-N-by-3. % % - If A is of class uint8 or uint16, A must be M-by-N-by-3. % % Note that a four-dimensional array that contains multiple RGB % images returns 0, not 1. % % Class Support % ------------- % A can be of class uint8, uint16, or double. If A is of % class logical it is considered not to be RGB. % % See also ISBW, ISGRAY, ISIND. % Copyright 1993-2003 The MathWorks, Inc. % $Revision: 1.15.4.2 $ $Date: 2003/08/23 05:52:55 $ wid = sprintf('Images:%s:obsoleteFunction',mfilename); str1= sprintf('%s is obsolete and may be removed in the future.',mfilename); str2 = 'See product release notes for more information.'; warning(wid,'%s\n%s',str1,str2); y = size(x,3)==3; if y if isa(x, 'logical') y = false; elseif isa(x, 'double') % At first just test a small chunk to get a possible quick negative m = size(x,1); n = size(x,2); chunk = x(1:min(m,10),1:min(n,10),:); y = (min(chunk(:))>=0 && max(chunk(:))=0 && max(x(:))<=1); end end end

2014-03-27

C语言头函数包include

C语言头函数包include stdio.h stdlib.h等

2013-10-18

计算方法实验Gauss_Seidel法和Runge_Kutta法

计算方法实验说明文档 PB10210016 徐波实验要求：第二版208页程序15 第二版208页程序20，将二阶改为四阶，求第二个实验环境：操作系统：Windows8 64位　编译软件:Code::Blocks 版本：10.05 位数：32位实验提交时间：　考前实验说明： Gauss_Seidel：左侧为数据文档，为了方便多次测试，可将txt文档中数据复制到exe中运行，输入规范请见上图上图为正确输出之一 Runge_Kutta 左侧为数据文档，为了方便多次测试，可将txt文档中数据复制到exe中运行，输入规范请见上图上图为正确输出之一附件：程序15：Gauss_Seidel代码、可运行exe程序、输入数据文件和运行截图程序20：Runge_Kutta代码、可运行exe程序、输入数据文件和运行截图实验心得：　　通过这次实验，对Gauss_Seidel法和Runge_Kutta法了解更深，并且有了实际运行经验，而且通过编程，对方法每一步的运算数据的输入输出了解更深，总的来说收获很大，我们应该多写些类似的程序，希望能将其放在网页上，输入数据就能运行出结果。 PB10210016 徐波 2013.5.28 代码请联系QQ：601450868　　

2013-10-17

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人