sinat_38230425的博客

原创 Spark_Streaming 对接Kafka的好多坑

本地远程Spark1.5.22.4.3(不过现在还没提交到集群运行)Kafka0.8.2.10.8.Spark_Streaming:// 创建Receiver流的一个要点// “zookeeper.connect” -> “spark1:2181,spark2:2181,spark3:2181,spark4:2181”,val stream:ReceiverInputDStream[(String, String)] = KafkaUtils.creat...

原创 Trie树算法实现(c++版)

老规矩。。推荐博客Trie树详解代码如下://// Created by Administrator on 2020/2/18.//#include <iostream>#include <map>#include <string>#include <cstdio>#include <fstream>#include...

原创 B树算法实现(c++)

这里推荐一篇图文并茂的好文章,B树、B+树、B*树这里我实现代码过于粗糙，应该有很多地方可以改进，另外我并没有实现b+树以及b*树，但其实应该也不复杂，无非是在struct增加指向兄弟结点的指针，应该也容易实现:/* * B 树 * */#include "iostream"#include "vector"#include <cstring>#include &l...

原创 红黑树算法实现(C++版)

红黑树的概念这里介绍一篇博主觉得很好的文章：30张图带你彻底理解红黑树然后这里给出一个在线生成红黑树动态图的网站：https://www.cs.usfca.edu/~galles/visualization/RedBlack.html然后给出我的环境:clion + cmake:代码实现://// Created by anwuq on 2020/2/2.////// C...

原创 leetcode~扫雷（Scala版)

leetcode~扫雷（Scala版)算法原理:先判断点击点然后以点击点开始，作为当前点，判断周围情况，改变该点的值然后以点击点的八个方位，执行深度优先搜索，比如以点击点的上方位点作为当前点，然后跳到步骤2继续，代码:import scala.collection.mutable.ArrayBufferimport scala.math.absimport scala.util...

原创 tensorflow简易部署

部署docker模式：拉下服务镜像docker pull tensorflow/serving后台模式启动一个容器:sudo docker run -d --name serving_base tensorflow/serving复制模型到镜像里去:sudo docker cp /home/hiicy/redldw/mpf/model/mobile aee88:/models/mob...

转载 Cmakelist

cmake 是一个跨平台、开源的构建系统。它是一个集软件构建、测试、打包于一身的软件。它使用与平台和编译器独立的配置文件来对软件编译过程进行控制命令介绍1.指定 cmake 的最小版本cmake_minimum_required(VERSION 3.4.1)这行命令是可选的，我们可以不写这句话，但在有些情况下，如果 CMakeLists.txt 文件中使用了一些高版本 cmake 特有的一...

原创 docker_数据卷+端口

容器管理数据两种方式数据卷:容器内数据直接映射到本地主机数据卷容器:使用特定容器维护数据卷数据卷特性将主机目录直接映射进容器数据卷可以在容器间共享和重用对数据卷内数据修改立马生效，无论容器内操作or本地操作对数据卷更新不影响镜像，解耦开应用和数据卷会一直存在，直到没有容器使用，可以安全卸载volume子命令run 的–mount选项数据卷容器背景：多个容器间共享一些...

转载 机器学习中的数学

机器学习中的数学

原创 docker_第一步

docker安装 docker-cedockercentos中包含有docker的旧版本，删除旧版本，现在个人用的是叫docker-cesudo yum remove docker \ docker-common \ docker-selinux \ docker-engine看官...

转载 数据平滑处理——log1p()和exmp1()

今天在做题的时候学到了一点有用的东西，所以这里做个记录分享一下，有关数据预处理的两个函数问题——log1p、expm1优点：在数据预处理时首先可以对偏度比较大的数据用log1p函数进行转化，使其更加服从高斯分布，此步处理可能会使我们后续的分类结果得到一个更好的结果；平滑处理很容易被忽略掉，导致模型的结果总是达不到一定的标准，同样使用逼格更高的log1p能避免复值得问题——复值指一个自变量对应...

原创 js/jquery元素的选择

Js/JQuery 找元素的统计找父元素jsJqery父元素寻找a.parentNode($this).parents(‘target’)($this).parent()子元素jsjquery子元素添加obj.appendChild(el)($this).append(el)子元素查找a.firstChil...

原创 spark初踩坑

单机安装spark 运行 好像本来是件很简单的事，难道我太蠢了。。算了，说说坑。首先windows用的scala2.13 spark-jar包2.11 编译通过，就没想太多，然后上虚拟机的ubuntu，下载，安装都没问题，配置spark-env.sh也没问题，最后跑程序出现问题，查询定位到scala spark版本不一，ubuntu上spark版本2.11-2.4.3，以为2.11.*的scal...

原创 scala快排练习

abstract class sort_ { def quickSort(lis:List[Int]):List[Int]={ if (lis.length < 2){ lis }else { var (left, right) = quick_(lis) left = quickSort(left) right = qui...

转载 python decode errors参数

decode的函数原型是 decode([encoding], [errors='strict'])，可以用第二个参数控制错误处理的策略，默认的参数就是strict，代表遇到非法字符时抛出异常；如果设置为ignore，则会忽略非法字符；如果设置为replace，则会用?取代非法字符；如果设置为xmlcharrefreplace，则使用XML的字符引用...

转载 pandas 时间序列的字符记录