- 博客(103)
- 收藏
- 关注
RSS订阅
原创 2018华为软件精英挑战赛经验（一）
初赛、复赛。比赛耗时50天。忙忙碌碌、紧紧张张。西北赛区真的很强，最终成绩初赛6/64 复赛6/36。真是666！！！简单说一下赛题：赛题围绕两个点展开：销量预测问题、放置优化问题。请求预测问题与简单解析：赛题给出了用户对于虚拟机请求的2-3个月的历史数据文档（txt文件），需要做的是通过读取和抽取文件中关键信息（时间信息）、统计历史虚拟机的请求数量。根据历史数据去预测接下来一段时间（时间的长短、...
2018-04-17 00:32:59
7143
3
原创 芯片缺陷检测项目
Tips：需要了解项目细节或者相关技术支持，以下是联系方式。邮箱：[email protected]源码：https://github.com/dlphay/halcon_dlphay（源码中去掉了部分核心代码，需要Github账号，将项目Star之后截图发到邮箱，我会把核心代码进行回复）机器视觉项目----芯片缺陷检测01 应用与背景封装体检测的内容包括（括...
2017-12-21 16:11:21
26669
27
原创 指导Agent在XX的环境中做出最优决策的模型框架
任务：自动驾驶具备人的行为智能（指导Agent在XX的环境中做出最优决策的模型框架）的目的。 针对自动驾驶问题，提出不需要专家知识辅助的 简单说明：增强学习中神经网络需要完成的任务：针对图像，通过（神经网络）抽象出任务所处环境的特征信息，将特征信息与动作行为之间建立联系（相比于传统图像识别任务：特征信息与识别目标位置、类别之间建立联系）。Agent需要与环境层（真实环境，模拟环境，游戏环境
2017-10-11 09:36:00
3188
原创 Java数据结构与结合框架
目录Java数据结构枚举（Enumeration）位集合（BitSet）向量（Vector）栈（Stack）字典（Dictionary）哈希表（Hashtable）属性（Properties）Java集合框架设计目标框架介绍接口实现类持续更新中.....Java数据结构枚举（Enumeration）定义了一种从数据结构中取回连续元素的方式，可以枚举（一次获得一个）对象集合中的元素，用在Vector和Properties。public
2020-05-24 22:13:24
447
原创 NAT类型与验证方法
方法一NAT类型测试工具：http://www.pc6.com/softview/SoftView_92208.htmlSTUN服务器：方法二PyPunchP2P：https://github.com/laike9m/PyPunchP2P
2020-05-24 16:16:54
2076
原创 bittorrent协议
简述Bittorrent（BT） wiki：https://wiki.theory.org/index.php/BitTorrentSpecification文件分发协议，下载过程主要包括：BT客户端Peer（有.torrent文件）首先解析.torrent文件得到Tracker地址，然后连接Tracker服务器。Tracker服务器回应Peer的请求，提供下载者其他Peer（包括发布者）...
2020-03-22 20:18:02
1226
原创 linux上部署nginx服务
安装部署$ wget http://nginx.org/download/nginx-1.10.2.tar.gz$ wget http://www.openssl.org/source/openssl-fips-2.0.10.tar.gz$ wget http://zlib.net/zlib-1.2.11.tar.gz$ wget ftp://ftp.csx.cam.ac.uk/pub...
2020-03-18 19:54:16
315
原创 P2P-CDN融合技术初探
P2P-CDN融合技术初探趋势未来4K、5G、IPv6时代的到来，大流量请求、超低延迟的需求日益迫切。P2P与CDN技术融合是结构互异融合策略，兼并分发与共享特性。同时，P2P挖掘端侧缓存价值，并将其作为CDN可拓展空间。发展从树状结构到优化的网状结构。P2P本身特点优势：低成本，扩展性。缺点：不可监管、QoS服务无法保障、无内容版权监管、用户层数据无法有效管控。...
2020-03-15 10:37:06
3403
原创 rocksDB要点
rocksDB定义快速存储系统，充分挖掘 Flash or RAM 硬件的读写特性，支持单个 KV 的读写以及批量读写。本质：牺牲了一部分读的性能和增加了合并的开销，换取了高效的写性能。LSM-Tree(Log-Structured-Merge-Tree)的理解简述：内存中构建“小树”，到一定的规模，Merge到磁盘的“大树”。 多level的文件格式：最热最新的数据L0层，最冷...
2020-01-20 22:29:50
405
原创 随机森林
RF思想集成学习的思想将多棵树集成的一种算法，核心：决策树+模型融合。模型融合Bagging 思想，可以将弱分类器融合之后形成一个强分类器，融合之后的效果会比最好的弱分类器更好，Boosting也是这样的思想。Bagging思路1. 每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本（在训练集中，有些样本可能被多次抽取，而有些样本可能一次也没有被抽取到），共进行k...
2019-10-08 23:40:01
256
原创 Redis数据库
后续有待完善。。。。。。基本概念redis是一个key-value存储系统，支持push/pop、add/remove及取交集并集和差集，支持多种Value类型。配置内容daemonizeyespidfile/usr/local/redis/var/redis.pidport6379timeout300logleveldebuglogfile/usr/local/red...
2019-10-07 18:01:07
159
原创 前缀树trie预测与热度扩散预测模型
trie分类从根节点到叶子节点，从根节点开始搜索，在其节点上搜索其子节点的内容与之相匹配，迭代搜索，直到搜索到叶子结点或者内容结束（不局限于叶子结点），读取该节点上的内容，即为所查找的内容，trie又被称为字典树，如果被搜索的内容是字典内容的子集，那么可以在字典树中搜索到该内容。在预测或者说查询过程中，如果遇到这样的情况：被搜索的内容不是字典的子集，那么将搜索不到。搜索不到的时候，需要将该内容...
2019-10-07 17:28:19
444
原创 规则学习
知识图谱与基本概念基本概念规则学习定义：从训练数据中学习出一组能用于对未见示例进行判别的规则。规则定义：规则一般是：语义明确、能描述数据分布所隐含的客观规律或领域概念。逻辑规则定义：⊕←????1⋀????2⋀????3…⋀????????⊕←f_1⋀f_2⋀f_3…⋀f_L 右侧为规则体：由L个逻辑文字组成的合取式。 左侧为规则头：逻辑文字组成的目标类别或概念。规则集：若干个逻辑规则组成的...
2019-09-16 23:11:15
3818
原创 Spark-SQL-Python编程
使用Pycharm来实现Spark-SQL。from pyspark import Rowfrom pyspark.sql import SparkSessionfrom pyspark.sql.types import StructField, StringType, StructTypeif __name__ == "__main__": spark = SparkSes...
2019-08-11 16:25:28
1007
原创 SQL-DQL
我们在MySQL和Spark-SQL使用过程中，常用的DQL如下。// 查询SELECT xx FROM table;SELECT * FROM table;SELECT DISTINCT xx FROM table;// + - * / 运算SELECT xx*1.5 FROM table;SELECT xx+xx FROM table;// 条件查询SELECT xx...
2019-08-09 16:11:13
260
原创 Spark-SQL-Scala编程
使用Scala语言编程例程：方式一：通过 case class 创建 DataFrames（反射）//定义case class，相当于表结构case class People(var name:String,var age:Int)object TestDataFrame1 { def main(args: Array[String]): Unit = { val con...
2019-08-07 18:55:08
323
原创 Spark-SQL-Java编程
认识：最核心的编程抽象就是DataFrame。原理：将Spark SQL 转化为 RDD， 然后提交到集群执行。SparkSession：统一的切入点，实质上是SQLContext和HiveContext的组合。允许用户通过它调用 DataFrame 和 Dataset 相关 API 来编写程序DataFrame：以RDD为基础的分布式数据集，二维表格。schemaRDD，比RDD多了...
2019-08-07 17:34:49
403
原创 PySpark实践
大数据入门与实战-PySpark的使用教程：https://www.jianshu.com/p/5a42fe0eed4dPySpark – SparkContextclass pyspark.SparkContext ( master = None, appName = None, sparkHome = None, pyFiles = None, e...
2019-08-03 23:52:54
217
原创 spark实践
最权威的官网：http://spark.apache.org/--master // master 的地址，提交任务到哪里执行，例如 spark://host:port, yarn, local--deploy-mode // 在本地 (client) 启动 driver 或在 cluster 上启动，默认是 client--class // 应用程序的主类，仅针对 java ...
2019-08-03 22:47:37
62150
原创 Hadoop+Spark集群配置
重要参考文献：http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/准备工作操作系统：Ubuntu-14.04.1-desktop-amd64 Hadoop 版本：hadoop-2.7.2：包含文件管理系统 HDFS 和任务调度系统 YARN Spark 版本：spark-1.6.1-bin-without-hado...
2019-07-28 17:24:44
466
原创 CDN - 初理解
CDN背景：传统模式下，用户的URL请求由DNS域名解析，直接得到相应源站的IP地址，获取内容。源站在内容交付过程中，尤其是在相应大规模并发请求的情况下，由于源站本身资源受限，导致网络阻塞、相应速度缓慢的现状。相应的解决方案是：构建内容交付网络（CDN），首先通过负载均衡来调度获得距离用户最近路径的CDN节点，引入缓存Cache服务来替代租户源站，来交付用户请求的数据需求与内容，缓解源站压力，...
2019-07-27 09:46:08
425
原创 Spark - 初理解
计算引擎Spark是什么？专为大规模数据处理的快速通用的计算引擎（基于MapReduce算法实现的分布式计算）。Spark特性高级 API，可以更多精力专注于应用所要做的计算本身。Spark 提供了80多个高级运算符。 快，支持复杂算法和交互式计算。内存计算下：Spark比Hadoop快100倍。 通用引擎，运算：SQL 查询、文本处理、机器学习等。大量的库无缝组合使用：Sp...
2019-07-26 14:58:48
153
原创 Hadoop - 初理解
Hadoop是什么？大量数据进行分布式处理的软件框架，存储HDFS和计算Map/Reduce，像使用单机一样使用分布式，用户可以不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速计算和存储。Hadoop背景与现状？大型企业将Hadoop 技术运用在自身的服务中。 Hadoop解决方案的商业型公司也纷纷跟进，提供Hadoop的商业服务。 越来越多的企业将Had...
2019-07-26 10:30:05
179
原创 AI基础原理篇（一）
人工智能基础总结历史：1950：图灵测试，机器智能的度量1956 - 1974：黄金发展期1956：会议，AI研究领域诞生1958：第一个AI程序，逻辑理论家（LT）1965：医学诊断方法程序1974 - 1980：第一个冬天1980– 1987：繁荣期，决策树模型，多层人工神经网络（ANN）1987 - 1993：第二个冬天1993 – Now：爆发期...
2019-07-13 17:58:18
3503
原创 监督分类器
监督分类器总结分类器具有学习能力的描述：通过数据提高分类器的分类表现！！！1 监督回归问题中的：线性回归、多元线性回归、非线性回归2 分类标准中的：伯努利分布的Logistic二分类和多项式分布的Softmax多分类3 距离法则和投票法则的KNN4 小规模数据十分效果的决策树5 超平面方法的SVM6 神经网络中的稀疏编码1 线性回归、多元线性回归、非线性回归从回...
2018-07-26 16:49:50
3826
原创 算法时间复杂度与空间复杂度分析
时间复杂度分析：XXXXXXXW：O（N^3）1秒内可以处理大约10^2量级的数据插入排序法：O（N^2）1秒内可以处理大约10^4量级的数据选择排序法：O（N^2）1秒内可以处理大约10^4量级的数据归并排序法：O（NlogN）1秒内可以处理大约10^7量级的数据寻找数组中最大/最小值：O（N）1秒内可以处理大约10^8量级的数据二分查找法：O（logN）1秒内可以处理大约10^10量级的数据二...
2018-07-10 17:35:52
6972
原创 算法无好坏，优化最关键
算法是一个思考过程，独特的见解很重要！！！撇开实际问题，单纯讨论一个算法的好坏优劣是没有意义的，在解决一个实际问题中，“好的算法”并不一定有效，“差的算法”并不一定就不是最适合的算法，往往一个算法与实际问题的契合度最为关键。那么什么是最好的算法：针对一个实际问题，考量各方面的因素，选择一个算法的大的方向和众多可以优化的小点，不断去优化的算法是针对这个问题的最好的算法。可以考量的潜在因素：1 考虑数...
2018-07-04 09:51:56
781
原创 泊松克隆-图像融合
五个步骤：1. 图片读取2. 求取图像的梯度场可以通过差分的方式求取图像的梯度场，包括source图像和destination图像。3. 求解融合图像的散度计算融合后图像每个像素的散度值。4. 泊松重建根据已知的图像散度和边界条件，建立泊松方程，并求解。5. 图像融合效果源代码：#include<opencv2\opencv.hpp>...
2018-06-01 20:23:22
1609
原创 无法启动此程序，因为计算机中丢失VCRUNTIME140D.dll 尝试重新安装此程序以解决此问题
一般可以配置一下两项：1.项目 -> 配置属性->常规->MFC的使用 :在静态库中使用MFC。2.项目 -> 配置属性->C/C++->代码生成->运行库 :选择 多线程调试（/MT）。编译时，选择的是release，win32（这个选择项在工具栏的debug选框中，一般我们使用debug方式）...
2018-05-04 14:42:07
36770
6
原创 Microsoft C++ 异常: 内存位置 0x00dde3e0 处的 cudaError_enum
问题描述：内存位置 0x00dde3e0 处的 cudaError_enum原因：CUDA版本 与 GPU版本 不兼容导致！！！建议：去nvidia官网查询当前gpu兼容的cuda！！！test01.exe 中的 0x779208c2 处最可能的异常: Microsoft C++ 异常: 内存位置 0x00dde3e0 处的 cudaError_enum。test01.exe 中的 0x7792...
2018-03-14 15:49:49
1481
原创 win10上cmake编译opencv-gpu32 位 版本（vs2010 IDE）
关于64位opencv-gpu 跳转：http://blog.csdn.net/dlphay/article/details/79007815配置：实测可用：win10x64 + cuda5.0(32位笔记本版本) + vs2010 + CMake3.9.6Checking for Windows (Phone) Platform SDK 8.0/8.1Checking for Visual S...
2018-03-13 17:18:22
1073
原创 cpp note
2018.03.06:1 const 常量会在编译时被全部替换。const int i = 0; auto b = i; // b 是一个整数！！！ 从顶层const特征被忽视。2 auto 一条语句声明多个变量时,初始基本数据类型得一致。auto i = 0, *p = &i; // 正确auto i = 0, j = 3.14; // 错误auto &h = 42...
2018-03-13 09:57:11
483
原创 CMake Error: The following variables are used in this project, but they are set to NOTFOUND.
CMake Error: The following variables are used in this project, but they are set to NOTFOUND.错误引发的深思：关于opencv2.4.13.2在cmake（3.9.6版本）编译为(vs IDE 32位架构下支持的)opencv_gpu包，过程中，选择Visual Studio 14 2015（注意与Visua...
2018-03-09 21:21:30
34168
原创 mfc单文档简介代码实例
//我们功能按钮命令的ID分别为ID_32771和ID_32772#define ID_32771 32771#define ID_32772 32772//在CDllUseDemoView.h头文件中CDllUseDemoView类中进行声明class CDllUseDemoView : publi...
2018-03-04 16:56:12
3164
3
原创 mfc单文档框架剖析
要看具体的代码实例请跳转：点击打开链接通过一些宏定义实现：IMPLEMENT_DYNCREATEBEGIN_MESSAGE_MAPIMPLEMENT_DYNCREATE(class_name,base_class_name)说明：通过DECLARE_DYNCREATE宏来使用IMPLEMENT_DYNCREATE宏，以允许CObject派生类对象在运行时自动建立。主机使用此功能自动建立对象，例如...
2018-03-04 15:22:47
2189
原创 基于sift特征的动态场景小目标跟踪算法
初始检测得到运动目标中心坐标点P（x，y）、宽度width、高度height和pt1和pt2坐标点信息。第1步： n1 = sift_features(image, &feat1,1,pt1,pt2 ); 计算目标区域扩大一点，再计算其特征点描述信息。 具体区域大小： n=1/pow(2.0,o); a...
2018-03-01 20:15:11
2996
1
原创 blob检测多目标
opencv版本： vector keypoints; SimpleBlobDetector::Params params; params.filterByArea = true; params.minArea = 2; params.maxArea = 100; IplImage* img_cpu_AA = cvLoadImage(path_image[INTERVAL_IMAGE
2018-01-31 17:37:30
910
原创 opencv（gpu模块）
FGDStatModel：包含复杂背景的视频中的前景对象检测MOG_GPU：基于高斯混合的背景和前景分割算法MOG2_GPU：Improved Adaptive Gaussian Mixture Model for Background SubtractionGMG_GPU：背景减法器模块BroxOpticalFlow：光流（计算出相邻帧之间物体的运动信息的一种方法，光流是由于
2018-01-30 19:07:05
1342
原创 SIFT、ORB算法（SSE，GPU）加速
对于特征点匹配算法，特征点的提取计算消耗的时间决定了算法是否能达到实时的要求，在速度提升上面做了一些工作总结特点和区别SIFT特征是图像的局部特征，对平移、旋转、尺度缩放、亮度变化、遮挡和噪声等具有良好的不变性，对视觉变化、仿射变换也保持一定程度的稳定性。ORB：An Efficient Alternative to SIFT or SURF”的文章中提出：http://iee
2018-01-10 11:25:38
6558
2
原创 win10上cmake编译opencv-gpu版本（vs2015 IDE）
opencv的GPU版本的编译工作搞了很长时间，总结一下：tools:小新锐7000 : windows10 x64oepncv2.4.13.2 : htps://sourceforge.net/projects/opencvlibrary/files/opencv-win/2.4.13/opencv-2.4.13.2-vc14.exe/downloadvs2015 : 使用的oepncv2.4....
2018-01-08 22:09:41
4662
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人