- 博客(53)
- 收藏
- 关注
RSS订阅原创 java调用c++，使用clion进行JNI开发，ddl包生成以及so包生成
jni编程开发，clion打包ddl包，cmake构建so包问题，java调用c++
2024-03-29 11:38:54
1098
6
原创 公私钥加解密和签名验证及license生成
这个主要使用自己服务提供者自己的公私钥对生成加密的license数据信息，和签名信息，license的数据信息可以不使用公钥进行加密，使用其他的加密算法的话，才不不需要将自己的私钥暴露出去，主要使用自己的私钥进行签名，然后提供公钥，签名后的信息，加密license信息三个出去，使用方用公钥进行签名验证，通过了则用具体的解密算法解析license数据，查看生效时间啥的。具体实现看generateLicense方法。
2023-05-11 10:27:51
1938
原创 linux和hdfs的用户权限列表777，分别代表什么
操作文件的用户，有三种，分别是文件所有者，群组用户，其他用户，分别对应777中每一个7的权限，即777代表着文件所有者、同一群组用户、其他用户的权限都是7，都可以读写执行该文件目录。不管linux目录还是hdfs上的目录权限控制，目录都有权限列表，用户拥有者，拥有者所在组。
2023-03-16 20:32:42
1250
原创 java将map中的值复制到另一个map中
需要将一个sourceMap中设置的属性值copy到另一个targetMap中去，要求在sourceMap中没有设置的值，targetMap要保持不变，并且支持List中有Map的情况的复制。**解决方案：**递归复制map中的值，List中如果是map的话则继续递归复制值。
2023-03-15 11:41:58
3791
原创 JSON parse error: Illegal character ((CTRL-CHAR, code 31)): only regular white space (\r, \n, \t)
http传参过长导致参数解析json报错
2022-10-26 14:42:00
10822
3
原创 hdfs文件写入hive报错statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.
通过kerberos认证后通过jdbc访问hive数据库，对数据库进行创表后准备从hdfs中插入数据，插入dir目录下的所有csv文件片段数据，报错java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTasksql = "load data inpath '/xxx/dir/*.csv'
2022-03-07 13:32:24
2539
原创 dask使用kerberos认证读取hive数据库
dask使用kerberos认证读取hive数据库1、首先主机需要有KERBEROS客户端，测试kinit命令是否存在；2、执行kinit -kt xxx.keytab xxx/[email protected] 在此之前需要确认xxx.keytab 文件正确，以及/etc/krb5.conf配置文件配置正确下面是krb5.conf, 以下的配置和代码中的Example需要替换为自己的目标配置kerberos.example.com 这个配置是hive所在主机的映射名，可在/etc/host
2022-03-02 18:04:21
2406
原创 浅拷贝与深拷贝以及BeanUtils.copyProperties()
浅拷贝：BeanUtils.copyProperties();是属于浅拷贝的。浅拷贝即是只拷贝了对象的属性，比如原始对象A，拷贝到B，如果对象A的属性还是一个对象，并不会对属性的对象进行copy，而是直接引用，如果直接一个属性是对象x，直接修改该对应对象x的属性，是会对原始对象A也最到修改的，具体看一下的测试代码深度拷贝：可以通过序列化和反序列化来实现深度拷贝即是拷贝对应的属性，以及如果属性是对象的话，也会对其属性做拷贝。import java.io.*;import java.util.List
2021-12-28 17:26:26
2383
原创 window10 使用smb连接远程电脑的文件夹[打开smb服务和连接巨坑]
注：网上关于smb的win10打开服务的乱七八糟，搞了好久没搞定，最后才发现是路径写法问题…1、如果你什么都配置好了然后发现使用smb://156.26.51.55 在打开“我的电脑”，然后如下输入此地址，发现怎么都连不到，那么你就入坑了。应该直接双斜杠+ip地址，如下，如果有具体的共享的文件夹的话就把路径跟在后面。不需要加smb前缀，也不能用 // ，要用 \\,然后输入对应的账户和密码就完事了。2、如果你是没有打开smb服务，那么继续往下看，打开控制面板进入把这两个勾选上，确认后重启
2021-09-09 15:07:56
54365
2
原创 linux上mysql安装和配置
1、先安装wgetyum -y install wget #安装wget2、添加mysql源wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpmrpm -ivh mysql-community-release-el7-5.noarch.rpm3、下载安装mysqlyum install mysql-server4、更改mysql权限chown root /var/lib/mysql/service m
2021-08-30 18:32:32
178
原创 spark的安装和配置
1、下载spark压缩包到linux进行解压2、配置环境变量文件#编辑配置文件vim /etc/profile#添加下面两行export SPARK_HOME=/software/sparkexport PATH=$PATH:$SPARK_HOME/binexport PATH=$PATH:$SPARK_HOME/sbin3、配置主机信息#进入conf目录中cd /software/spark/conf#先从提供的模板中复制slaves和spark-env.sh文件cp sl
2021-08-30 18:29:00
1211
原创 ssh免密设置
虚拟主机master、主机slave1，主机slave21、先在master下操作ssh-keygen2、进入ssh下,将ssh下的id_rsa.pub追加到文件authorized_keys下，即将密钥存放进去cd ~/.sshcat id_rsa.pub >> authorized_keys3、将密钥传给另一台主机，传递的时候如果有询问，然后输入root设置的密码就可以scp authorized_keys slave1:~/.ssh // slave1在此是在/
2021-08-30 18:22:31
379
原创 hadoop分布式环境配置
提示：这篇文章搭建的分布式首先要有两台或以上的虚拟机，hadoop基本环境没有搭建好的线搭建好java和hadoop，可以看我前面的文章。slave这个文件在最新版中是workers先 cd /software/hadoop/sbin 进入配置文件的目录下1、配置core-site.xmlvi core-site.xml按 i 进入编辑状态，将下面内容复制进入，按esc退出编辑状态，然后 :wq 保存修改，修改必须是在root权限下<configuration> <
2021-08-30 18:18:49
2554
原创 使用mobaxterm连接虚拟机或者远程服务器
1、下载个连接工具，我这里使用mobaxterm，其他连接工具的连接操作都类似的，基本通过ssh连接，下载完事之后点击session创建一个连接2、选择ssh创建连接3、配置基本信息点击new设置root权限信息或者linux配置的用户信息都可以，权限会有所不同4、点击ok就完事了，能够成功连接就会出现linux命令端口，连接要稍等一会，要是没有出现下面的信息大概就是成功连接了,出现下面的情况的话那就是配置有问题，那么恭喜你，成功踏入linux连接第一坑，慢慢百度哈哈哈哈（我也入过坑）
2021-08-30 18:11:38
5276
原创 在centos上配置java和hadoop基本环境配置
提示：centos系统可能默认带有java环境，想要统一管理重新安装java的话要先删除原版的java1、创建两个文件夹来存放mkdir -p /data/packsmkdir /software通过mobaXterm等连接工具(不知道怎么用连接工具连接虚拟机服务器的话可以看下我的其他文章或者直接百度)，将下面两个压缩包上传指定的位置，这里我用/data/packs存放2、加压缩安装tar zxvf /data/packs/hadoop-3.2.2.tar.gz -C /softwaret
2021-08-30 18:00:44
212
原创 克隆虚拟机
1、2、点击下一步一直到如下，选择创建完整克隆3、选择指定的路径点击完成就进行克隆了注意：克隆之后的虚拟机和之前的虚拟机的root密码等都是一致的。
2021-08-30 17:56:57
85
原创 虚拟机集群构建
1、创建三个文件夹存在虚拟机，一会将创建的虚拟机放到这里来2、新建虚拟机，选择自定义，下面的全部直接下一步选择稍后再安装3、根据需要分配内存4、接着按图操作5、根据需要配置硬盘存储，这里给50g并不是意味着硬盘就没了50g的存储量，这是会根据虚拟机的用量来定的6、配置镜像，镜像需要去官网下载，配置后确定。7、点击开启虚拟机8、光标点击虚拟机界面，上下键选择install centos 7，进行下载，稍等一下即可9、下拉选择中文10、设置时间11、设置分区点
2021-08-30 17:52:51
1903
原创 linux常规操作，向其他服务器传递文件等
1、scp远程传输命令，slave1必须是在hostname文件中配置好的地址映射，是另一台主机的访问ip映射，将本地的hosts传输到slave1主机的etc文件夹下，如果没有设置好地址映射的话，就将slave1换为你要接受文件的主机的ip地址scp /etc/hosts slave1:/etc传输文件夹的话加上-rscp -r xxx yyy2、mkdirmkdir -p /data/packsmkdir /software3、解压缩tar zxvf hadoop-3.2.2.ta
2021-08-30 17:39:45
584
原创 linux发布jar包到tomcat且退出命令窗口不关闭tomcat服务
1、首先通过MobaXterm或者其他工具远程连接到服务器2、进入到jar存放的文件夹下面，使用如下命令nohup java -jar xxx.jar >logs.txt &logs.txt 是指定输出的日志文件，如果不指定>logs.txt 那么会在jar包的目录下生成nohup.out日志文件。这样启动的服务是在后台运行的，就算关闭命令窗口服务也依然存活。如果想直接看到服务输出日志，并且在关闭命令界面后自动关闭服务的话，可以使用以下命令，该方式也可以通过ctrl+c断开服务
2021-08-16 16:33:58
480
原创 为什么java中的函数传参都是值传递，传对象参数的时候为何不是引用传递？
首选明确什么是值传递，什么是引用传递。1、值传递：值传递是对于基本类型变量而言的，传递的是该变量的一个副本，改变副本不改变原变量；2、引用传递：传递的是该对象地址的一个副本，对引用对象进行操作会同时改变原对象本身；class TreeNode(){ int val; TreeNode left; TreeNode right; TreeNode(int val){ this.val=val; }}public class{ public static void test(int
2021-03-16 00:06:07
287
原创 springboot使用redis时候的autowired报错问题， Failed to load ApplicationContext报错，maven的jar包无法导入idea的library问题
错误1：springboot中使用redis的时候，使用autowired的时候报错如下：NoSuchBeanDefinitionException: No qualifying bean of type ‘org.springframework.data.redis.core.StringRedisTemplate’，代码中爆红如下图如下图，插入以下代码进行自动配置，Spring Boot会自动根据你jar包的依赖来自动配置项目。比如Spring Boot会创建默认的内存数据库的数据源DataSou
2021-01-09 17:31:07
869
原创 java的基于NIO的socketChannel（无阻塞IO）
Server：package SocketTest;import java.io.IOException;import java.net.InetSocketAddress;import java.nio.ByteBuffer;import java.nio.channels.SelectionKey;import java.nio.channels.Selector;import java.nio.channels.ServerSocketChannel;import java.nio
2020-12-04 11:25:05
269
原创 多益网络人工智能面试和入职问题
1、简单自我介绍2、网测的智商检测问题怎么看？3、分别介绍两个项目4、基于第一个项目，有没有做过法律相关的知识图谱构建来优化模型结果？5、基于第二个项目，在做方案研究的时候就只是模型的融合，有没有参考相关的比较可靠的论文？6、在法律文书的智能判案结果这方面的不可解释性上应该怎么解决？7、xgboost，讲了基本思想，节点分裂方式，预测分数加权计算8、rnn，讲了rnn的基本结构和应用9、怎么解决过拟合问题？10、crf基本思想？11、是否考研？12、是否随时到岗？还有多少课程？13、
2020-07-22 22:45:33
2348
原创 数字图像处理论文解读- 双边滤波效果 - Bilateral Filtering for Gray and Color Image
一、有效性双边滤波通过高斯低筒计算领域像素值的加权平均，而权值的设定是随距离中心点而减小的，因此图像在空间上变化缓慢，附近可能会有相似的值，通过平均那么附近的噪声就会被均衡化。双边滤波效果与标准过滤相比，双边滤波在彩色图像的边缘不产生任何幻影颜色，并且减少了它们出现在原始图像中的幻影颜色。双边滤波不只考虑对位置中心的影响，还介入了卷积核中像素与中心像素之间的相似度，结合位置和相似性生成两权重表...
2020-05-24 23:15:39
959
原创 xgboost基本思想、节点分裂与公式详解
一、简单理解xgboost基本思路xgboost融合了集成的思想，是n棵树模型的融合。比如下图，首先生成tree1模型，再生成tree2模型，然后再把这两个简单的模型最终得分累加起来，作为对应的数据的预测得分。如下图的判断一个人是否爱玩游戏，男孩在tree1这边的树模型，从叶子结点可知得分是2，在tree2模型可知得分是0.9.则男孩的累积得分是2.9。（实际模型中还可根据情况进行加权累积）。老爷爷这个角色也同理，在tree1得分为-1，在tree2得分为0.9，累积得分0.1。而tree1生成1和t
2020-05-24 20:59:24
3638
原创 jpcapx64的配置安装
直接运行WinPcap_4_1_3.exe,安装jpcap的环境需求，然后将jpcap.dll文件复制到 java/jdk/jre/bin 目录下面（注意选择32bit还是64bit的），将jpcap.jar 复制到 java/jre/lib/ext 中 以及 java/jdk/jre/lib/ext中最后再编译平台将jacap.jar添加到自己的jar库中去即可测试代码：import ...
2019-12-22 17:53:28
935
原创 k-mean聚类算法
一、概述算法：从数据集合从随机选择k个对象作为初始簇中心重复：遍历数据集D中的每个对象p计算p到k个簇中心的距离将对象p分配到最近的簇中更新对象的均值，作为新的簇中心直到k个簇的中心点不再变化。二、代码实现# -*- coding: utf-8 -*-# @Time : 2019/10/16 13:30# @Author : ChenHanWu# @FileNam...
2019-10-17 18:28:43
292
原创 基于概率最大化的分词算法
一、算法介绍1、核心累积概率计算公式：P’(Wi)=P’(Wi-1) × P(Wi)2、算法概述：步骤：对一个带分词的字符串S，从左往右选出候选词W1,…Wn计算每个候选词的概率值，并记录候选词的全部左邻词计算候选词累积概率，选择累积概率最大的左邻接词为最佳左邻词如果Wn是字符串的尾部并且累积概率最大，那么Wn作为终点词从Wn开始，从右向左，输出对应词的最佳左邻词3、伪代码：3....
2019-10-17 16:41:53
1003
原创 特征抽取模型
Contextualized Word Embedding句子中的相同的token可能拥有不同的词向量，因为代表的意思不同。Embdeding from Language Model（ELMO）就是做到了相同的token拥有不同的词向量正向的embedding跟反向过来的embedding连接起来中间输出很多层的embedding，ELMO选择将其累加起来，并设置权重系数a1，a2比...
2019-09-16 18:21:32
1128
原创 自编码算法
一、简介AutoEncoder 自编码算法采用无监督学习方式进行训练，ta是一种尽可能复现输入信号的神经网络，为了实现复现，自编码器就必须捕捉到关键的输入因素，像PCA主成分分析一样，就可可以代表原来的信息的主要成分。...
2019-09-08 22:17:37
357
原创 MVC设计模式
M=Model 模型V=View 表现C=Control 控制数据表现和控制实现三者分离模型：保存和维护数据，提供接口让外部修改数据，通知表现需要刷新表现：从模型获得数据，根据数据画出表现控制：从用户得到输入，根据输入调整数据。比如用户通过control 改变位置（2,1）的信息为“aa” 那么model就通知view说自己的数据变化了，要view进行改变更新画出来。...
2019-09-08 17:54:52
140
原创 多词表达抽取
一、核心算法文本处理预处理过后，在此基础上对每个词条添加位置标签，形成每个词条的位置标签集，在进行停用词过滤以及同义词的合并处理，得到原子词条集；依照词条位置信息计算复合词条之间的同现度与相邻度，抽取复合词得到候选符合词集，最后通过对词集进行词性搭配分析，构建反规则模式集，并利用其进行筛选过滤，最后对被过滤的垃圾串进行两端逐步消减再识别。其中抽取算法和反规则筛选是关键点，抽取算法是用于从原子...
2019-09-06 00:36:47
398
原创 conda创建虚拟环境并在jupyter notebook中打开
1、创建虚拟环境conda create -n tfvenv python=32、指定到对应的虚拟环境activate tfenvs3、下载插件，在jupyter notebook中才能导入对应的虚拟环境conda install nb_conda4、如果上面的方法不行，那么activate tfenvs 进入对应虚拟环境后pip install ipykernel...
2019-09-01 17:50:10
4149
2
原创 java web 笔记2
<web-app id="WebApp_ID"version="3.0" xmlns="http://java.sun.com/xml/ns/javaee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://java.sun.com/xml/ns/javaee h...
2019-09-01 16:57:14
96
原创 cross_entropy交叉熵函数之间区别和优化原理
注：log在表示信息量时一般默认底为2一、熵信息量，假设每件事请发生的概率为P(i)熵用来标识所有的信息量的期望值二、相对熵（KL散度）对于一同一个随机变量x有两个单独的概率分布P(x)和Q(x)，用KL散度（Kullback-Leibler (KL) divergence） 来衡量这两个分布的差异。训练过程就是要把D（KL）最小化，使得预测值和准确值更加接近。三、交叉熵3....
2019-08-31 15:17:21
410
原创 复合名词抽取
1、基于规则的方法：主要通过领域语料进行大规模分析，根据复合词的构词特点，人归纳总结复合词构词规则库，利用这些规则库进行匹配抽取领域复合词。准确率高，难度大，规则以及实体关系的构建比较困难。2、基于统计的方法：利用统计策略提取出潜在的新词，然后再利用语言知识和其他统计方法学到的知识过滤干扰字串，eg：crf。基于统计的方法效率比较高，可移植性也比较高，普遍性好，就是准确率有时候不太理想。...
2019-08-29 23:03:18
611
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人