自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

liinux-Talk is cheap,show me the code.

【由于水平有限,本博客难免有不足,恳请各位大佬不吝赐教!】

  • 博客(472)
  • 资源 (152)
  • 收藏
  • 关注

原创 村上说

你要记得:那些大雨中为你撑伞的人,帮你挡住外来之物的人,黑暗中默默抱紧你的人,逗你笑的人,陪你彻夜聊天的人,坐车来看望你的人,陪你哭过的人,在医院陪你的人,总是以你为重的人,带着你四处游荡的人,说想念你的人,是这些人组成你生命中一点一滴的温暖,是这些温暖使你远离阴霾,是这些温暖使你成为善良的人。作者:我的开源项目:博客主页:https://blog.cs...

2020-01-05 23:31:20 409

原创 Linux中tmux多终端复用和Screen多窗口工具

如果你还没有用过screen和tmux,那真是太揪心了。他们俩的相同之处就是都解决了一个问题,不管你用的是putty,还是xshell。只要关闭当前窗口或者因为网络问题,窗口断开或者超时,之前键入的命令正在服务器上执行的命令都会“前功尽弃”。如果用了他俩其中一个,哪怕你在服务器上回车完命令把窗口关闭,也没有问题,任务继续进行,直至完成。但今天我们要说的是tmux,它比screen更强大,强大在哪里呢?因为tmux可以直接划分会话框,简单说可以使用同一个putty或者xshell,可以划分出好几个窗口,只要你

2021-06-02 21:02:11 1481

原创 bootstrap-table动态合并相同行和列的方法

先看看效果:var getData = ctx + "demo/table/list"; $("#table").bootstrapTable( { dataType : "json", method : 'post', cache : false, url : getData, columns : [ { checkbox : true }, { field : 'userId', title

2021-05-21 22:15:18 2753 1

原创 使用内存文件映射MappedByteBuffer读超大文件可能会遇到的问题

使用内存文件映射MappedByteBuffer读超大文件可能会遇到的问题这种方式存在一个致命问题就是依然没法读取超大文件(大于 Integer.MAX_VALUE),因为 FileChannel 的 map 方法中 size 参数会有大小限制,源码中发现该参数值大于Integer.MAX_VALUE 时会直接抛出IllegalArgumentException("Size exceeds Integer.MAX_VALUE") 异常,所以对于特别大的文件其依然不适合。本质上是由于 java.nio..

2021-04-27 23:38:45 1671

原创 Java8+函数式开发库Vavr使用入门

Java 8+ 函数式库Vavr功能简介1 概述Vavr 是Java 8+中一个函数式库,提供了一些不可变数据类型及函数式控制结构。1.1 Maven 依赖添加依赖,可以到maven仓库中查看最新版本。<dependency> <groupId>io.vavr</groupId> <artifactId>vavr</artifactId> <version>0.10.3</versio

2021-04-17 16:34:10 688

原创 FNV摘要HASH算法实战

HASH算法介绍Hash,一般翻译做“散列”,也有直接音译为“哈希”的,就是把任意长度的输入(又叫做预映射, pre-image),通过散列算法,变换成固定长度的输出,该输出就是散列值。这种转换是一种压缩映射,也就是,散列值的空间通常远小于输入的空间,不同的输入可能会散列成相同的输出,而不可能从散列值来唯一地确定输入值。 数学表述为:h = H(M) ,其中H( )--单向散列函数,M--任意长度明文,h--固定长度散列值。HASH算法的实际应用-加密常见的哈希加密算法:MD5,SHA-1,SH

2021-04-17 14:29:52 820

原创 程序开发中常用的密码学家的算法推荐清单

1. 背景文中所列出的推荐算法皆已经过全世界密码学家验证和各国际标准化组织认证, 并在市场中广泛应用, 有望在未来足够长的时间内保证安全性和实现性能。2. 密码学家的工具箱2.1 散列算法散列算法是密码学算法中非常重要的一个分支, 通过对所有数据提取指纹信息以实现数据签名、 数据完整性校验等功能。用于消息唯一性和数据完整性验证的散列函数, 其安全性依赖于函数本身的属性和对抗碰撞的抵抗, 因此散列函数的选择至关重要。MD 系列函数已宣告破解, 可被轻易伪造, 不能作为安全散列函数使用。

2021-04-17 13:33:55 568

原创 编程中常见的安全算法

注: 代码来源于自己的整理,全部测试通过,应该没有坑,使用中自己测试赠别。本文整理了常见的安全算法,包括MD5、SHA、DES、AES、RSA等,并写了完整的工具类(Java 版),工具类包含测试。一、数字摘要算法数字摘要也称为消息摘要,它是一个唯一对应一个消息或文本的固定长度的值,它由一个单向Hash函数对消息进行计算而产生。如果消息在传递的途中改变了,接收者通过对收到消息采用相同的Hash重新计算,新产生的摘要与原摘要进行比较,就可知道消息是否被篡改了,因此消息摘要能够验证消息的完整性。消

2021-04-17 13:08:18 306

原创 最快的摘要算法XXHash算法的JAVA实现

xxHash是一个非常快的哈希算法,能在限制速度的RAM上运行。 它成功完成了SMHasher测试套件,它可以评估散列函数的冲突,色散和随机性。 代码非常便于携带,所有平台上的散列都相同(小/大)。测试对比参考:https://blog.csdn.net/tianshan2010/article/details/115775292public class XXHash { private static final int PRIME1 = (int) 2654435761L; private

2021-04-17 01:38:28 2715

原创 最快的摘要HASH算法测试

最快的摘要HASH算法测试xxHash我们常见的HASH算法有MD系列,目前最快的HASH算法XX系列。Hash Name Width Bandwidth (GB/s) Small Data Velocity Quality Comment XXH3(SSE2) 64 31.5 GB/s 133.1 10 XXH128(SSE2) 128 29.6 GB/s 118.1 10 RAM s...

2021-04-17 01:30:53 2018

原创 短文本相似度比较:simHash简介以及java实现

SimHash 简介以及 java 实现传统的 hash 算法只负责将原始内容尽量均匀随机地映射为一个签名值,原理上相当于伪随机数产生算法。产生的两个签名,如果相等,说明原始内容在一定概 率 下是相等的;如果不相等,除了说明原始内容不相等外,不再提供任何信息,因为即使原始内容只相差一个字节,所产生的签名也很可能差别极大。从这个意义 上来 说,要设计一个 hash 算法,对相似的内容产生的签名也相近,是更为艰难的任务,因为它的签名值除了提供原始内容是否相等的信息外,还能额外提供不相等的 原始内容的差异程度

2021-04-12 23:15:21 996

原创 Java中Map按照键或者值排序以及TreeMap按照值排序的方法

import java.util.ArrayList;import java.util.Collections;import java.util.Comparator;import java.util.HashMap;import java.util.LinkedHashMap;import java.util.List;import java.util.Map;import java.util.Map.Entry;import java.util.TreeMap;import ...

2021-04-12 22:29:29 726

原创 Maven打包SpringBoot项目时分离依赖JAR,配置文件时POM文件的参考配置

背景需求:springboot项目开发完毕后,构建成jar包可直接运行(nohup java -jar xxx.jar &),无需再部署至tomcat,使用起来很方便。 但是实际在公司应用中需要做打包配置,把项目依赖的配置和第三方jar抽取出来,做成如下所示的结构;目的在于:1)实际生产环境的配置和本地配置肯定有区别。这样在实际上线时只需要单独修改配置文件重启即可;2)如果某个依赖jar有修改,则只需要替换依赖的jar并重启即可,不需要重新全部再次打包上传服务器;3)在传统j

2021-04-11 14:18:43 782 1

原创 基于Echarts5实现的动态排序柱状图

动态排序柱状图,先看看效果吧:后端代码:https://gitee.com/tigerxue/springboot-echarts-examples/blob/master/tompai-parent/tompai-echart/src/main/java/com/tompai/wsocket/controller/EchartsController.java具体前端代码:<!DOCTYPE html><html style="height: 100%" la.

2021-01-31 22:21:14 8691 13

原创 如何保证API接口数据安全?

前言前后端分离的开发方式,我们以接口为标准来进行推动,定义好接口,各自开发自己的功能,最后进行联调整合。无论是开发原生的APP还是webapp还是PC端的软件,只要是前后端分离的模式,就避免不了调用后端提供的接口来进行业务交互。网页或者app,只要抓下包就可以清楚的知道这个请求获取到的数据,这样的接口对爬虫工程师来说是一种福音,要抓你的数据简直轻而易举。数据的安全性非常重要,特别是用户相关的信息,稍有不慎就会被不法分子盗用,所以我们对这块要非常重视,容不得马虎。如何保证API调用时数据的安全

2021-01-31 21:03:47 2133

原创 JDK8下载 (jdk-8u271-windows-x64和jdk-8u271-linux-x64.tar)

jdk-8u271-windows-x64 和 jdk-8u271-linux-x64.tar 国内下载地址:链接:https://pan.baidu.com/s/1UAxEWfbJbL-sAN2s-nwD4A 提取码:1234原地址:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html下载需要注册,在此放一份备份下。JDK各版本维护时间表:jdk8--十大新特性一...

2021-01-17 23:19:33 5556

原创 Java中操作SFTP服务器上的文件下载上传

依赖用的是jsch官网是http://www.jcraft.com/jsch/import com.jcraft.jsch.*;import java.io.File;import java.util.Vector;/** * Created by tomoya at 2019-08-14 */public class SFTPUtil { private static ChannelSftp channel; private static Session sessio...

2021-01-10 21:05:46 256 1

原创 Java使用apache commons连接ftp修改ftp文件名失败原因

今天被ftp上中文名修改坑了好久项目用的是 apache commons 里的 FtpClient 实现的对ftp文件的上传下载操作,今天增加了业务要修改ftp上的文件名,然后就一直的报错,问题是它修改名字的方法只返回一个boolean,没有异常,这就很蛋疼了,找了好久才发现是中文的名字的原因改名直接上代码package net.codejava.ftp;import java.io.IOException;import org.apache.commons.net.ftp.F.

2021-01-10 21:04:32 267

原创 电脑基本快捷键,你知道多少?

1、Ctrl + C :复制这个不多说,大家都懂。2、Ctrl+ V :粘贴这个也不多说,大家也都懂。3、Ctrl+ X :剪切这个大家也应该懂。剪切文件、剪切文字等。4、Ctrl+ Z :退回上一步在 Word 中,如果想退回上一步,可直接使用此快捷键。在 Windows 中,如果不小心剪切或删除了文件,使用此快捷键可以撤回。5、Ctrl+ F :查找这个查找快捷键是比较通用的,可以在 Word、网页等软件使用。6、Ctrl+ A :全选可以快速全选文...

2021-01-10 19:02:38 1002

原创 CentOS 7安装 MySQL 8 数据库

本教程手把手教你如何在 Linux 安装 MySQL 数据库,以 CentOS 7为例。1. 下载并安装 MySQL 官方的 Yum Repositorywget -i -c https://repo.mysql.com//mysql80-community-release-el7-1.noarch.rpm使用上面的命令就直接下载了安装用的Yum Repository,大概25KB的样子,然后就可以直接yum安装了。yum -y install mysql80-community-r

2021-01-10 18:49:48 91

原创 记风雨兼程的2020年,2021年,我来了!

2020年度总结一、前言:病毒无情,人间有爱  在忙碌的学习中,时间飞快的又迎来了新的一年。2020这一年是有意义的、有收获的。这是我第一次在博客上写年度总结报告,希望能够写的好一些。  2020开年之初,每个人都在忙碌着生活。但是接下来发生的事情,是每一个人都意想不到的,当然其中也有包括我。早在2019年12月的时候就有消息说有新的肺炎出现,但是对于每个人感觉可能这个病没有那么严重,并未得到重视。在1月20日的时候,已经出现了严重的情况。任何人这时候明显对这个肺炎感到了有一定的压迫力,但是还.

2020-12-31 00:07:39 245 2

原创 基于WebSocket实现的前端实时声音告警提醒功能

原理介绍:项目需求 Web端播放实时音频流,折腾了两天后问题得以解决。记录下开发调试过程,方便后来者。首次想到是利用Audio标签,Audio标签可以直接播放MP3格式,服务端将实时音频流编码成WAV格式通过Http方式传给Web端即可。采用Audio Web API方式播放实时流会出现卡顿现象,以上方法一次性解码的数据可以连续播放,每次解码后要重新创建BufferSource,显而易见这种播放模式播放实时流效率很低,查阅了Audio Web API 文档 播放网络流似乎要利用,基于AudioWorkl

2020-12-30 13:46:12 2515

原创 IDA Pro7使用总结

一些二进制工具在《IDA pro权威指南》的开篇一两章中,先是介绍了几款常用于二进制研究的工具,我这里简单的记了几个,介绍一波:C++filt:可以用于显示出c++中复杂的重载后的函数名称PE tools:是一组用于分析Windows系统中正在运行的进程和可执行文件的工具string:可以用于直接搜索出elf文件中的所有字符串参数-a 表示搜索整个文件,参数-t 可以显示出每一个字符串的偏移,参数-e 可以用于搜索更多的字符编码的字符串,如Unicode编码strip:可用于

2020-12-30 13:37:58 764

原创 mysql explain用法和结果的含义

explain显示了mysql如何使用索引来处理select语句以及连接表。可以帮助选择更好的索引和写出更优化的查询语句。使用方法,在select语句前加上explain就可以了:如:explainselectsurname,first_nameforma,bwherea.id=b.idEXPLAIN列的解释:table:显示这一行的数据是关于哪张表的type:这是重要的列,显示连接使用了何种类型。从最好到最差的连接类型为const、eq_reg、ref、range、in...

2020-12-26 21:08:20 90

原创 Mysql千万级数据查询优化技巧

1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:select id from t where num=03.应尽量避免在 where 子句中使用!=或<>操作符,否则引擎将放弃使

2020-12-26 21:06:35 159

原创 linux设置开机自启动的方式总结

一、在/etc/rc.local文件中添加自启动命令执行命令: 编辑"/etc/rc.local",添加你想开机运行的命令运行程序脚本:然后在文件最后一行添加要执行程序的全路径。例如,每次开机时要执行一个hello.sh,这个脚本放在/usr下面,那就可以在"/etc/rc.local"中加一行"/usr/./hello.sh",或者" cd /opt && ./hello.sh "注意,你的命令应该添加在:exit 0 之前二、在/etc/init.d目录下添加自.

2020-12-04 22:58:59 604

原创 7z增量更新参数使用

7Z下载地址:https://www.7-zip.org/前言前段时间得到一个任务,需要对代码增量备份。然后就想到了用压缩软件7z的u参数。7z.exe u E:\works\tool\code.zip -u- -up0q3x2z0!E:\works\tools\code-update.zip E:\works\code\*说明:对E:\works\code目录下的文件进行增量压缩,E:\works\tool\code.zip【前一段时间E:\works\code\*目录下文件的压缩备.

2020-12-03 00:37:39 861

原创 在线协作编辑算法简介- OT算法

相信大家或多或少都有使用过在线文档,国内的像我们在做的腾讯文档还有其他家的很多类似产品。今天主要为大家揭开在线协作的神秘面纱,那就是OT算法。0x01 背景在线文档,抽象一下,这些产品的模式都是富文本编辑器+后台,富文本编辑器产生内容,展示内容,然后后台负责保存。富文本编辑器现在业界已经有很多成熟的产品,像codeMirror,这一块本身也是很复杂的一块,也不是咱们这次关注的重点方向。不知道大家平常在用这些产品的时候有没有思考过一个问题,在线文档编辑的时候产生冲突怎么办?0x02 举个栗子...

2020-11-14 19:55:07 3507 2

原创 利萨茹(Lissajous)曲线动画演示

Lissajous 曲线的动画演示随着常数 m 和 n 的变化,参数方程 x = sin(m · t), y = sin(n · t) 将会画出一系列漂亮的曲线。法国物理学家 Jules Antoine Lissajous 曾在 1857 年研究过这类曲线,因此人们把它叫做 Lissajous 曲线。我在reddit上看到了一个 Lissajous 曲线的动画演示,觉得看起来确实非常爽;但那个动画里没有解释曲线的生成方法,很多细节也有让人不太满意的地方,于是决定自己制作一个。这个动画展示的是 m =..

2020-11-02 01:20:42 2059

原创 Python:*.whl is not a supported wheel on this platform.

pip debug --verboseWARNING: This command is only meant for debugging. Do not use this with automation for parsing and getting these details, since the output and options of this command may change without notice.pip version: pip 20.2.3 from c:\pytho...

2020-09-19 23:03:27 295

原创 小白Linux入门之:终端复用器Tmux使用参考

Tmux 是一个终端复用器(terminal multiplexer),非常有用,属于常用的开发工具。本文介绍如何使用 Tmux。一、Tmux 是什么?1.1 会话与进程命令行的典型使用方式是,打开一个终端窗口(terminal window,以下简称"窗口"),在里面输入命令。用户与计算机的这种临时的交互,称为一次"会话"(session)。会话的一个重要特点是,窗口与其中启动的进程是连在一起的。打开窗口,会话开始;关闭窗口,会话结束,会话内部的进程也会随之终止,不管有没有运行完.

2020-08-13 13:53:44 276

原创 Windows系统下,tracert路由跟踪指令详解

在Windows系统下是执行Tracert的命令:Tracerthostname参数说明:tracert[-d] [-h maximum_hops] [-j computer-list] [-w timeout] target_name参数-d指定不对计算机名解析地址。-h maximum_hops指定查找目标的跳转的最大数目。-jcomputer-list指定在 computer-list 中松散源路由。-w timeout等待由 timeout 对每个应答指定的毫秒数。..

2020-08-12 23:30:17 64569 2

原创 Windows Server2012 64位安装OpenSSH服务

系统配置信息如下:新安装的系统,防火墙暂时关闭下载OpenSSH-Win32或OpenSSH-Win64 安装包,根据不同的系统选择不同的安装包,如果是64位系统,选择32位可以。下载地址:https://github.com/PowerShell/Win32-OpenSSH/releases如果不能下载,可能是被墙掉了。下面附上网盘中的下载地址:https://pan.baidu.com/s/1zfzlzDMnxiulQy6ZjFGDKQ2. 下载完成后解压,修改解压后的文件夹名称为Op.

2020-08-12 23:24:14 7190 3

原创 linux系统下,traceroute路由跟踪指令详解

traceroute我们可以知道信息从你的计算机到互联网另一端的主机是走的什么路径。当然每次数据包由某一同样的出发点(source)到达某一同样的目的地(destination)走的路径可能会不一样,但基本上来说大部分时候所走的路由是相同的。一、常见命令参数[root@localhost tom]# traceroute --helpUsage: traceroute [ -46dFITnreAUDV ] [ -f first_ttl ] [ -g gate,... ] [ -i devi.

2020-08-12 22:41:20 1075

原创 MYSQL中TRUNCATE和DELETE的区别

MYSQL中TRUNCATE和DELETE都能够清理表中的数据,但是他们有什么区别呢?我们从下面的几点来分析:1. 条件删除这个比较好理解,因为DELETE是可以带WHERE的,所以支持条件删除;而TRUNCATE只能删除整个表。# delete - 条件删除DELETE FROM student WHERE id = 1;# delete - 删除整个表的数据DELETE FROM student;# truncate - 删除整个表的数据TRUNCATE TABLE stu

2020-08-09 17:49:27 147

原创 mysql 8.X主从复制

MySQL主从复制可实现数据的多处自动备份。不仅可以加强数据的安全性,通过实现读写分离还能提升数据库的负载性能。实现原理:MySQL之间数据复制的基础是二进制日志文件(binary log file)。一台MySQL数据库一旦启用二进制日志后,其作为master,它的数据库中所有操作都会以“事件”的方式记录在二进制日志中,其他数据库作为slave通过一个I/O线程与主服务器保持通信,并监控master的二进制日志文件的变化,如果发现master二进制日志文件发生变化,则会把变化复制到自己的中继日志中

2020-08-09 17:17:53 109

原创 Kafka 可视化工具kafkatool简单使用入门

使用Kafka的小伙伴,有没有为无法直观地查看 Kafka 的 Topic 里的内容而发过愁呢?下面推荐给大家一款带有可视化页面的Kafka工具:Kafka Tool(目前最新版本是2.0.4)Kafka Tool 工具下载下载地址http://www.kafkatool.com/download.html下载界面不同版本的Kafka对应不同版本的工具,个人使用的是0.11,所以下载的是最新的2.0.7版本如果是Windows,直接点击exe文件,一键安装即可。...

2020-08-08 20:30:28 1633

转载 小白Linux入门之:常用命令介绍

Linux常用命令大全我觉得Linux相比windows比较麻烦的就是很多东西都要用命令来控制,当然,这也是很多人喜欢linux的原因,比较短小但却功能强大。为了方便大家查找linux的相关命令,我就将我了解到的命令列举一下,仅供大家参考:系统信息arch 显示机器的处理器架构(1)uname -m 显示机器的处理器架构(2)uname -r 显示正在使用的内核版本dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI)hdparm -i /dev/hda ...

2020-08-08 20:04:39 493

原创 Spring Boot + Spring-Kafka 异步配置

近日我们项目组采用 Kafka来做系统日志统一管理,但是天降横祸的让 Kafka集群(3台服务器)都挂了,堪比中大奖的节奏,随之而来的是使用 Kafka发送消息日志的服务全部卡死,经过排查发现居然是 Kafka当机导致了调用 Kafka发送日志服务一直处于阻塞状态。最后我们在检查代码的时候发现,如果无法连接 Kafka服务,则会出现一分钟的阻塞。以上问题有两种解决方案:一、开启异步模式 ( @EnableAsync )@EnableAsync@Configurationpublic...

2020-08-02 11:43:12 869 2

原创 小白Linux入门之:CentOS基础命令

1. CentOS 中的文件管理1.1 CentOS 中根目录下的各子目录当 cd / 进入到根目录,ls 可以看到一大堆子目录,如下图:这些文件是有颜色的:蓝色 表示文件夹; 灰色 表示普通文件; 绿色 表示可执行文件; 红色 表示压缩文件; 天蓝色 表示链接文件(快捷方式);常用目录的作用如下:bin: 存放普通用户可执行的指令,普通用户也可以执行; dev : 设备目录,所有的硬件设备及周边均放置在这个设备目录中; boot : 开机引导目录,包括 Linu.

2020-07-28 23:53:17 252

高速卫星通信中LDPC编译码器的研究与FPGA实现.pdf

高速卫星通信中LDPC编译码器的研究与FPGA实现

2021-03-14

LDPC码并行译码算法的研究与实现.pdf

LDPC码并行译码算法的研究与实现

2021-03-14

LDPC编译码技术的研究与实现.pdf

LDPC编译码技术的研究与实现

2021-03-14

LDPC码并行译码算法的研究及其基于CUDA的实现.pdf

LDPC码并行译码算法的研究及其基于CUDA的实现

2021-03-14

台电U盘加密.zip

给U盘加密也是众多用户需要使用到的功能,那么台电加密大师是目前这个领域比较不错的好软件,台电u盘加密软件是一款免费软件,并且附带了台电加密大师使用步骤,我希望您可以通过它来进行最棒的U盘加密服务,感觉不错哦。

2019-12-21

大数据+分析案例+视频讲解.rar

当心!“数据”一样会说谎! 例2:一所艺术学校,男生校服只有裤子款式(100%选裤子),而女生校服有裙子和裤子两种款式,经统计得知75%的女生选裙子款,25%选裤子款。今天进入校园,远远看到一个穿裤子的同学,他是男生的概率高?还是女生的概率高? 根据之前讲座交流的经验,对于第一次阅读这份数据的朋友,大都判断该同学更可能是男生。但如果我把所有的数据细节都透露出来,大家的结论会不会有变化呢? 例2的完整数据:艺术学校有女生900人,男生100人。看到一个穿裤子男生的概率为10% × 100% = 0.1,而看到一个穿裤子女生的概率为90% × 25% = 0.225,所以远远看到一个穿裤子的同学,他更有可能是女生! 例2只公布了似然概率,却隐藏了先验概率信息,使人的判断发生迷惑。什么是似然概率和先验概率呢?这涉及到统计学中的贝叶斯公式,描述一件事物发生的概率与两个概率相关,先验概率和似然概率。 数学表示:P(h1 | D) ∝ P(h) × P(D | h) 假设h代表我们对某个事物的判断,如果有两个判断(如某同学是男或是女),可以写为h1、h2。数据D表示观测到的统计数据。P(h|D)表示看到数据D后,判断假设h为真的概率。P(D|h)表示判断假设h为真的情况下,观测到数据D的概率。那么,贝叶斯定理说明了“观测到数据D,判断假设h为真的概率”,与“假设h天然出现的概率(P(h),称为先验概率)”和“假设h为真的情况下,观测到数据D的概率(P(D|h),称为似然概率)”成正比。 其实更准确的公式是 P(h | D) = P(h) ×P(D | h) /P(D),因为对于不同的假设h,数据D天然出现的概率P(D)均相同。其对判断“哪个假设h更可能是真的”不起作用,通常可以忽略。 回到艺术学校的例子,观测数据D =看到该同学穿的是裤子,假设 h1=他是男生,假设h2=她是女生。 因为艺术学校男生有100人、女生有900人,所以先验概率 P(h1) =10%、P(h2)=90%。 因为男生 100%会选择裤子,女生 25%会选择裤子,所以似然概率P(D | h1) =100%、P(D | h2) =25%。 那么,校园中随意看到了一位穿裤子的同学, 他是男生的概率近似:P(h1 | D) = P(h1) × P(D | h1) = 10% × 100% = 0.1 她是女生的概率近似:P(h2 | D) = P(h2) × P(D | h2) = 90% × 25% = 0.225 可见女生的概率要比是男生的概率高1倍多,这位穿裤子的同学更可能是女生! 注释:上述计算亦可以加上P(D)的考量,会得到精确的概率结果。女生有225人穿裤子,男生100人穿裤子,校园1000名学生中穿裤子的概率P(D)为32.5%。将上述近似值除以P(D),得到他是男生的概率为30.8%,她是女生的概率为69.2%,之间的差距比例是一致的(0.1/0.225 = 30.8%/69.2%),所以通常可以省去计算P(D)。 从这两个例子可见,隐藏一部分数据,只展示部分维度时,可能会诱导人们得出完全不同的结论。在某些场景下,更细节的相关信息是不能忽略的,隐藏了部分事实就相当于说谎。很多数据分析工作均需要全面细致的数据信息才能做出正确的判断。

2019-12-19

软考+系统+架构师+教程+真题+解答.rar

根据原人事部、原信息产业部文件(国人部发[2003]39号)文件规定,计算机软件资格考试纳入全国专业技术人员职业资格证书制度的统一规划,实行统一大纲、统一试题、统一标准、统一证书的考试办法,每年举行两次。通过考试获得证书的人员,表明其已具备从事相应专业岗位工作的水平和能力,用人单位可根据工作需要从获得证书的人员中择优聘任相应专业技术职务(技术员、助理工程师、工程师、高级工程师)。计算机软件资格考试全国统一实施后,不再进行计算机技术与软件相应专业和级别的专业技术职务任职资格评审工作。因此,计算机软件资格考试既是职业资格考试,又是职称资格考试。同时,该考试还具有水平考试性质,报考任何级别不需要学历、资历条件,只要达到相应的专业技术水平就可以报考相应的级别。计算机软件资格考试部分专业岗位的考试标准与日本、韩国相关考试标准实现了互认,中国信息技术人员在这些国家还可以享受相应的待遇。考试合格者将颁发由中华人民共和国人力资源和社会保障部、工业和信息化部用印的计算机技术与软件专业技术资格(水平)证书。该证书在全国范围内有效。

2019-12-14

论中国古代历法推没灭算法的意义_曲安京.pdf

论中国古代历法推没灭算法的意义;论中国古代历法推没灭算法的意义;论中国古代历法推没灭算法的意义;论中国古代历法推没灭算法的意义

2019-12-06

通信专业技术人员职业资格考试辅导书最新版.zip

通信专业技术人员职业水平考试(以下简称通信考试)是由国家人力资源和社会保障部、工业和信息化部领导下的国家级考试,其目的是,科学、公正地对全国通信专业技术人员进行职业资格、专业技术资格认定和专业技术水平测试。 根据原人事部、信息产业部文件(国人部发[2006]10号),通信专业技术人员职业水平评价,纳入全国专业技术人员职业资格证书制度统一规划,分初级、中级和高级三个级别层次。初级、中级职业水平采用考试的方式评价;高级职业水平实行考试与评审相结合的方式评价,具体办法另行制定。参加通信专业技术人员初级、中级职业水平考试,并取得相应级别职业水平证书的人员,表明其已具备相应专业技术岗位工作的水平和能力。用人单位可根据《工程技术人员职务试行条例》有关规定和相应专业岗位工作需要,从获得相应级别、类别职业水平证书的人员中择优聘任。取得初级水平证书,可聘任技术员或助理工程师职务;取得中级水平证书,可聘任工程师职务。通信专业技术人员初级、中级职业水平考试在全国实施后,各地区、各部门不再进行通信工程相应专业和级别任职资格的评审工作。因此,这种考试既是职业资格考试,又是职称资格考试。 参加通信专业初级、中级职业水平考试合格人员,由各省、自治区、直辖市人力资源和社会保障局颁发人力资源和社会保障部统一印制,人力资源和社会保障部、工业和信息化部共同用印的《中华人民共和国通信专业技术人员职业水平证书》,该证书在全国范围有效。

2019-12-06

几款不错的BootStrap后台模板源代码.zip

几款不错的BootStrap后台模板源代码

2019-12-04

最优停止理论.zip

一、什么是最优停止 租房经历 大多数在外打工人员都有租房的经历,尤其是在一线城市,需求总是大于供给,通常我们在很难从历史的房子中觉得最好的去租下,因为可能你想租的时候已经被租出去了,在加上经纪人的原因,我们很难有特权能反复权衡作出决定。 我们必须在看房期间作出决定,我们总是会担心两个事情:担心看过的好房子被别人抢走,还有其他好房子还没看到。 这就要求我们必须在继续挑选和立刻下手之间作出一个决定,并达成某种平衡。那么到底该怎么办,如何找打这个平衡点,能让我们的决定更加明智? 在数学上我们得到了答案!37%,也就是说你在看前37%房子时不要作出决定,等过了这个数字,我们就得做好随时签约租房协议的事情,加入我们有一个月的找房时间。那么在前11天我们尽管看房,明确我们的标准,等过了11天遇到合适的房子我们就要准备随时签合同了。这个37%理论就是数学上“最优停止”理论了。 那么这个37%如何的出来的呢?

2019-12-01

一个面向信息抽取的中英文平行语料库.pdf

一个面向信息抽取的中英文平行语料库,

2019-11-20

文本信息抽取平台的设计与实现——基于机器学习.pdf

文本信息抽取平台的设计与实现——基于机器学习,

2019-11-20

基于改进SVM和HMM的文本信息抽取算法.pdf

基于改进SVM和HMM的文本信息抽取算法,

2019-11-20

基于规则的Web文本信息抽取技术的研究.pdf

基于规则的Web文本信息抽取技术的研究

2019-11-20

基于改进HMM的文本信息抽取模型.pdf

基于改进HMM的文本信息抽取模型,

2019-11-20

基于改进HMM的半结构化文本信息抽取算法研究.pdf

基于改进HMM的半结构化文本信息抽取算法研究,

2019-11-20

基于HMM_BP混合模型的文本信息抽取研究.pdf

基于HMM_BP混合模型的文本信息抽取研究

2019-11-20

15000条航班数据2016年.zip

由于全国飞机航班数据库由程序运行得出,可能与实际会存在出入,票价请以当地全国飞机航班数据库公告为准,全国飞机航班数据库数据仅供参考,2016年数据,仅供参考。

2019-09-14

企业数据湖

●译者序 推荐序 关于作者 关于技术审核人员 前言 部分 概述 章 数据导论 1.1 探索数据 1.2 什么是企业数据 1.3 企业数据管理 1.4 大数据相关概念 1.5 数据与企业的相关性 1.6 数据质量 1.7 企业中数据如何存放 1.8 企业现状 1.9 企业数字化转型 1.10 数据湖用例启示 1.11 总结 第2章 数据湖概念概览 2.1 什么是数据湖 2.2 数据湖如何帮助企业 2.3 数据湖是如何工作的 2.4 数据湖与数据仓库的区别 2.5 数据湖的构建方法 2.6 Lambda架构驱动的数据湖 2.7 总结 第3章 Lambda架构:一种数据湖实现模式 3.1 什么是Lambda架构 3.2 Lambda架构简史 3.3 Lambda架构的原则 3.4 Lambda架构的组件 3.5 Lambda架构的完整工作原理 3.6 Lambda架构的优势 3.7 Lambda架构的劣势 3.8 Lambda架构技术概览 3.9 应用Lambda 3.10 Lambda架构运行范例 3.11 Kappa架构 3.12 总结 第4章 数据湖中的Lambda应用 4.1 Hadoop发行版本介绍 4.2 影响企业大数据技术栈选择的因素 4.3 批处理层与数据处理 4.4 服务层 4.5 总结 第二部分 数据湖的技术组件 第5章 基于Apache Sqoop的批量数据获取 5.1 数据湖背景中的数据获取 5.2 为什么使用Apache Sqoop 5.3 Sqoop的功能 5.4 Sqoop connector 5.5 Sqoop对HDFS的支持 5.6 Sqoop运行范例 5.7 适合使用Sqoop的场景 5.8 不适合使用Sqoop的场景 5.9 实时Sqooping是否可行 5.10 其他选项 5.11 总结 第6章 基于Apache Flume的流式数据获取 6.1 数据获取 6.2 为什么使用Flume 6.3 Flume的架构原则 6.4 Flume架构 6.5 Flume事件——流式数据 6.6 Flume Agent 6.7 Flume Source 6.8 Flume Channel 6.9 Flume Sink 6.10 Flume配置 6.11 Flume事务管理 6.12 Flume的其他组件 6.13 上下文路由 6.14 Flume运行范例 6.15 适合使用Flume的场景 6.16 不适合使用Flume的场景 6.17 其他选项 6.18 总结 第7章 使用Apache Kafka构建消息层 7.1 数据湖背景中的消息层 7.2 为什么使用Apache Kafka 7.3 Kafka的架构 7.4 其他Kafka组件 7.5 Kafka编程接口 7.6 生产者和消费者的可靠性 7.7 Kafka的安全性 7.8 Kafka作为面向消息的中间件 7.9 Kafka与水平可扩展架构 7.10 Kafka连接 7.11 Kafka运行范例 7.12 适合使用Kafka的场景 7.13 不合适使用Kafka的场景 7.14 其他选项 7.15 总结 第8章 使用Apache Flink处理数据 8.1 数据湖背景中的数据摄取层 8.2 为什么使用Apache Flink 8.3 Flink的工作原理 8.4 Flink的API 8.5 Flink运行范例 8.6 适合使用Flink的场景 8.7 不适合使用Flink的场景 8.8 其他选项 8.9 总结 第9章 使用Apache Hadoop存储数据 9.1 数据湖背景中的数据存储和Lambda批处理层 9.2 为什么使用Hadoop 9.3 Hadoop的工作原理 9.4 Hadoop生态系统 9.5 Hadoop发行版 9.6 HDFS和数据格式 9.7 Hadoop用于近实时应用 9.8 Hadoop部署模式 9.9 Hadoop运行范例 9.10 不适合使用Hadoop的场景 9.11 其他选项 9.12 总结 0章 使用Elasticsearch存储全文索引 10.1 数据湖背景中的数据存储层与Lambda快速处理层 10.2 什么是Elasticsearch 10.3 为什么使用Elasticsearch 10.4 Elasticsearch的工作原理 10.5 Elastic Stack 10.6 Elastic Cloud 10.7 Elasticsearch DSL 10.8 Elasticsearch中的节点 10.9 Elasticsearch与关系数据库 10.10 Elasticsearch生态系统 10.11 Elasticsearch部署选项 10.12 Elasticsearch Client 10.13 Elasticsearch用于快速流式处理 10.14 Elasticsearch作为数据源 10.15 Elasticsearch用于内容索引 10.16 Elasticsearch与Hadoop 10.17 Elasticsearch运行范例 10.18 适合使用Elasticsearch的场景 10.19 不适合使用Elasticsearch的场景 10.20 其他选项 10.21 总结 第三部分 将所有技术整合在一起 1章 数据湖组件集成 11.1 数据湖的学习进程 11.2 数据湖架构的核心原则 11.3 企业数据湖面临的挑战 11.4 企业对数据湖的期望 11.5 数据湖的其他用途 11.6 了解更多关于数据存储的信息 11.7 更多关于数据处理的知识 11.8 数据安全 11.9 数据加密 11.10 元数据管理和治理 11.11 数据审计 11.12 数据可追溯性 11.13 了解更多服务层细节 11.14 总结 2章 数据湖用例建议 12.1 在企业中推行网络安全实践 12.2 深入了解企业的客户 12.3 提升仓储管理效率 12.4 品牌创建与企业营销 12.5 为客户提供更个性化的服务 12.6 让物联网数据触手可及 12.7 更实用的数据归档 12.8 现有的数据仓库基础设施 12.9 实现电信安全和法规遵从 12.10 总结 内容虚线 内容简介 本书分为三个主要部分。靠前部分介绍了数据湖的概念、企业中数据湖泊的重要性,以及Lambda架构的很新进展。第二部分将深入研究使用Lambda架构构建数据湖的主要组件,介绍了一些流行的大数据技术,如Apache Hadoop、Spark、Sqoop、Flume和弹性搜索。第三部分以实际操作的方式展示如何实现一个企业数据湖,并介绍了几个实际的用例,而且展示了如何将其他外围组件添加到湖中以提高效率。在本书的很后,读者将能够选择正确的大数据技术,使用lambda架构模式来构建企业数据湖。

2019-03-18

2021年系统分析师考试背记精要-4页纸.docx

2021年系统分析师考试背记精要-4页纸

2021-04-20

文本相似度计算的Simhash算法的实现与改进.pdf

文本相似度计算的Simhash算法的实现与改进

2021-04-18

基于Simhash算法的海量文本相似性检测方法研究.pdf

基于Simhash算法的海量文本相似性检测方法研究

2021-04-18

基于SimHash的文本相似检测算法研究.pdf

基于SimHash的文本相似检测算法研究

2021-04-18

基于Simhash的安全密文排序检索方案.pdf

基于Simhash的安全密文排序检索方案

2021-04-18

改进的Simhash算法在文本查重中的研究及应用.pdf

改进的Simhash算法在文本查重中的研究及应用

2021-04-18

Simhash算法在文本去重中的应用-信息熵词频加权1.pdf

Simhash算法在文本去重中的应用-信息熵词频加权

2021-04-18

SIMHASH算法改进及应用研究.pdf

SIMHASH算法改进及应用研究

2021-04-18

DivertTCPconn-master.zip

端口转发 # 查看所有转发 netsh interface portproxy show all # 端口转发 netsh interface portproxy add v4tov4 listenport=80 listenaddress=192.168.1.80 connectport=9000 connectaddress=192.168.1.80 # 删除规则 netsh interface portproxy delete v4tov4 listenport=80 listenaddress=192.168.1.80 # 使用netstat确保3340端口当前处于被侦听状态: netstat -ano | findstr :80 # 查看系统防火墙状态 netsh firewall show state # 查看所有类型的防火墙状态 netsh advfirewall show allprofiles # 禁用系统防火墙 netsh advfirewall set currentprofile state on # 启用防火墙 netsh advfirewall set currentprofile state off 端口映射 Usage: D:\Download\DivertTCPconn-master\compiled_binaries\Binaries_x64\divertTCPConn.exe original_dstport new_dstport [disablechecksum] [debug] Examples: D:\Download\DivertTCPconn-master\compiled_binaries\Binaries_x64\divertTCPConn.exe 3389 31337 D:\Download\DivertTCPconn-master\compiled_binaries\Binaries_x64\divertTCPConn.exe 3389 31337 disablechecksum debug

2021-04-18

蓝桥杯部分真题及解答.pdf

蓝桥杯部分真题及解答

2021-04-18

蓝桥杯历年真题及答案.pdf

蓝桥杯历年真题及答案

2021-04-18

蓝桥杯最新入门训练试题库.pdf

蓝桥杯最新入门训练试题库

2021-04-18

基于深度学习的中短码长LDPC译码研究.pdf

基于深度学习的抗音调干扰LDPC码的译码算法研究

2021-03-14

卫星突发通信用LDPC编译码器的研究与实现.pdf

卫星突发通信用LDPC编译码器的研究与实现

2021-03-14

近地通信系统中高速LDPC译码器的研究和实现.pdf

近地通信系统中高速LDPC译码器的研究和实现

2021-03-14

基于泰勒级数近似的LDPC译码算法研究及FPGA实现.pdf

基于泰勒级数近似的LDPC译码算法研究及FPGA实现

2021-03-14

基于OpenMP的LDPC并行译码算法研究与实现.pdf

基于OpenMP的LDPC并行译码算法研究与实现

2021-03-14

基于GPU的SC-LDPC码译码加速研究.pdf

基于GPU的SC-LDPC码译码加速研究

2021-03-14

基于CUDA平台的规则LDPC码的译码实现研究.pdf

基于CUDA平台的规则LDPC码的译码实现研究

2021-03-14

基于CUDA平台的LDPC码的并行译码实现研究.pdf

基于CUDA平台的LDPC码的并行译码实现研究

2021-03-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除