wonderful_life_mrchi-CSDN博客

转载 TensorFlow1.x和2.x，Pytorch的区别和联系

前言最近开始学习Tensorflow框架，了解到最新发布了Tensorflow2.0，这比1.0更为简单强大。对于上路新手或许是一样好事，本文结合pytorch一起进行一个比较，有对比就会有新收获嘛！简单比较有不少文章分别对Pytorch，Tensorflow进行了详细介绍，对于新手的我也还在学习，就不再赘述了，下面只做简单的对比。PyTorch 最大优势是建立的神经网络是动态的, 对比静态的 Tensorflow, 它能更有效地处理一些问题, 比如说 RNN 变化时间长度的输出。PyTorc

2021-08-18 19:22:35 632

原创 Hive数据库创建表

HIVE 基本操作 create table 总述CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXIST 选项来忽略这个异常。 EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，.

2020-05-09 12:31:31 2993

原创 Hive元数据

HIVE元数据库Hive 将元数据存储在 RDBMS 中,一般常用的有MYSQL和DERBY。 DERBY启动HIVE的元数据库进入到hive的安装目录Eg:1、启动derby数据库/home/admin/caona/hive/build/dist/运行startNetworkServer -h 0.0.0.02、连接Derby数据库进行测试查看/home/admin/caona/hive/build/dist/conf/hive-default.xml。找..

2020-05-09 12:22:58 492

原创 Hive数据库概述

Hive属于数据仓库的概念范畴，主要用于进行数据分析用，不适合实时数据查询。可以完成海量数据的存储，存储在HDFS上，不需要类似关系数据库那样的固定格式限制，对应的表实际上就是hadoop hdfs上的文件夹，表中数据相当于文件，具体介绍看下文。 HIVE结构Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL，

2020-05-09 11:28:33 5690

原创 centos7安装mysql5.7解压版

环境：centos7 64位本教程安装MySQL是通过编译过的二进制文件进行安装。是不针对特定平台的通用安装方法，解压版本的mysql，使用的二进制文件是后缀为.tar.gz的压缩文件1、下载 http://dev.mysql.com/downloads/mysql/2、解压缩到/usr/local/下面，mysql的主目录命名为mysql，注意后面创建mysql用户和组可以不用，即默认m...

2020-05-05 21:54:39 1302 1

转载浅析协方差矩阵

统计学的基本概念概率论里面有几个基本的概念，分别是：样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述：均值：标准差：方差：均值描述的是样本集合的中间点，它告诉我们的信息是有限的，而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。以这两个集合为例，[0, 8, 12, 20]和[8, 9, 11, 12]，两个集合的...

2020-04-19 22:27:24 682

转载数据挖掘和数据分析之数据中位数和众数

中位数中位数是指将数据按大小顺序排列起来，形成一个数列，居于数列中间位置的那个数据。中位数用Me表示。　从中位数的定义可知，所研究的数据中有一半小于中位数，一半大于中位数。中位数的作用与算术平均数相近，也是作为所研究数据的代表值。在一个等差数列或一个正态分布数列中，中位数就等于算术平均数。在数列中出现了极端变量值的情况下，用中位数作为代表值要比用算术平均数更好，因为中位数不...

2020-04-14 21:17:15 6167

原创 Mongodb入门

mongodb入门关于mongodb的好处，优点之类的这里就不说了，唯一要讲的一点就是mongodb中有三元素：数据库，集合，文档，其中”集合”就是对应关系数据库中的”表”，”文档”对应”行”。一：下载上MongoDB官网，我们发现有32bit和64bit，这个就要看你系统了，不过这里有两点注意：①：根据业界规则，偶数为”稳定版”（如：1.6.X，1.8.X），奇数为”开发版”...

2020-04-11 08:19:35 293

原创大数据存储技术和Mongodb介绍

在过去的很长一段时间中，关系型数据库（Relational Database ManagementSystem）一直是最主流的数据库解决方案，他运用真实世界中事物与关系来解释数据库中抽象的数据架构。然而，在信息技术爆炸式发展的今天，大数据已经成为了继云计算，物联网后新的技术革命，关系型数据库在处理大数据量时已经开始吃力，开发者只能通过不断地优化数据库来解决数据量的问题，但优化毕竟不是一个长期...

2020-04-11 08:16:27 936

转载 Zookeeper全回顾

Zookeeper的功能以及工作原理1.ZooKeeper是什么？ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户2.ZooKeeper提供了什么？1)文件系统2)通知机制3.Zoo...

2018-12-06 21:06:41 1120

转载 Python数据分析分类算法交叉验证实现

在训练数据的过程或者参加数据比赛的时候，常常会遇到数据量不够大的情况，想充分利用不多的数据进行有说服力力的验证，从而选到一个对分类至关重要的参数，可以采用—K折交叉验证法(k-fold CrossValidation)，下面和大家分享一下。1 变形前的K折在遇到K折交叉验证之前，往往使用的是简单交叉验...

2018-12-06 10:09:45 3306

转载 Zookeeper复习

你平常使用zookeeper做什么？是分布式协调服务、共享变量、协调锁资源、还是提供命名空间？好了，接下来我们以提问的形式来打开话题：你知道zk能用来做什么？你知道zk的数据模型吗？你知道zk的数据结构吗？你会zk操作基本命令吗？这些命令是如何事件通知？zk是如何保证一致性的？你会用zk做什么？zk数据模型了解一门技术，先知道它大致长得啥样，这才好的去进一步认...

2018-11-30 20:25:19 1108

转载消息队列复习精讲

为什么写这篇文章?博主有两位朋友分别是小A和小B:小A，工作于传统软件行业(某社保局的软件外包公司)，每天工作内容就是和产品聊聊需求，改改业务逻辑。再不然就是和运营聊聊天，写几个SQL，生成下报表。又或者接到客服的通知，某某功能故障了，改改数据，然后下班部署上线。每天过的都是这种生活，技术零成长。小B，工作于某国企，虽然能接触到一些中间件技术。然而，他只会订阅/发布消息。通俗点说，就是...

2018-11-30 20:20:56 1178

原创自定义ClassLoader及其使用

MyClassLoader.java import java.io.ByteArrayOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;public class MyClassL...

2018-11-24 17:48:23 1336

转载 rabbitMQ在windows下的下载安装和使用

rabbitMQ是一个在AMQP协议标准基础上完整的，可服用的企业消息系统。它遵循Mozilla Public License开源协议，采用 Erlang 实现的工业级的消息队列(MQ)服务器，Rabbit MQ 是建立在Erlang OTP平台上。1.安装Erlang 所以在安装rabbitMQ之前，需要先安装Erlang 。我们使用的是otp_win64_18.1 ，需要其他版本或...

2018-10-26 15:42:12 3229

转载 java集成阿里大于第三方平台发送短信验证码

闲话不多说，言归正传。今天我要分享的是利用阿里大鱼实现网站和APP的短信验证。 阿里大鱼开放了很多的消息通知服务，包括短信通知，语音通知等。 阿里大鱼的短信发送官方API：https://api.alidayu.com/doc2/apiDetail.htm?spm=a3142.739590...

2018-10-26 14:02:56 1503

转载 idea中svn的使用

第一步:下载svn的客户端，通俗一点来说就是小乌龟啦！去电脑管理的软件管理里面可以直接下载，方便迅速下载之后直接安装就好了，但是要注意这里的这个文件也要安装上，默认是不安装的，如果不安装，svn中的bin目录下就会没有svn.exe，这个待会会用到，所...

2018-10-20 17:24:30 1145

转载 Idea创建maven web项目+Tomcat部署

一：File ->New Project，左边菜单选择maven项目，右边勾选Create from archetype，找到org.apache.maven.archetype:maven-archetype-webapp，这个是Maven项目的一个骨架，就好像住酒店时候，你选标间，还是单间，还是大床，然后里面的配置不一样。  ...

2018-10-20 17:10:18 3692

转载 Redis的原子计数器应用

一、前言在一些对高并发请求有限制的系统或者功能里，比如说秒杀活动，或者一些网站返回的当前用户过多，请稍后尝试。这些都是通过对同一时刻请求数量进行了限制，一般用作对后台系统的保护，防止系统因为过大的流量冲击而崩溃。对于系统崩溃带来的后果，显然还是拒绝一部分请求更能被维护者所接受。而在各种限流中，除了系统自身设计的带锁机制的计数器外，利用Redis实现显然是一种既高效安全又便捷方便的方式。二...

2018-10-16 19:45:21 3135

转载 Import And Export Excel By POI

一、介绍　　        当前B/S模式已成为应用开发的主流，而在企业办公系统中，常常有客户这样子要求：你要把我们的报表直接用Excel打开(电信系统、银行系统)。或者是：我们已经习惯用Excel打印。这样在我...

2018-08-08 08:09:47 1189

原创 mahout协同过滤算法+hadoop1.x

本文采用mahout0.9版本，由于该版本天然支持hadoop1.x所以代码编写调用taste算法比较容易，但是hadoop2.x就不可以了步骤： 1、将hadoop1.x安装目录下的三个配置文件拷贝到java项目的classpath根目录下，分别是core-site.xml，hdfs-site.xml和mapred-site.xml。 2、编写访问hdfs的dao类代码如下：...

2018-08-02 15:24:39 1265

原创 nat方式虚拟机想上网，这样手动设置

Vmware中NAT模式访问外网设置方法:将本地连接点击右键属性，点击共享，选择vmnet8，表示net8虚拟网卡将和windows主机共享网络。修改vmnet8的ip为和虚拟机一样的网段，这样二者也就互联了。这样就搞定了！！！注意是手动设置！！！如果需要自动配置，可以参照我转载的一篇文章：虚拟机三种连接方式解读...

2018-08-02 14:53:30 1162

转载转载一篇不错的理解虚拟机和主机网络连接的三种方式解读的文章

VMware workstations 12.0.1里的虚拟机（Linux系统）如何上网近来自学Linux，然后在VMware workstations创建了suse Linux虚拟机，然后突然想通过虚拟机连接外网，然后自己折腾了一番，终于实现了，这里把学习的历程写下来，仅仅是新手的言论，不足之处大家...

2018-08-02 14:47:16 1521

转载高并发大访问量web应用之访问提速和服务器减负技术

　　大型网站，比如门户网站，在面对大量用户访问、高并发请求方面，基本的解决方案集中在这样几个环节：使用高性能的服务器、高性能的数据库、高效率的编程语言、还有高性能的Web容器。这几个解决思路在一定程度上意味着更大的投入。1、HTML静态化　　其实大家都知道，效率最高、消耗最小的就是纯静态化的...

2018-07-20 17:15:49 3004

转载 mysql localhost is not allowed无法连接数据库

&amp;nbsp; &amp;nbsp; &amp;nbsp;找到mysql 的安装目录，不要在navicate 的快捷方式上单击右键，那样找到的不是MYSQL 数据库的目录，在【程序】列表中找到路径。&amp;nbsp; &amp;nbsp; &amp;nbsp;定位到\MySQL\MySQL Server 5.0\my.ini &amp;nbsp;，打开这个文件，找到 [mysqld]这

2018-06-02 20:37:18 3928

原创 Mybatis中trim标签的理解

trim标签的作用是可以在trim标签内容前面加上prefix定义的前缀，也可以在其后加上suffix定义的后缀；prefixOverrides和suffixOverrides可以把包含内容的首部或者尾部某些内容覆盖，也就是忽略掉。12345select * from user 　　<trim pr...

2018-06-01 17:33:19 2467

转载 Mybatis的Mapper接口的动态代理机制

<div id="article_content" class="article_content clearfix csdn-tracking-statistics" data-pid="blog" data-mod="popu_307" data-dsm="post"> <div class="markdown_vie

2018-05-31 10:51:01 2952

转载 Linux内核版本和发行版本

1.1.4 Linux的内核版本和发行版本1．内核版本内核是系统的心脏，是运行程序和管理像磁盘和打印机等硬件设备的核心程序，它提供了一个在裸设备与应用程序间的抽象层。例如，程序本身不需要了解用户的主板芯片集或磁盘控制器的细节就能在高层次上读写磁盘。内核的开发和规范一直是由Linus领导的开发小组控制着，版本也是惟一的。开发小组每隔一段时间公布新的版本或其修订版，从1991年10月Linus向世界

2017-10-26 12:13:04 34963

转载 jvm视角看java继承和多态

首先，明确一下，Java多态的三个必要条件：1、继承2、子类重写父类方法3、父类引用指向子类对象然后看一个例子package test.xing;class Father{ protected int age; public Father(){ age = 40; } void

2017-09-21 10:12:59 2023 2

原创 chrome浏览器对http和https网站安全提示和证书导入导出

HTTPS加密是互联网安全建设的基础，百度、淘宝、天猫等越来越多互联网巨头启用全站HTTPS，也带动了更多网站加入HTTPS加密的行列。普通用户也逐渐明白HTTPS比HTTP更安全，访问网银、购物等重要网站时要先观察是否有HTTPS加密保护。但是在日常访问过程中，用户可能会发现有些网站HTTPS是绿色、有些却是红色，有些显示安全锁、有些却显示叹号。由于浏览器品牌不同、版本不同，对于HTTP

2017-09-20 21:06:48 51336 2

转载 Tomcat配置https访问

一. 创建tomcat证书这里使用JDK自带的keytool工具来生成证书： 1. 在jdk的安装目录\bin\keytool.exe下打开keytool.exe 2. 在命令行中输入以下命令:keytool -genkeypair -alias "tomcat" -keyalg "RSA" -keystore "g:\

2017-09-20 20:59:23 1372

转载 java类加载时机

java中类加载时机java虚拟机规范虽然没有强制性约束在什么时候开始类加载过程，但是对于类的初始化，虚拟机规范则严格规定了有且只有四种情况必须立即对类进行初始化，遇到new、getStatic、putStatic或invokeStatic这4条字节码指令时，如果类没有进行过初始化，则需要先触发其初始化。生成这4条指令最常见的java代码场景是：1）使用new关键字实例

2017-09-18 20:58:14 1380

转载 Weblogic三种部署方式

在weblogic中部署项目通常有三种方式：第一，在控制台中安装部署；第二，将部署包放在domain域中autodeploy目录下部署；第三，使用域中配置文件config.xml 进行项目的部署。控制台部署1 启动weblogic服务，登录到weblogic控制台页面，输入用户名和密码，登录到控制台里面2 点击左侧的部署3 在右侧点击安装按钮，准备进行项目安装4 看到路径输入框，可以

2017-09-09 15:57:02 12167

转载 JavaMail发送邮件api实例

邮件发送程序我们先使用JavaMail API发送一封简单的邮件，步骤为创建包含邮件服务器的网络连接信息的Session对象。创建代表邮件内容的Message对象。创建Transport对象、连接服务器、发送Message、关闭连接。这样使用JavaMail API发送一封最简单的邮件(纯文本邮件)的代码为：public class SendMail { pu

2017-09-07 20:56:34 1615

转载电子邮件收发原理和JavaMail开发

Java邮件开发介绍为什么要学习javamail开发现在很多WEB应用在开发时都需要集成邮件发送功能，例如：给新注册的用户自动发送一封包含其注册信息的欢迎E-Mail。给过生日的注册会员自动发送一封表示祝贺的E-Mail。将网站的最新活动信息通过E-Mail发送给所有的注册会员。等等…这些功能的实现都需要软件开发人员在开发WEB应用中编写相应的邮件处理程序。学习目标学习javamail主要

2017-09-07 20:25:09 12670

转载 Spark四种运行模式

转载：http://blog.cheyo.net/29.html介绍本地模式Spark单机运行，一般用于开发测试。Standalone模式构建一个由Master+Slave构成的Spark集群，Spark运行在集群中。Spark on Yarn模式Spark客户端直接连接Yarn。不需要额外构建Spark集群。Spark on Mesos模式Spark客户端直接连接Mesos。不需要额外

2017-09-06 19:57:26 9772

转载 Storm的配置文件yaml详解

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/51924272配置项配置说明storm.zookeeper.serversZooKeeper服务器列表storm.zookeeper.portZooKeeper连接端口storm.local.dirstorm使用的本地文件系统目录(必须存在并且storm进程可读写)s

2017-09-05 08:58:18 3950

转载 java excel导入和导出（poi，jxl）

来自：http://blog.csdn.NET/jerehedu/article/details/45195359 一、介绍　　当前B/S模式已成为应用开发的主流，而在企业办公系统中，常常有客户这样子要求：你要把我们的报表直接用Excel打开(电信系统、银行系统)。或者是：我们已经习惯用Excel打印。这样在我们实际的开发中，很多时候需要实现导入、导出Excel的应用。　　目前，比

2017-09-02 18:15:43 2642

原创 JavaEE工程师面试（高级）

java工程师，你需要知道的还有很多！如今的Web工程师，不仅要懂java基础，框架，servlet，前端，还要会各种框架整合，什么ssh，ssm.....诸如此类吧。不可否认，这些是根基，但要作为一个高级工程师，面试必然会问到的还包括如下一些，大家好好准备下。先来个框架的1.mybatis是如何将结果集映射为对象的？首先，mybatis是对jdbc的封装，再怎么样也是查出结果集然后用

2017-09-01 22:17:42 2147 2

原创 IO和NIO的比较

我们做过聊天室Socket的项目，知道，传统的socket IO中，需要为每个连接创建一个线程，当并发的连接数量非常巨大时，线程所占用的栈内存和CPU线程切换的开销将非常巨大。使用NIO，不再需要为每个线程创建单独的线程，可以用一个含有限数量线程的线程池，甚至一个线程来为任意数量的连接服务。由于线程数量小于连接数量，所以每个线程进行IO操作时就不能阻塞，如果阻塞的话，有些连接就得不到处理，NIO提

2017-09-01 21:35:52 1131