11 陈 超

尚未进行身份认证

主要从事AI、大数据处理等领域的工作。NLP、大数据处理、图像、视频处理、OpenCV。

等级
TA的排名 1w+

为什么需要NoSQL,NoSQL是什么

计算机科学中,任何设计都会有理论支撑。数据库设计自然不会例外。NoSQL(NoSQL = Not Only SQL ),意即"不仅仅是SQL"。理论支撑数据库分类,简单分成,关系型数据库核非关系型数据库。没错,NoSQL就属于非关系型数据库,它的理论支撑是CAP理论,CAP理论的核心是:一个分布式系统不可能同时很好的满足一致性,可用性和分区容错性这三个需求,最多只能同时较...

2020-04-24 20:10:43

一个脚本搞定文件合并去重,大数据处理,可以合并几个G以上的文件

问题:先讲下需求,有若干个文本文件(txt或者csv文件等),每行代表一条数据,现在希望能合并成 1 个文本文件,且需要去除重复行。分析:一向奉行简单原则,如无必要,绝不复杂。如果数据量不大,那么如下两条命令就可以搞定合并:cat a.txt >> new.txtcat b.txt >> new.txt……去重:cat new....

2020-04-22 20:17:50

protobuf报错解决:error while loading shared libraries: libprotobuf.so.8: cannot open

运行protobuf程序碰见一个小错误,记录一下:error while loading shared libraries: libprotobuf.so.8: cannot open shared object file: No such file找不到对应的库文件,一般是路径问题。安装路径没有加入到配置中所以报错。通过find查找,找到 libprotobuf.so.8 文件,如...

2020-04-21 12:47:45

5分钟了解Mysql支持的数据类型

Mysql比较常用,最近刚好用到,顺手整体些速记,以备后观。对于这些基础知识,需要熟记于心,故而需要化繁为简,化简为图。每一个常量,变量和参数都有数据类型,它用来指定一定的存储格式、约束和有效范围。MySQL 提供了多种数据类型,主要包括3种类型:数值型、字符串类型、日期和时间类型。不同的 MySQL版本支持的数据类型可能会稍有不同。目前大多数版本都是5.x.x以上了。0、总览...

2020-04-15 20:11:56

快速了解:数据库的分类,OLTP、OLAP与HTAP

争取一篇文章能讲明白一个知识点。一、概述我们常用的SQL数据库一般是OLTP。那么数据库有哪些分类呢?一般有3种:OLTP、OLAP与HTAP如果上面这张图看懂了,下面可以不用看了。二、详细描述下面简单介绍3种类型的数据库的定义、特点与差异。2.1 OLTP联机事务处理过程 OLTP(On-Line Transcation Processing...

2020-04-10 10:38:25

快速了解SQL语言的简单分类

SQL语言大家再熟悉不过了,这里谈谈常见的SQL语句分类,一般按照功能分为如下4类:数据查询语言DQL,数据操纵语言DML,数据定义语言DDL,数据控制语言DCL。常见的增删改查功能对应的划分如下:当然,分法不一,目的是快速全面整理了解SQL操作,也有人分成如下两类:这一篇博文很轻松哈,完。...

2020-04-09 19:43:21

mysql数据导入和导出,备份和迁移

数据导入导出还是比较常见的,一、常规数据导入导出一般如果数据不大,直接操作 *.sql 文件即可。1、数据导出## 导出整个数据库结构和数据# mysqldump -h localhost -P 3306 -uroot -p123456 database > test.sql## 导出单个数据表结构和数据# mysqldump -h localhost -P 330...

2020-04-01 14:02:45

Centos Mysql安装及入门

0、背景有一些知识很简单,很低频,但是偶尔还是需要使用,故而需要记下来。开始的时候碰见mysql.sock文件找不到了,不知道什么时候被破坏了,修复了好久,问题一个接着一个,需要急着用,很浪费时间,所以直接选择重装。简单暴力有效。1、安装yum安装mysql# 下载mysql源wget http://dev.mysql.com/get/mysql57-communit...

2020-04-01 13:24:08

区块链和比特币初步了解

最近这几天区块链被再一次提到了风口,这次不一样,xxx代言,xxx支持的,作为一个IT人,应该了解下。而且不能太粗略。一、先过一些基本概念区块链和比特币首先这是两个概念,区块链是技术范畴,比特币更像金融范畴。区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。比特币是一种P2P形式的虚拟的加密数字货币。一句话:比特币不是区块链,它只是区块链技术的...

2019-10-29 19:26:46

vmware虚拟机磁盘空间不足No space left on device

之前搞了个虚拟机,用了很久,今天突然发现磁盘空间不足了,很是头疼,总不能重新弄个,里面很多环境配置不容易啊。于是就想到了扩展磁盘空间。分享本文,希望能帮助大家不走弯路。1、先关闭虚拟机电源2、做如下设置:“虚拟机”--“虚拟机设置”--“磁盘”--“扩展”3、输入你期望的大小(必须要大于现有大小)4、保存设置5、启动虚拟机6、安装gparted工具(Linu...

2019-05-07 13:04:07

JS中var变量声明奇怪用法

【好久没写了,水一篇】今天试着写了点前端,发现了JS中的一个奇怪用法,如下:JS中变量的奇怪地方1、函数内,不声明-用全局2、函数内,先声明-用内部3、函数内,后声明- undefined很水,没了。。。另外,JS中函数没有先声明后使用一说,在定义前前使用也可以的。...

2019-01-31 17:39:40

SQL判读字段是否为空或者不存在值

coalesce(name,'')<>''#返回true 或者 falseselect * from table where coalesce(name,'')<>''

2018-06-12 19:37:37

intellij IDEA隐藏INFO日志信息,只显示ERROR

intellij IDEA有很多[INFO]信息有时候很烦,看不到想要的输出,一般情况下,只显示ERROR信息就可以了。1,在源码src下面新建文件夹resources,2,右击resources文件夹Mark Directory as 选中Resources Root3,将spark源码conf目录下的log4j.properties文件复制到 src/resources文件夹下(如果有同学不想...

2018-06-07 09:50:51

【算法题】求第N位数字,数列如下112123123412345123456

【算法题】自增自然数列组,求第N位的数字,数列如下112123123412345123456首先,鄙视下出这个题目的人,人为增加难度,无聊。这个题目如果之前没见过,想短时间写出来还是需要一定的脑力的,一步一步抽丝剥茧吧:①先把该数列看成如下形式:11212312345123456……这样我们可以将每个子串单独分析,可以看出来第i个子串比第i-1个子串多一个数i,数i的长度为log10(i)+1,也...

2018-05-02 16:38:07

霍夫变换直线检测及原理理解

今天有小伙伴提到直线检测,我便讲了霍夫变换,归纳分享下:首先,介绍笛卡尔空间,就是我们常见的那个几何空间啦,通过 y=kx+b,可以表示直线。然后,想一下,如果把上面方程变形一下,b=-xk+y,(k和b作为变量,xy作为常量),那么是不是又是一条另外的直线呢?对了,这就是霍夫空间了。然后,你一不小心,发现两个规律:①霍夫空间,笛卡尔空间中的直线,对应到霍夫空间中是一个点;

2018-03-29 19:17:31

数学上各种空间概念的关系图

数学上有各种空间,概念容易混淆,为了记忆,整理出一张关系图。目前不清楚无限维的内积空间是什么?也欢迎各位补充其他的概念。

2018-03-29 16:15:23

理清Hadoop1.x与Hadoop2.x区别,对比分析

需要整理一篇大数据框架的文章,所以本文复习下Hadoop。Hadoop是大数据惊世之作,必学的东西,需要知道:它由哪些部分组成?各自的作用是什么?如果工作的?……Hadoop1.x设计还是有些欠缺的,故而Hadoop2.x加以了完善,老规矩,上图:Hadoop1.x:Hadoop2.x:需要xmind图的可以在这里下载:h

2018-02-28 14:04:02

Tensorflow实现简易的汽车检测car-detect

本文作为一个汽车检测的小Demo,没啥技术含量,内容搜集自网络。数据集及程序来自网络,最原始的项目应该在这里,http://cogcomp.org/Data/Car/。我整理到一起,大家一起学习学习:(内容是基于tensorflow实现简易的汽车检测car-detect,包含Training和Testing数据集,以及训练和测试的代码,python3.5+jupyter实现)下载链接:ht

2018-02-24 13:59:09

【Python】实现汉诺塔

题目:有A,B,C三根针,将A针上N个从小到大叠放的盘子移动到C针,一次只能移动一个,小盘子必须在大盘子上面。求最少移动方案。思路:试想这个过程中,必然会经历那么一个步骤,即有一大坨N-1个盘子在B针这个中转站,而我们正将最大那个盘子(即第N个盘子)从A针移动至C针。N-1个盘子被移动了两次才能到C,那么推而广之就是F(n) = 2 * F(n-1) +1

2018-02-23 11:38:50

LRN (Local Response Normalization,即局部响应归一化层)

LRN(LocalResponseNormalization,即局部响应归一化层)(一)先看看归一化吧什么是归一化?归一化化是归纳统一样本的统计分布性。就是要把你需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。为什么要归一化,归一化目的是什么?(1)为了后面数据处理的方便,归一化的确可以避免一些不必要的数值问题。(2)为了

2018-02-02 15:42:46

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。
  • 分享宗师
    分享宗师
    成功上传21个资源即可获取