ELFFA-CSDN博客

原创 1009 知识图谱

分词、词性、实体识别自动摘要/改写 ——隐变量选择，不同风格的选择翻译情感/风险推荐（用户行为理解）搜索系统（智能搜索标签用户行为轨迹）...

2019-10-09 10:37:11 172

原创 phoenix+hbase 培训

毫秒级响应（为什么能做到）？二级索引Phoenix的相关写法update values =sql里面的insert。。。。优点，可以实现实时更新数据保证插入数据不重复（去重）有列族rowkey对应pk主键一级索引利用hbase引入了二级索引全局索引（应用最多全局索引）explain 看是什么查询呢？？？？可变索引不可变索引动态列设置...

2019-09-12 16:11:04 208

原创 DL4J初步在idea中实现（“hello word！”）

系统要求：Java（开发者版7或更新版本（仅支持64位版本） Apache Maven：Maven是针对Java项目的依赖管理和自动化构建工具。它与IntelliJ等IDE兼容性良好，可以让您轻松安装DL4J项目库。 IntelliJ IDEA(建议）或 Eclipse Git（为了下载案例）直接用idea进入目录后运行结果：（这份数据集是直接放在电脑...

2019-08-12 21:22:02 387

原创搞清楚大数据的几个概念

首先搞清楚几个概念Hadoop：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。HDFS：Hadoop分布式文件系统(HDFS)，它被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。【用来储存】...

2019-07-25 09:54:29 219

文章来源：https://www.cnblogs.com/adnb34g/p/9233906.html在学习hadoop的时候查询一些资料的时候经常会看到有比较hadoop和spark的，对于初学者来说难免会有点搞不清楚这二者到底有什么大的区别。我记得刚开始接触大数据这方面内容的时候，也就这个问题查阅了一些资料，在《FreeRCH大数据一体化开发框架》的这篇说明文档中有就Hadoop和spar...

2019-07-25 09:42:08 155

原创 hive 部分踩过的坑

1.hive索引https://www.cnblogs.com/zlslch/p/6105294.html分区数据非常庞大的情况下，索引常常是优于分区的。Hive并不像事物数据库那样针对个别的行来执行查询、更新、删除等操作。这些操作依赖高效的索引来实现高性能。为什么创建索引？没有索引时，类似'WHERE tab1.col1 = 10' 的查询，Hive会加载整张表或分区，然...

2019-07-19 16:03:56 620

原创 mac状态下anaconda新建环境，删除环境

anaconda新建和删除环境服务于一些小众python包，因为有些包内置比较复杂，容易发生冲突。新建：conda create --override-channels -c conda-forge -n XX python=3 OOsource activate XXXX：环境名称OO：你想在这个环境下装哪些包，一并打出来那么，等这个项目完成之后，你不再需要了，就需...

2019-05-03 17:20:05 3523

原创 Mac终端连接阿里云服务器出现Permission denied (publickey)

真的万万没想到一个终端远程登录阿里云就搞了我一个下午。。。。。这些是我搜到的关于这个问题的相关帖子：https://help.aliyun.com/document_detail/25434.html?spm=a2c4g.11186623.2.28.31897394pz6aGO#h2-url-4https://yq.aliyun.com/articles/350061https:/...

2019-04-28 20:58:47 3088 1

原创 mac os x 下搭建python的mapnik小众模块（各种疑难杂症都经历了一遍啊！！！！）

终于成功啦！！！！！！！撒花！！！！！！！！总结版如下：1.mapnik必须要装2.2版本，不能用3.2.添加路径3.关闭自己安装的python，启用苹果自带的python。——————————————————————————————————————————————————————最开始知道mapnik这个模块之后，就很想用。去mapnik官网（http://mapnik.org/）搜发现已经更新...

2018-04-17 16:58:05 755

原创 mac终端更改环境变量/增加路径

1.打开终端2.输入sudo vi ~/.bash_profile 回车PATH="/Library/Frameworks/Python.framework/Versions/3.6/bin:${PATH}"3.输入密码4.按i进入编辑状态5.增加路径名称如：#mysql export PATH=$PATH:/usr/local/mysq...

2018-03-12 20:41:01 6400

ELFFA的博客