- 博客(47)
- 收藏
- 关注
RSS订阅原创 今日随记-读研生涯的回顾与思考
离研究生最终答辩还有一个多星期，大论文提交了，盲审也抽了，PPT也做的差不多了。现在感觉有很强的挫败感，觉得自己研究生读的很失败，不知道是不是浪费了自己的时间，可能就是浪费了自己的时间吧。看着自己做的PPT，觉得自己的科研成果就是一坨垃圾，毫无价值，但是却要厚着脸皮，跟各位评委老师说：“我这个可有价值了！”。为啥要读研那反观回来，为什么我要读研呢？虽然这个问题现在发问，没有什么太大的价值了，但是可以作为一个复盘吧。当初的思想：1. 觉得自己本科的专业不好，不利于就业，本科学的东西不喜
2021-01-06 12:39:26
513
2
原创 Mac 快速安装配置Latex并实现实时pdf预览
Mac 快速安装配置Latex并实现实时pdf预览在写新的小论文的时候，会议方提供了latex 模板，所以在mac上安装配置，在此记录过程以及相关问题的解决方法。安装在MacTeX - TeX Users Group上下载BasicTeX（也就是下面的那个“Smaller Install”，大概75MB的样子），按照安装器的提示安装就行了。http://tug.org/mactex/安装好以后，在这个链接TeXstudio - A LaTeX Editor下载安装，https://sou
2020-09-17 17:59:13
2330
1
转载 【基础知识】数据研发相关
主要是对比B树和B+树的区别 B+树的磁盘读写代价更低：B+树的内部节点并没有指向关键字具体信息的指针，因此其内部节点相对B树更小，如果把所有同一内部节点的关键字存放在同一盘块中，那么盘块所能容纳的关键字数量也越多，一次性读入内存的需要查找的关键字也就越多，相对IO读写次数就降低了。 B+树的查询效率更加稳定：由于非终结点并不是最终指向文件内容的结点，而只是叶子结点中关键字的索引。所以任何关键字的查找必须走一条从根结点到叶子结点的路。所有关键字查询的路径长度相同，导致每一个数据的查询效率相当
2020-09-09 19:50:56
197
原创 AWS EC2 Ubuntu 16.04 VNC 远程桌面 mac配置全过程教程
AWS EC2 Ubuntu 16.04 VNC 远程桌面 mac配置全过程教程登陆EC2升级系统添加用户安装桌面与Configure TightVNCRunning TightVNC as a Service在本地terminal执行启动本地VNC软件链接共享粘贴板解决tab 失效问题chrome 安装ROS kinetic 安装github 配置由于工作与科研需要，平时专门为实验室配用的Linux笔记本性能太差，同时平日大部分时间是运用mac工作，随身携带两台电脑很不方便，故申请了一台AWS EC2来
2020-06-26 17:52:13
1957
1
原创 JAVA 扫盲随记
1. 字符串转int，并做了溢出处理try{ value = Integer.parseInt(str.substring(m.start(), m.end())); }catch(Exception e){ value = str.charAt(0) == '-'?Integer.MIN_VALUE:Integer.MAX_VALUE;...
2020-01-23 18:19:33
149
原创 Tomcat Ubuntu JDBC MySQL 配置
Ubuntu 下载镜像https://launchpad.net/ubuntu/+cdmirrors?_ga=2.234957249.1347477989.1553512358-1291320132.1553512358安装完之后分辨率不正常，在vm 上 点击 “设备” —> 安装增强功能1. Tomcat配置的时候，要注意修改start.sh 和 shutdown.sh...
2020-01-21 14:17:16
275
转载 VM VirtualBox Centos 相关配置
系统版本： CentOS Linux release 7.6.1810 (Core)附：Centos 下载镜像地址https://www.jianshu.com/p/a63f47e096e8显示配置1. 下载带桌面的镜像：CentOS-7-x86_64-LiveGNOME-1908.iso2. virtualbox安装centos没鼠标将显示设置中的“显卡控制器”设置...
2020-01-20 11:27:45
285
原创 数据服务技术栈
1. 大数据数据库2. 实时计算3.spring-boot + pandora-boot + 消息队列 metaq + 定时调度 shedulerx + 分布式请求 HSF + 缓存 Tair + 消息通知 Goc4.React + typescript + antd...
2020-01-14 16:30:53
161
原创 联想 小新Pro13 安装Ubuntu16.04、并修复wifi联接问题
2019款联想小新Pro13，安装Ubuntu后出现wifi搜索不到任何可连接网络的情况；经过排查，为驱动问题。修复方式：打开terminal输入：echo "blacklist ideapad_laptop" | sudo tee /etc/modprobe.d/disableideapad.conf然后重启即可。同时发现桌面分辨率无法更改的问题，导致图标和字...
2019-12-27 10:44:01
3722
11
转载 【转载】bigdata 框架、架构学习
导读：第一章：初识Hadoop第二章：更高效的WordCount第三章：把别处的数据搞到Hadoop上第四章：把Hadoop上的数据搞到别处去第五章：快一点吧，我的SQL第六章：一夫多妻制第七章：越来越多的分析任务第八章：我的数据要实时第九章：我的数据要对外第十章：牛逼高大上的机器学习经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很...
2019-12-16 13:49:43
293
原创 SQL 分组取最新的一条数据的方法
SELECT biz_id AS leads_id ,gmt_create AS leads_complete_time FROM kbods.ods_kbleadscenter_biz_log AS b WHERE dt='${bizdate}' AND action='completeLeads' AND NOT EXISTS ( ...
2019-12-16 13:34:05
2024
转载 无人驾驶失败案例汇总
慌不慌？无人驾驶的命案都在这儿！原创：陈潇慕贝克街探案官5天前作者：陈潇慕11月21日，也就在昨天，美国国家运输安全委员会（NTSB）公布了去年发生的一起Uber致命车祸案件的调查结果。这起广为人知并牵动了所有关注无人驾驶的目光的案件，在时隔一年后终于画上了句号。调查结果显示，主责在驾驶员，Uber的自动驾驶系统所担责任并不主要。这正应了那句...
2019-11-27 19:47:08
9081
转载 【数据研发】sql - grouping的用法
本文介绍的方法是为配合cube一起使用cube的使用方法如果我们想统计各种颜色的买了多少，并且最后合计一共买了多少，用比较笨的方法可以这样实现：Select Color,SUM(Quantity) AS Quantity from #T GROUP BY ColorUNIONSELECT '合计',SUM(Quantity) FROM #T 结果：...
2019-11-26 12:15:20
581
转载 【转载】开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)
开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)易观CTO 郭炜 序现在大数据组件非常多，众说不一，在每个企业不同的使用场景里究竟应该使用哪个引擎呢？这是易观Spark实战营出品的开源Olap引擎测评报告，团队选取了Hive、Sparksql、Presto、Impala、Hawq、Clickhouse、Greenplu...
2019-10-29 14:24:16
356
转载 HBase读写流程——链路清晰版
HBase作为一种高可靠、高性能、面向列、可伸缩的分布式存储系统，读操作写操作是该系统中使用最频繁的两种操作。1 WAL机制WAL(Write-Ahead Logging)是一种高效的日志算法，几乎是所有非内存数据库提升写性能的不二法门，基本原理是在数据写入之前首先顺序写入日志，然后再写入缓存，等到缓存写满之后统一落盘。之所以能够提升写性能，是因为WAL将一次随机写转化为了一次顺...
2019-09-19 11:52:53
256
原创 maven hbase
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/mave...
2019-09-03 18:18:12
800
原创 MYSQL 学习笔记
INNER JOIN 关键字在表中存在至少一个匹配时返回行，如果 "Persons" 中的行在 "Orders" 中没有匹配，就不会列出这些行。LEFT JOIN 关键字会从左表 (Persons) 那里返回所有的行，即使在右表 (Orders) 中没有匹配的行。UNION 内部的 SELECT 语句必须拥有相同数量的列。列也必须拥有相似的数据类型。同时，每条 SELECT 语...
2019-07-29 10:20:38
101
原创 Xgboost的原理以及基于python的代码实现
阿里的面试以及DeeCamp的面试中，均问了关于xgboost的原理以及和gdbt等其他数据挖掘方法的对比。
2019-07-03 21:29:09
1781
转载 决策树与神经网络方法的应用场景总结
“最近在实验室项目的研究中，客户需要对比在决策场景中决策树与神经网络的对比，在查阅资料过程中，发现这篇发布于微博的文章写的很好，与大家一块分享”这个问题可以从几个维度来分析。但先要说明决策树就是决策树，随机森林和xgboost的性能提升主要是来自于集成学习。所以，我们扩展一下题目把对比延伸到：单棵决策树，如比较常见的C4.5等 以决策树为基模型的集成学习算法(Ensemble Tr...
2019-07-01 16:13:31
10939
1
原创 pySpark API 使用过程中出现 “ImportError: No module named 'py4j'“错误
首先确认 ~/.bashrc 里面有：export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATHexport PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH 2. 进入 $SPARK_HOME/python/lib/ 里面看一看py4j 的版本号和你...
2019-06-07 00:43:42
4772
原创 Deecamp 面试翻车记录
挺过了阿里五面，美团四面，结果在Deecamp面试翻车了，特此记录，收获很大。没有编程，面试官是创新工场的算法工程师，人很不错。ROC曲线如何绘制 AUC的含义 梯度下降法和牛顿法的区别 如何防止过拟合，分别从机器学习还有深度学习两方面去说 说一说正则化中L1范数和L2范数的区别 具体说一说正则化项是如何实现防止过拟合的 LSTM和RNN的区别？LSTM的激活函数是什么？ 如...
2019-06-04 18:51:29
1374
3
原创 ALI-数据研发-四面
1. 如何评估机器学习算法的性能指标？分类问题精确率精确率（precision）是指模型预测为真，实际也为真的样本数量占模型预测所有为真的样本数量的比例。举例来说明，比如警察要抓小偷，抓了 10 个人，其中有 6 个人是小偷，那么精确率就是 6/10 = 0.6。召回率召回率（recall）有时候也叫查全率，是指模型预测为真，实际也为真的样本数量占实际所有为真的样本数量的...
2019-05-24 17:28:25
214
原创 catkin_make 时遇到 “对‘inflateValidate@ZLIB_1.2.9’未定义的引用” 解决办法
问题现象：/home/username/anaconda3/lib/libpng16.so.16：对‘inflateValidate@ZLIB_1.2.9’未定义的引用问题原因：ROS 和 Anoconda 同时安装导致的解决办法：step1在~/.bashrc中注释掉所有和Anoconda有关的内容step2确认在~/.bashrc内有export P...
2019-05-12 15:58:43
2608
翻译 聚类方法之 HDBSCAN —— 层次DBSCAN 的原理分析
HDBSCANHDBSCAN（Hierarchical Density-Based Spatial Clustering of Applications with Noise）是由Campello，Moulavi和Sander开发的聚类算法。 它通过将DBSCAN转换为分层聚类算法来扩展DBSCAN，然后基于聚类稳定性，使用了提取平面聚类地技术。和传统DBSCAN最大的不同之处在于，HDB...
2019-05-09 10:44:10
30334
12
原创 ALI - 数据研发- 二面 python中正则化的使用
最近被问到了python中正则化的使用，以及如何写出匹配表达式：题目如下：<div class="nam">中国</div>，用正则匹配出标签里面的内容（“中国”），其中class的类名是不确定的答案：import restr1 = '<div class="nam">中国</div>'res = re.findal...
2019-05-03 11:36:37
565
1
翻译 基于仿射3D的测量和重建
Affine 3D measurements and reconstruction《Multiple View Geometry in Computer Vision Second Edition》P223根据已知像平面的消失线，可以测量像平面的仿射属性；如果再加上可以识别出与平面不平行的方向的消失点，然后就能够计算三维透视空间的仿射属性；我们将针对消失点对应于与平面正交的方向...
2019-05-02 21:46:45
291
原创 ALI-本地生活-数据研发实习一面
记录一下 数据研发实习 技术面一面内容先自我介绍，然后对着简历让我介绍了自己的做过的一个项目，我在其中的角色；然后问一些算法原理问题：1. 看你提到了VGG的网络结构，请描述CNN由哪些元件构成？他们分别有什么作用？卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成卷积层 激活函数 池化层 全联接层2. 你了解的激活函数有哪些？他们分别有什么特...
2019-04-28 15:09:11
332
原创 ZJTD 大数据研发岗实习远程面试记录
面试官小哥还是很和蔼的1. 简单的自我介绍2. 重点介绍一下你的实习项目之一3. 开始在牛客网上做题如何在一个字符串内找到一个最小字符子串如原始字符串：S = "abcassdwqabcsd"b = "abcd"在S中找包含b的最小子串4. 说说你了解的排序算法，以及他们的思路还有时间复杂度5. 如果有一个2g内存的机器，要对8g数据进行排序，如何操作？...
2019-03-25 19:20:35
707
原创 二叉树的层次遍历C++
小知识：树的结构体：struct TreeNode {int val;TreeNode *left;TreeNode *right;TreeNode(int x) : val(x), left(NULL), right(NULL) {}};他的含义是：初始化支持 TreeNode（int x）这种方式，即 把x赋给val，left和right赋值NULL。层...
2019-03-22 17:08:09
3955
原创 OL test C++随记
这是一篇在网测刷题时遇到的一些小知识，记录下来以备查询。1. 包括了所有标准头文件的include语句include <bits/stdc++.h>2. set中没有重复的元素所以求日活跃用户数(DAU)的时候，只需要：#include <bits/stdc++.h>using namespace std;//统计不重复的数字, 利用set就可...
2019-03-21 22:55:24
182
原创 Raspberry Config
本博客为博主在配置树莓派中遇到的一些问题以及相关解决方法的记录，希望能够帮助到遇到相似问题的同学，如有问题欢迎多多交流互相学习～mac ssh方法：terminal：ssh [email protected] ssh：sftp://172.20.10.13安装python包sudo apt-get install python-smbus用清华...
2019-03-01 10:14:01
235
原创 【合肥市第七中学研究性成果展示】舌尖上的红楼
臭桂鱼：臭桂鱼，又名臭鳜鱼，是传统名菜，徽州菜的代表之一，源于安徽省徽州地区（徽州即现黄山市一带），流行于徽州地区。初次见到的人不敢下筷，因为鳜鱼发出的似臭非臭的气味，叫人有点担心。其实，你一点不用担心，这决不是菜变味而发出的异味，这是这道菜独有的风味，当你吃一口后，你会惊讶地发现它的味道是那样的鲜美，这就是徽州的名菜—臭鳜鱼。制法：1 桂鱼宰杀后治净，将头尾用精盐腌渍片刻，然...
2019-02-12 22:49:26
16709
转载 自动驾驶仿真软件列表
【转自】https://blog.csdn.net/seeseeatre/article/details/80107724目前做的比较好的自动驾驶仿真平台的列表和个人评价，仅供参考 点击名称进入官网/github主页 列表的分类基于仿真软件的基础构架 不另外说明的话，都是可在Windows上使用的自动驾驶仿真软件列表基于Unity或虚幻引擎基于GTA基于机器人仿真软件基于汽车...
2019-02-06 23:38:45
1217
转载 人工智能顶会
作者：量子位链接：https://zhuanlan.zhihu.com/p/33465909来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 会议信息来源：《中国计算机协会推荐国际学术会议》A、B类（后面介绍会议时会标注粗来）科技巨头的开发者大会1月1月毛有会诶。看来是让大家好好歇着蓄势囤货积粮。不过注意一下IJCAI及ECAI的截稿...
2019-01-22 15:37:16
1423
1
转载 DM 顶会论文
【转自】雷锋网 JournalsACM TKDD http://tkdd.cs.uiuc.edu/DMKD http://www.springerlink.com/content/1573-756X/?p=859c3e83455d41679ef1be783e923d1d&pi=0IEEE TKDE http://...
2018-11-13 22:28:13
931
转载 一阶低通滤波和一阶高通滤波的C++实现
【转自】阳光下的奔跑_FC 傅立叶变换,拉普拉斯变换和Z变换对于信号分析而言,傅立叶变换是必不可少的,我们都知道傅立叶变换是把系统从时域变换到频域进行分析,那么拉普拉斯变换和Z变换是干什么的?简单的来说,由于傅里叶变换的收敛有一个狄利克雷条件，要求信号绝对可积/绝对可和。对于那些不符合狄利克雷条件的信号该怎么办呢,我们将频域的概念扩展到复频域.首先...
2018-11-13 19:08:41
6318
转载 【转】写递归函数的正确思维方法
版权声明：本作品由九天雁翎创作，采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可。http://www.jtianling.com https://blog.csdn.net/vagrxie/article/details/8470798 递归是编程中一个相对难以理解但是却又很重要...
2018-10-22 17:04:52
268
原创 c++中vector的赋值方法
常用的两种赋值方式：1. 给定vector大小：#include <iostream>#include <vector>int main(){ std::vector<double>x(6); std::vector<double>y(6); for (int i = 0; i < 6; i++) { x[i] = i; ...
2018-06-16 23:14:30
45699
1
原创 Thumbs.db 隐藏文件在Opencv resize 时带来的坑
在通过cv2导入图片，然后用resize来改变图像大小的时候，总会报错： error: (-215) ssize.width > 0 && ssize.height > 0 in function cv::resize百思不得其解后，把resize注释掉，然后print每个图片的name发现了：Thumbs.db这个windows自带的缩略图隐藏文件也被当成图片读了进来...
2018-06-02 20:57:03
769
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人