- 博客(103)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 让流程图动起来
我们平时画流程，然后贴到文档，就完事了。但是过程演示的时候，如果只是一张静态图，很难吸引到听众的注意力，表达效果并不太好。常用的方法是可以用PPT进行动态演示，做PPT也是需要花一些时间，同时表达也比较有限。下面介绍一下基于的流程图动画生成的方法。
2024-04-22 20:15:12
229
原创 一套在线画图工具（突突图 Procviz）
突突图(Procviz)是一款面向跨平台作图平台。支持流程图、思维导图、框架图、组织架构图、ER图、网络拓扑图等。实现了多团体同时协作，实时同步，解决跨地域合作作图的问题。平台提供了丰富的模板和素材库，轻松完成作图，效率翻倍。
2024-04-22 12:55:21
293
转载 echart 拆解打包
Echart是一个很好基于JS的画图工具SDK，全功能的SDK比较大900多k，小程序对包的大小要求比较紧2048k，稍微增加点东西就上传不了了。我们可以把Echart裁剪一下，只留我们需要的功能。
2022-04-30 22:24:30
390
原创 echart 拆解打包
Echart是一个很好基于JS的画图工具SDK，全功能的SDK比较大900多k，小程序对包的大小要求比较紧2048k，稍微增加点东西就上传不了了。我们可以把Echart裁剪一下，只留我们需要的功能。可以到https://echarts.apache.org/zh/builder.html下载选择自己需要的组件，然后下载打包下载即可。......
2020-09-14 19:01:15
590
原创 Neo4j Vs JanusGraph Vs Tigergraph
做知识图谱的一般需要用图数据库存储及检索，相对更加的直观化。记得2年前做教育方向用到过Neo4j，速度的确是慢。目前比较流行的Neo4j、JanusGraph、TigerGraph等，JanusGraph是开源的，在腾讯和百度都有用。收集了一下几种Graph数据库的对比，从容量、性能、查询能力、分析能力、开源生态等方面考虑：1. 容量目前是大数据时代，随便一个公司都会有很多的数据产生，之前公司一个语音评测系统，每天都有3亿条提交。这么大的数据量，做分析和存储都是需要考虑容量的。Neo4j：支持数
2020-06-19 22:06:45
2704
原创 tokenizer的生成及padding
我们在做embedding的时候，通常会先做下tokenizer，然后再做word embedding，我们下面看看怎么来生成tokenizer。1. 可以先搞一批raw data，可以从网上爬下来，也可以从已有的collection下载。2. 做下分词，中文可以用结巴，英文用空格和特殊符号3. 分词生成的terms，我们保存下来，每句话可以保存一行，每行多个terms，用空格分隔4. 用分词的term生成tokenizer，并做下padding。我们这里只关注这个部分，其他部分可以参考其他
2020-05-22 21:53:52
4130
原创 joblib和pickle模型持久化保存及加载
训练模型的时候，通常希望把模型保存下来，方便后面可以做测试的时候交叉验证。下面简单介绍两种保存模型的方法：基于joblib和基于pickle的保存和加载。1. 使用joblib这里joblib是来自于sklearn.externals，你需要先安装这个包，之后可以引用这个包进行保存或者加载模型。from sklearn.externals import joblib下面以tokenizer的例子说明一下#!/usr/bin/pythonfrom keras.preprocessi
2020-05-22 21:02:03
3895
3
原创 conda安装sklearn
sklearn有很多有用的库，通常我们用pip管理包的时候，直接用pip （python 2.7）或者pip3 (python 3)安装就行了。比如在python2.7下pip install -U sklearn或者python3.0之后pip3 install -U sklearnconda下安装不是直接安装sklearn，名字不太一样。conda install -c anaconda scikit-learn然后输入"y"继续安装。之后就可以使用sklearn
2020-05-22 20:44:18
56257
5
原创 MongoDB vs Redis vs HBase
当SQL无法满足我们的需求或者SQL已经不是必须的或者最佳的选择时，就可以考虑NoSQL了。MongoDB是文档型数据库，使用bson结构，可以更加灵活的处理嵌套结构的数据，是这三个里最接近关系型数据库的，有着非结构化、方便扩充字段、写性能优于mysql等优点，万物皆有利弊，MongoDB是内存性缓存内容，使其速度飞快；带来内存占用率高，掉电丢数据等问题，加上自身代码还有很多bug造成不如老牌关系型数据库稳定，特别是主从等分布式环境下，其设计也带来诸多问题。Redis是K-V型数据库，目标是为了做高
2020-05-19 10:54:26
821
原创 pinyin去掉声调
拼音表达方式多种多言，有Unicode的符号音调，也有数字音调，通常我们需要在各种格式间相互转换。我们举个简单的例子做个转换。#!/usr/bin/python# -*- coding: UTF-8 -*-# map vowel-number combination to unicodemapVowelTone2Unicode = {'a1': 'ā', 'a2': 'á', 'a3': 'ǎ',
2020-05-12 11:23:03
2203
原创 Elastic Search (ES)基本使用
基于kibana的DevTool可以很方便的进行ES的测试。当然，你可以用curl命令或者Postman等工具进行测试。下面是一些基本的数据操作，可以参考一下。# 获取ES的基本信息GET _search{ "query": { "match_all": {} }}# 添加数据：# megacorp是index索引名称# employee是类型# 1是......
2020-03-22 22:17:53
652
原创 MAC 安装ES（Elastic Search）及Kibana
关于ES这里先不多介绍了，先看下怎么安装ES吧。这里安装的ES是基于JDK 1.8，需要先安装JDK1.8，否则会提示requirement is not satisfied。安装JDK 1.81. 下载JDK1.8可以到https://www.oracle.com/java/technologies/javase-jdk8-downloads.html下载，但是Oracle需要登......
2020-03-22 16:42:44
12400
原创 在旋转后有序数组中查找指定数（Search in Rotated Sorted Array）
题目Suppose a sorted array is rotated at some pivot unknown to you beforehand.(i.e., 0 1 2 4 5 6 7 might become 4 5 6 7 0 1 2).You are given a target value to search. If found in the array return i...
2020-01-16 11:35:35
848
原创 移除有序数组的重复数字 2（Remove Duplicates from Sorted Array II）
题目Follow up for "Remove Duplicates": What if duplicates are allowed at most twice?For example, Given sorted array A = [1, 1, 1, 2, 2, 3],Your function should return length = 5, and A is now [1, 1,...
2020-01-15 18:50:52
279
原创 移除有序数组的重复数字（Remove Duplicates from Sorted Array）
题目Given a sorted array, remove the duplicates in place such that each element appear onlyonce and return the new length.Do not allocate extra space for another array, you must do this in place wit...
2020-01-08 19:35:39
456
原创 LeetCode 题目解析
所有代码均是基于C++11实现，有部分代码参考了其他同学的实现。这里只做部分test，test case写的有限，并不会cover所有的Corner case。大家可以只作为参考，添加更多的test case。有些面试官会让你自己写test cases，并自己去跑测试验证自己的代码。面试的一些小提示1. 自我介绍可以比较简短，着重介绍自己做的成绩和产出就行了，比如在**公司的**项目中采用......
2020-01-08 19:22:06
482
原创 Mac上启动、关闭、重启MySQL服务
1. 启动服务mysql.server start2. 关闭服务mysql.server stop3. 重启服务mysql.server restart
2020-01-06 21:35:23
2939
原创 查看本地分支对应的远程分支
可以通过如下命令拉取远程分支到本地：git checkout -b <本地分支> <远程分支>一般远程分支是以origin开头的，比如你的分支叫dev，那么对应的远程分支可能叫origin/dev。为什么用可能呢？你拉成本地分支的时候可以改名。那如何知道自己的本地分支对应的哪个远程分支呢？开发中就遇到过这样的问题，本地有个master分支和一个dev分支，本......
2019-12-04 18:16:33
14645
1
原创 Mac 连接MySQL数据库的坑
1. 安装MySQL大家可以官网下载一步步的安装，我用的是Mac，直接用brew命令安装了，比较方便。(base) ➜ backend git:(master) ✗ brew reinstall mysql2. 安装完成之后可以尝试启动或者停止MySQL服务，MySQL会启动一个服务到后台启动服务：(base) ➜ backend git:(master) ✗ mys......
2019-12-01 19:22:40
458
原创 Wireshark: The capture session could not be initiated on interface
Wireshark是个不错的抓包工具，可以捕获HTTP，TCP和UDP的包，对于前后端开发非常有用。在Mac上安装完Wireshark之后提示如下错误：The capture session could not be initiated on interface 'en0' (You don't have permission to capture on that device).查了一圈......
2019-11-14 14:30:45
5271
2
原创 Mac查看端口号占用
Mac上查看端口号占用可以使用 lsof，然后跟上对应的端口，比如要查8081占用的情况：lsof -i tcp:8081结果为：(base) ➜ native git:(master) ✗ lsof -i tcp:8081COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME......
2019-11-01 21:28:22
31431
原创 Golang的 Json string和Map互相转换
在存储的时候想把数据列表存储成json string，但是在代码使用的时候又觉得用map更快更方便。这个时候就需要相互转换，下面是一个转换的例子。// Test for json and map convertingpackage mainimport ( "encoding/json" "fmt")func main() { jsonStr := `{"ip": "127......
2019-11-01 12:21:39
24221
原创 决策树ID3与C4.5的python实现
测试文件格式如下，保存为isFish.csvno surfacing,flippers,isFish1,1,yes1,1,yes1,0,no0,1,no0,1,no代码如下：具体基础逻辑可以参考https://blog.csdn.net/lwc5411117/article/details/102514421#!/usr/bin/python# -*- coding: ......
2019-10-20 21:57:06
538
原创 决策树分类算法剖析
面试中，大家不仅要懂得目前比较流行的深度学习算法，对于传统的分类和聚类算法也要了解一些。在实际应用中也不是所有的深度学习算法就是万能的，训练时间久、可解释性差都可能会阻碍在工业界的使用，很多情况下还是需要用到传统的分类和聚类算法。十二年前就接触到LR和Bayes，然后是K-mean、KNN、决策树、随机森林、SVM、adaboost、xgboost等各种各样的分类和聚类算法，不过当时只是做项目......
2019-10-17 10:44:18
1283
原创 ImportError: cannot import name 'IncompleteRead'
采用apt-get install python3-pip安装pip3后，一直提示：ImportError: cannot import name 'IncompleteRead'。网上找了一些方法来解决这个这个问题，尝试了easy_install3 pip3，但是还是没有结局。找了其他资料说是没有重新安装setuptools，于是卸载pip3，重新安装setuptools。卸载比较简单，与安...
2019-10-08 21:52:39
572
原创 OpenFST概览
学习Kaldi首先需要了解OpenFST，之后才能够深入的学习Kaldi，很多概念都是和OpenFSTaging相关的，而且如果要调整模型的准确率和速度也离不开OpenFST。那OpenFST究竟是什么呢？这里有个OpenFST在Kaldi上的介绍：http://www.kaldi-asr.org/doc/tutorial_looking.html，不过不是很太详细，可以参考OpenFST的网......
2019-09-29 20:14:25
3264
原创 简单的理解熵的概念
通常我们为了量化分类效果的好坏，会引入信息增益（ID3）、信息增益率（C4.5）、基尼系数（CART）等。一般采用熵（Entropy）来度量信息增益。ID3算法的核心思想就是以信息增益度量属性的选择，选择分裂后能够获得最大信息增益的属性进行分裂。信息增益（Information Gain）是用来衡量给定的属性区分训练样例的能力。先了解一下信息增益相关联的一个名词“熵”（entropy），熵是信...
2019-09-29 17:48:24
599
原创 查看Linux系统支持的指令集
查看Linux系统支持的指令集很简单，这里说一下为啥需要这个信息。具体指令集的描述可以参考下百科：https://baike.baidu.com/item/%E6%8C%87%E4%BB%A4%E9%9B%86指令集序列比较多，这里主要关注SSE，AVX2，AVX512，这三套指令集基本也是里程碑式的，有很多机器支持的情况不一样，当然价格也不一样，如果配置服务器要注意一下，我们根据C++的指令......
2019-09-25 19:32:50
13527
原创 Kaldi的安装与测试
Kaldi是一款基于C++的开源语音识别工具箱，根据官方的说法，可以再UNIX和Windows编译并执行。（吐槽一下，最近kaldi的作者也是风雨漂泊，说是要来中国发展，希望能够接触到大牛）。无论语音识别还是语音评测，大部分公司都是基于这套框架的，也是进入语音识别领域的基石，可以很快上手。不过代码是C++写的，里面有些坑还需要挖，比如有些模块的线程安全问题（具体的模块忘记了，后面记起来再补上），对......
2019-09-25 10:36:10
7352
1
原创 Linux安装GCC 9.2.0
Linux操作系统目前一般自带的GCC4.8.5或者4.9.2等等，相对比较老的版本，当然随着操作系统版本升级，可能会加入一些pre-build-in的高级版本。有些功能的支持需要在GCC的或者G++的高级版本才有的支持，比如之前我们用的AVX512的指令集在GCC5.4.0才支持的比较好。下面简单看下怎么升级1. 下载安装包可以去GNU网站上下载你想要的版本：http://ftp.g......
2019-09-24 10:08:29
18660
4
原创 Docker 镜像和容器管理
20分钟时间，大家可以快速掌握Docker相关知识，首先得了解几个概念。其实Docker和我们之前接触的Virtual Box、VMWare、QEMU类似，只是Docker是简单的进程级隔离管理方法。其中包括容器及镜像两个常用的概念，可以认为docker就是一个管理平台，container就是一个虚拟机，镜像是一个当前虚拟机的快照，container里面可以跑操作系统。多个容器里面可以用同一个镜像......
2019-09-18 10:47:18
575
原创 Centos升级到GCC7
GCC最近版本升的比较快，最近一个项目需要升级到GCC7，可以通过下载GCC7的包，然后按步骤编译安装，但是发现编译时间太长了，其实有个简单的Hack方法，把别人安装好的GCC7的lib复制到自己的机器上，然后修改软链到最新的GCC上就OK了。下面是另一种相对靠谱点的方法：sudo yum install centos-release-sclsudo yum install devtool......
2019-09-17 16:31:41
612
原创 Error: Another active Homebrew update process is already in progress.
用brew安装的时候，你如果安装一半就按Ctrl+Z停掉，这个时候brew有个临时文件，你再次执行brew安装其他包的时候就会报错。Error: Another active Homebrew update process is already in progress.我们把临时文件删掉就好了。rm -rf /usr/local/var/homebrew/locks......
2019-09-16 19:09:25
3235
1
原创 One-hot vs. Word2Vec
训练模型的时候，有的时候使用的是One-hot，有的时候使用Word2Vec，这两个有什么区别的，什么时候使用One-hot，什么时候使用Word2Vec呢，谈一下自己的理解。One-hot EncodingOne-hot编码又被称为“一位有效编码”，采用N位对特征的N个状态或者候选值进行编码，每个候选值是否有效用0和1表示，任意时刻编码只有一位有效。举个简单的例子，如果要区分水果，假设水...
2019-09-13 20:39:06
1426
原创 DeepMind提图像生成的基于RNN的DRAW
原文地址：https://github.com/shugert/DRAW这里简单基于python3改了一版，可以作为参考。文章看了两篇，简单说下对这个算法的理解。基于几个问题我们收缩一下关注点，不然大家看起来比较费劲。数据集是什么？文章的训练集和测试集均是基于MNIST的，但是也可以基于其他的数据集做训练，比如人脸、图片风格生成。算法是什么？Draw神经网络提供了一种新的空...
2019-09-09 21:01:28
333
原创 把MNIST数据导出成图片
MNIST是个比较好的数据源，大家学习图像算法的入门级必备数据，刚开始学习的时候，肯定想知道这到底是什么样的图片。但是数据存储的格式是28*28的图片转换一维784的数据。我们需要把数据做一次转换才能获取想要的图片。下面简单的给出一个到处数据的代码。# import librariesimport tensorflow as tffrom tensorflow.examples.tuto...
2019-09-09 19:50:39
890
原创 AttributeError: module ‘scipy.misc‘ has no attribute ‘toimage‘
在使用scip.misc.toimage保存文件的时候，报错说是scipy.misc没有toimage。代码片段如下：scipy.misc.toimage(img, cmin=0, cmax=1).save(name)网上找了半天都是提示我pillow没有安装，然后通过pip、pip3、conda均做了尝试，还是报同样的错误，然后卸载重新安装scipy和pillow还是不行。然后我用......
2019-09-09 10:46:38
6441
2
原创 导出数据为PDF方法
在工作中，有很多数据需要导出成PDF，比如账单、数据报表、简历等等。有很多方法可以做PDF的导出，JAVA就有很好的组件可以做这个事情。可以根据项目做不同的选择，下面我们简单探讨一下。常用的导出方法对比调研对常用PDF导出方法 调研对象 优点 缺点 分页 图片 jsPDF 1、整个过程在客户端执行(不需要服务器参与)，调用简单 ......
2019-08-11 20:32:27
2298
原创 10 个Team Leader应该具备的特质（The 10 Effective Qualities of a Team Leader）
（原文链接：https://smallbusiness.chron.com/10-effective-qualities-team-leader-23281.html）An effective team leader has a variety of traits and characteristics that encourage team members to follow him. Te...
2019-05-17 14:47:48
4558
原创 如何从AI到IA？
看到国内很多公司都在搞AI，简单说下最近做AI的一些个人看法。当然有很多不足之处，也请指正。人工智能（Artificial Intelligence），英文缩写即我们常说的AI。它是研究、开发用于模拟、延伸及扩张人类智能的理论、方法、技术及应用的一套科学技术。是的，听起来很高深，也很神奇。最近几年比较火。各个大小公司开始使用这个概念，包括很多创业公司开始使用这个概念来拉融资，但是聊过之后才...
2019-04-28 18:04:22
886
可可万年历
2013-11-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人