- 博客(65)
- 收藏
- 关注
RSS订阅原创 LLaMA-META发布单卡就能跑的大模型
2023年2月25日，Meta使用2048张A100 GPU，花费21天训练的Transformer大模型LLaMA开源了。
2023-02-27 20:52:35
3064
原创 linux: 程序重定向没及时输出到文件
stdbuf -oL ./test>>out其中的参数，o表示输出流，L表示行缓冲。这样主要遇到换行符，就会将缓冲输出到指定对象。参考:https://blog.csdn.net/frank_liuxing/article/details/54017813
2021-06-29 16:13:50
1291
原创 知识图谱驱动对话模型的解读
最近在做知识图谱驱动的多轮对话，查了很多资料，很多方案都采用“分类+NER+图谱规则”的方式做，在特别狭窄的领域感觉还可以，但是在宽一点的领域，就感觉图谱规则特别像机器人不太自然。在看了Knowledge-driven-dialogue项目后感觉很受启发。感谢作者的方案分享，在这里记录下自己对这个项目模型的一点点小的认识，由于对专业术语掌握的不精，主要采用通俗的描述方式，可能描述不精确，大家意会就行啦。https://github.com/lihanghang/AI-Competition/tree
2021-06-24 11:16:56
678
原创 消费者需求-营销对话探索
1 U&A模型成熟的消费者研究模型。费歇宾模式，消费者对一个给定产品的态度定量评价为，该产品具有各显著特征的程度和特征的评价乘积的和。
2021-06-21 12:37:33
570
原创 主动对话中冷场问题的一些思考
在营销对话系统中，当机器人助理回答万客户的问题，客户没有进一步提问或反馈时，就会陷入尴尬情景中，机器人如何抛出合理的问题，引导可以进一步提问，培养客户的信任，对机器人成功推荐出产品非常重要。...
2021-06-19 10:14:37
133
原创 pyenv 快速安装python
pyenv 快速安装 python 3.6.8v=3.6.8; curl -L https://npm.taobao.org/mirrors/python/$v/Python-$v.tar.xz -o ~/.pyenv/cache/Python-$v.tar.xz; pyenv install $vpyenv global 3.6.8
2021-03-29 10:53:05
180
原创 问题生成模型 - SQuAD任务启发
如何将BERT应用到生成式模型-UNILMBERT采用BiLM的方式预训练，而生成式模型一般采用Left->Right的LM的方式预训练，UNILM则在继承BERT BiLM预训练强大优势的同时，将BERT模型应用到生成式任务中，本文解读UNILM是如何实现这个目标，以及实现目标的方法和过程。UNILM：LM模型其实本质都是在训练时能获取到什么信息，在实现层面就是如何Mask的问题了，所以可以把Seq2Seq的LM方法应用到BERT中，S1[SEP]S2，S1做Encode编码用，S2做Dec
2021-01-26 15:28:01
1007
转载 neo4j 不同实例之间数据的export和import
consider to use APOC. Here is how to use.[on export side]enable APOC(Neo4j Desktop is easy to enable) set "apoc.export.file.enabled=true" into your database config (re)start database open Neo4j...
2019-02-24 22:02:35
658
翻译 neo4j dump 和 load使用例子
dump 例子$neo4j-home> bin/neo4j-admin dump --database=graph.db --to=/backups/graph.db/2016-10-02.dump$neo4j-home> ls /backups/graph.db$neo4j-home> 2016-10-02.dump load例子$neo4j-hom...
2019-02-24 22:02:27
2908
2
原创 neo4j apoc 设置
1 下载 neo4j apoc jar包在neo4j home目录下cd pluginswget wget https://github.com/neo4j-contrib/neo4j-apoc-procedures/releases/download/3.5.0.2/apoc-3.5.0.2-all.jarneo4j apoc jar需要根据neo4j版本进行选择 2 重...
2019-02-24 22:01:50
329
原创 neo4j restful api和py2neo driver选择
py2neo driver可能触发多次client端和server端的通信，复杂查询延迟较大，适用如下场合：1）简单的cypher查询，如单个顶点查询、一跳关联查询2）期望返回数据为node类型的多跳复杂查询，不关注查询延迟，数据可以多次分批获得 neo4j restful api查询在client和server端仅需要一次通信，适用场合如下：1）对延迟敏感的多跳复杂查询，期望...
2019-02-16 14:48:06
574
原创 neo4j community 用户管理方法
改变密码：CALL dbms.security.changePassword('123456')新增用户CALL dbms.security.createUser('johnsmith', 'h6u4%kr', false)删除用户CALL dbms.security.deleteUser('janebrown')显示所有用户CALL dbms.security...
2019-02-16 14:20:43
2693
2
原创 neo4j http api 相比 py2neo driver 运行的更快
neo4j http api：neo4j http requset 速度快1 服务端和客户端仅需一次通信：客户端将cypher命令发送给neo4j 服务端，服务端运行cypher查询，将结果返回给客户端2 cypher执行在服务端：服务端运行cypher，采用直接运行的模式，没有采用stream模式，因此cypher执行没有延迟和等待 py2neo bolt driver：...
2019-02-15 09:39:59
1079
原创 python 执行 neo4j HTTP 查询请求
Authorization 为 user@passwd 生成的字符串def http_post_test() URL = "http://localhost:7474/db/data/transaction/commit" CYPHER = "match (n:学生) where n.name = '李明' return n" data = { "s...
2019-02-14 23:19:44
941
原创 curl 执行 neo4j HTTP 查询请求
query.json { "statements": [ { "statement": "match (n:学生) where n.name = '李明' return n", "parameters": { "decisionId": "1", &
2019-02-14 23:10:09
1565
原创 为neo4j的一个边的属性设置多个值 - 数组属性
1 设置边的数组属性CREATE (n:Person { name: 'tom', title: 'Developer' })CREATE (n:Person { name: 'john', title: 'Developer' })create (a:Person{name:"tom"})-[r:RELTYPE{rtype:["r1", "r1"]}]->(b:Person{n...
2019-02-14 11:12:42
5677
原创 如何使用gremlinpython连接JanusGraph
1 JanusGraph设置1) 下载 janusgraph-0.2.2-hadoop2https://github.com/JanusGraph/janusgraph/releases2） 启动Cassadra、ElasticSearch、GremlinServerbin/janusgraph.sh start3）初始化数据打开gremlin终端，运行如下命令gr...
2019-02-13 18:05:10
3829
原创 proxy协议实现信息在nat系统中的透传
应用场景：在多层nat/tcp网络中实现ip地址的透传haproxyhttps://www.haproxy.org/download/1.8/doc/proxy-protocol.txt
2018-10-31 18:57:11
428
转载 转：linux下通过进程名查看其占用端口
https://www.cnblogs.com/MacoLee/p/5664306.html1、先查看进程pidps -ef | grep 进程名2、通过pid查看占用端口netstat -nap | grep 进程pidlinux通过端口查看进程：netstat -nap | grep 端口号例：查看8081号端口对应的进程名命令：netstat -nap |...
2018-10-16 11:07:11
182
原创 golang http连接复用
server端golang httpserver 默认开启keepalive连接复用选项handler函数需要完整读body数据，构造返回消息，否则当数据不能一次发送完成时，连接复用就会失效。示例如下package mainimport ( "fmt" "io/ioutil" "log" "net/http" "os" "strconv" "strings&qu
2018-02-20 21:35:34
8866
1
转载 nginx修改upstream不重启的方法(ngx_http_dyups_module模块)
该博文不错，转载下备用nginx很强大，第三方模块也不少,淘宝在nginx上很活跃，特别是章亦春，他参与的模块至少10+， 好了今天主角不是他，是一款动态配置upstream的模块，这个模块使用rest接口. 简单，方便，并且可以不需要重启nginx。但是有个问题比较明显，nginx重启之后，什么都没了.1. 安装ngx_http_dyups_module首先安装n
2018-02-07 14:03:05
2431
转载 linux dentry 实现机制分析
from:http://hary.wang.blog.163.com/blog/static/11695172820104572038197/ Linux用数据结构dentry来描述fs中与某个文件索引节点相链接的一个目录项(可以是文件,也可以是目录)。 每个dentry对象都属于下列几种状态之一： （1）未使用（unused）状态：该dentry对象的引用计数
2018-02-07 13:56:41
585
原创 git 命令 - 回滚、查看、合并、同步命令收藏
1 git 回滚强制回滚远程分支git push -f origin commit_id:master强制放弃本地修改git reset --hard2 git 合并某一个commit id提交的内容git cherry-pick 62ecb33 git 查看远程仓库地址git remote -v4 Git同步原始仓库和Fork仓库步骤初始化本地仓库mkdir test-repocd test-r...
2018-02-07 13:25:36
2494
原创 git commit id相关操作收藏
1 git clone指定commit id的版本git clone -b branch git@github/$username/$project.gitgit checkout commitid2 获取commit id获取完成commit id：git rev-parse HEAD获取short commit id： git rev-parse --short HEAD3 查看给定git c...
2018-02-02 11:03:40
5973
原创 lsof 查看进程fd句柄
isof、grep、wc结合可以监控句柄程序的句柄泄漏情况isof | grep nginx | grep user1 | wc -l 可以监控user1用户启动的nginx持有的句柄数目
2018-01-29 13:54:38
2435
原创 删除find 找到的文件命令
今天需要删除find找到的文件，经过查资料发现以下命令很好用，故记录下来。find ./ -name *.log | xargs rm -rf删除在当前目录下及子目录中找到的所有log日志，搞定。
2018-01-28 19:12:49
3365
原创 nc在服务器之间传输文件
首先，接收方10.0.82.196，启动接收， nc -l 9981 > file.tar.gz 其次，发送方启动发送，nc 10.0.82.196 9981 完成传输
2018-01-18 16:01:35
1036
原创 linux检查remote host 端口打开情况
1 通过nc命令检查远程端口是否打开$ nc -w 5 211.100.98.99 22SSH-2.0-OpenSSH_6.6.1如果没有输出，则任务端口没有开放2. 通过nmap检查远程端口是否打开$ nmap 124.16.144.32 -p 80Starting Nmap 7.12 ( https://nmap.org ) at 2018-01-08
2018-01-07 22:25:12
1514
原创 Reported time is too far out of sync with master. Time difference of ...HBase时钟不同步问题
2017-10-25 17:34:04,137 FATAL [regionserver60020] regionserver.HRegionServer: ABORTING region server bionode1,60020,1508924043337: Unhandled: org.apache.hadoop.hbase.ClockOutOfSyncException: Server bionode1,60020,1508924043337 has been rejected; Reported t
2017-10-25 10:01:06
1866
转载 ip 命令 和ifconfig 命令 删除IP
使用ifconfig命令添加一个VIP后，如果需要将这个VIP删除，可以使用ifconfig VIP down命令。但是，如果操作顺序不当，VIP会仍然留在系统缓存中，这时，使用ifconfig是看不到这个VIP的，但是，使用IP命令能够看到。查看ipip -o -f inet addr show删除ip ip -f inet addr delete 10.
2017-10-19 23:21:47
34914
原创 Error communicating with MapOutputTracker-问题解析2
spark.MapOutputTrackerMasterActor: Map output statuses were 14371441 bytes which exceeds spark.akka.frameSize (10485760 bytes).org.apache.spark.SparkException: Map output statuses were 14371441 bytes which exceeds spark.akka.frameSize (10485760 bytes).
2017-10-12 09:07:41
2584
原创 Titan/JanusGraph的Hadoop-Gremlin批量数据导入注意事项
Titan/JanusGraph的Hadoop-Gremlin海量数据批量导入需要注意的问题
2017-09-27 11:27:58
5038
原创 Error communicating with MapOutputTracker 问题解析1
Error communicating with MapOutputTracker 问题分析以及解决
2017-09-27 11:12:55
4083
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人