- 博客(25)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 NLP任务之Named Entity Recognition
在训练过程中，BiLSTM-CRF模型的损失计算涉及到CRF层的负对数似然损失，这有助于模型学习到如何生成正确的标签序列。通过最小化这个损失，模型能够更好地拟合训练数据。: 预训练语言模型，如BERT和GPT，通过大量无标记文本预训练后，可以微调用于特定的NER任务。：接着，CRF层使用BiLSTM层提取的特征来建模整个标签序列，学习不同标签之间的转移概率，以确保输出的标签序列在全局上具有高度的一致性和准确性。: 通过在大型数据集上预训练的模型，然后在特定的NER任务上进行微调，可以显著提高性能。
2024-02-01 20:01:59
447
原创 FastApi中UploadFile如何支持多次读取
pd.read_excel(file, engine='openpyxl')出现了一个很奇怪的报错：zipfile.BadZipFile: File is not a zip file。在执行到eva_task函数的时候，传进去的参数test_file.file.read()总是0bytes，导致。再进一步排查发现是UploadFile不能连续读取两次，在读取过一次后，指针已经指向了文件的末尾。方法一：将数据读取后存入BytesIO后续使用。方法，要搭配「await」使用。方法二：再次读取时使用。
2023-08-28 20:48:42
234
原创 cuda、cuDNN、深度学习框架、pytorch、tentsorflow、keras这些概念之间的关系
它的设计目标是简洁、易用，适合快速原型开发和初学者。如何想要设计新的深度学习框架，在着手构建新框架之前需要咨询研究现有的深度学习框架，如TensorFlow、PyTorch、Keras等。：TensorFlow是由Google Brain团队于2015年开源发布的深度学习框架，它适用于高效利用分布式计算资源的机器学习框架，以支持大规模的训练和推断任务。当讨论CUDA、cuDNN、深度学习框架、pytorch、tensorflow、keras这些概念的时候，我们讨论的是与GPU加速深度学习相关的技术和工具。
2023-08-19 22:44:43
1019
原创 实现fluentd采集docker的日志输出到minio
需求实现采集日志到mino以容器的id或者name为文件夹进行分别存储参考的网站https://my.oschina.net/xiaominmin/blog/1796742https://docs.fluentd.org/buffer/file#parameters用到的插件编写fluent.conf，使其支持不同容器文件写到不同的文件夹https://github.com/tagomoris/fluent-plugin-forest编译镜像https://github.com/fl
2020-05-08 18:42:41
766
原创 alpine 编译java和python的基础镜像Dockerfile
## BUILD_IMAGE_NAME 为 build stage 所编译出来包含 *.pyc 的 docker imageARG ARG_JAVA_BUILD_IMAGE_NAMEARG ARG_PYTHON_BUILD_IMAGE_NAMEFROM ${ARG_JAVA_BUILD_IMAGE_NAME} AS java-buildFROM ${ARG_PYTHON_BUILD...
2019-10-23 16:33:02
1532
原创 docker错误分析总结
错误一：使用docker-compose启动容器的时候出现，An HTTP request took too long to complete. Retry with --verbose to obtain debug information.原因是因为有一个snlu没有做内存限制，容器卡死，docker-compose每次启动容器会去检测所有容器的状态，因此kill -9 dockerpid...
2019-10-23 16:28:45
552
原创 linux expect的一些使用
以下是一些具体使用，供参考首先需要安装tcl与expect，此处不再详细说明。基本的使用是expect <<EOF与expect eof EOF，代码写在二者中间，其中expect可以使用正则，send后输入的命令需要\n来执行目前本人不会在shell与expect之间传输变量#!/bin/bashexpect <<EOFspawn scp de...
2019-10-23 16:21:51
253
原创 jenkins上publish over ssh的使用遇到问题
jenkins上要想实现远程部署，可以安装publish over ssh 插件，具体安装不再说明 安装完成后在jenkins的系统管理-》系统设置-》Publish over SSH-》SSH Servers中添加需要远程更新的服务器地址和账号密码，其中Remote Directory是设置传入文件时默认的远程文件夹，此处设置之后，构建时的远程文件夹可以不再设置或填写下级目录 构建时的注意事...
2019-10-23 16:14:57
716
1
原创 docker错误分析 OCI runtime create failed
Step 17/23 : RUN sed -i 's/rootPath\(.*\)/rootPath=.\//g' ./config/ner.config---> Using cache---> 844997dda218Step 18/23 : RUN mvn clean package -DskipTests---> Running in 2d57da73...
2019-07-23 11:07:16
21248
2
原创 jmeter多个http请求之间的json返回值提取
测试场景，请求都是用的json数据，返回也是json数据，请求b需要用到请求a的json response中的数据测试中需要读取csv文件的，如果csv文件的分隔符不是逗号，记得修改分隔符，不然数据不正确参数设置方法，右键request选择add-post processors-JSON Extractor 以此为例{"body":{"input":{"text":"我...
2018-12-14 17:40:50
1863
转载 （转）在Ubuntu 17.10，Ubuntu 16.04，Ubuntu 14.04安装vlc
在Ubuntu 17.10，Ubuntu 16.04/14.04中安装VLC 2.2.7:Ubuntu中有相当多VLC包的PPA。 目前，您可以通过PPA轻松地在Ubuntu中安装VLC 2.2.7。1. 通过Ctrl + Alt + T打开终端或从开始菜单搜索“终端”。 打开时，运行命令添加PPA：sudo add-apt-repository ppa:jonathonf/vlc...
2018-08-08 09:57:56
698
原创 测试开发面试题及面试经验
最近面试了一些公司的测试开发，每个公司的测试开发要求也不太一样，下面做一个总结，供分享。第一家面试的是汽车之家这是一个老牌的互联网公司，职位是猎头推荐的我以为是测试开发，其实是高级广告测试工程师，初面是两个人一个人主要面试业务及测试逻辑，一个主要面试看java语言使用情况，这里的java面试较有的公司的测试开发简单一些，毕竟和滴滴之类的业务是有区别的，java面试题为：1. 在符串中找...
2018-08-01 11:03:56
21130
5
原创 dubbo-demo工程编译错误Non-resolvable import POM-初学者
从github上下载了dubbo-demo后，本地使用eclipse mvn install总是各种报错报错一：Non-resolvable import POM: Could not find artifact org.apache.dubbo:dubbo-bom:pom:2.7.0-SNAPSHOT in sonatype (https://oss.sonatype.org/content/g...
2018-06-26 18:26:38
7692
原创 Spring MVC下后台向前台发送文件，前台下载文件-3
之前一直在网上搜索后台怎么发送文件，前台怎么接收，一直没找到特别合适的，折腾了很长时间，后来发现常做web的人说这是一个非常简单的功能，可能因为其他人都觉得太简单了。。首先是前台将下载放在一个button或者a标签之类的，实现点击事件，例子中是根据一个id，去查找下载文件window.location.href的作用就是去浏览器上访问这个下载文件的url<button type="butto...
2018-06-14 15:32:59
1036
原创 Spring MVC下bootstraptable的表格之行数据编辑及删除-2
上一篇讲了表格怎么展示数据，这一篇讲述下怎么编辑行数据及删除行数据，本文中实现的不是每一行数据后边跟着操作按钮，而是选择哪一行编辑哪一行，下面是工具栏的展示，工具栏的展示在table上方，例子中的工具按钮采用模态弹框，弹框分别为#edit及#create，btn_edit添加onclick事件的原因是可以把列表的数据带到弹框上，便于修改。<div class="panel-body" sty...
2018-06-14 15:04:17
2901
1
原创 Spring MVC下bootstraptable使用之一表格展示-1
本人在使用过程中也参考了网上很多其他的bootstrap的使用文章，有的写的非常详细，我的此篇文章中只写了怎么具体使用，没有使用详解及bootstraptable源码分析。首先是先写jsp页面，以下是写在head里的需要引用css及js文件： <link href="<c:url value='dist/css/bootstrap.min.css'/>" rel="styl...
2018-06-14 14:13:20
1191
原创 ffmpefg arm64库文件源码编译
因android studio工程需要，需要编译ffmpeg64位的so库，参考了很多文档总是出错，最后终于成功，使用的环境是centos7，需要安装gcc，ndk的版本是android-ndk-r14b-linux-x86_64，ffmpeg的版本是ffmpeg-3.2.9，之前编译过ffmpeg3.4.1，64位一直没成功且总出错，最后终于成功。请参考以下说明。
2017-12-21 14:44:29
678
原创 网络丢包工具network emulator和tc使用
windows上的网络模拟工具 network emulator 可自行搜索下载安装linux上的自带的模拟工具为tc和wondershaper，如果没有可以使用yum install tc 或者wondershaper进行安装几个例子：sudo tc qdisc add dev eth0 root netem delay 100ms清除 tc qdisc del dev et
2017-07-20 10:01:49
3670
原创 wireshark的一些过滤规则
一、 MAC地址过滤#筛选出MAC地址是20:dc:e6:f3:78:cc的数据包，包括源MAC地址或者目的MAC地址使用的是20:dc:e6:f3:78:cc的全部数据包eth.addr==20:dc:e6:f3:78:cc #筛选出源MAC地址是20:dc:e6:f3:78:cc的数据包eth.src==20:dc:e6:f3:78:cc#筛选出目的MAC地址
2017-07-20 09:59:51
4841
原创 loadrunner测试需要注意的点
loadrunner工作流程制定测试方案-》创建Virtual Users-》设计测试场景-》执行场景-》分析测试结果—》系统性能调优脚本编辑需要注意的事项1.定义集合点：为了让虚拟用户进行真正意义上的并发，不设置的话无法保证所有的用户在同一时刻进行并发操作2.定义事务：为了更好的度量业务流程所消耗的时间3.参数化：来源：一些历史的数据和测试过程中构建的虚拟数据4.关联：当
2017-07-20 09:55:23
355
原创 openfire3.7.1及Darwin安装
一、安装openfire1.安装准备Ubuntu11.04 系统上无源sun-java6-jre,因此需要下载与手动安装：Jre、jdk和openfire的下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk-7u2-download-1377129.htmlhttp://www.oracle.com/te
2017-07-20 09:54:04
275
原创 sonarqube的安装
http://www.sonarqube.org/downloads/1.安装mysql，把默认引擎改为innodb配置了几个提高性能的参数，参看文档http://blog.sina.com.cn/s/blog_7f36e8f60101ncu6.html和https://www.percona.com/blog/2007/11/01/innodb-performance-optimiz
2017-07-20 09:45:31
300
转载 没有logo不要紧,手动为你的BIOS添加开机logo[AMI]
（转）没有logo不要紧,手动为你的BIOS添加开机logo[AMI]前段时间我的一篇帖子“没有logo不要紧,手动为你的BIOS添加开机LOGO!”那是针对Award BIOS的，有很多朋友在回帖中提到了，他们的AMI BIOS也不含开机LOGO很想修改。遂萌发了写这篇帖子的想法。希望朋友们喜欢！ 老规矩首先在论坛或者网上下载自己喜欢的开机LOGO、下载AMI BIOS修
2012-11-01 20:34:44
4653
原创 tsung的安装和使用
以下内容大部分是根据官网的doc写的http://tsung.erlang-projects.org/user_manual.html#htoc15，遇困难找官网最可靠。1.1安装依赖对于unbutu系统，可以使用apt-get安装apt-get install erlang-src erlang-dev erlang-parsetools erlang-nox,其他的linux系统版本的
2012-10-05 21:18:14
474
支持minio存储fluentd的docker镜像build
2020-05-08
ffmpeg3.2.9版本32位编译好so和include文件
2017-12-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人