2 Cardilonse

学生身份

我要认证

暂无相关简介

等级
TA的排名 39w+

6月29实训报告

6月29实训报告概况内容概况与前端协调好界面;组内开会,确认具体功能;完成测试内容PPT介绍内容根据设计的框架 编写数据库操作底层代码Mongo 建立连接 ,获取数据库 ,获取集合 ,获取网格文件系统Redis 连接池 ,监听式订阅发布 ,列表操作, 哈希操作, 普通发布订阅 锁操作(把pubsub想一个锁问题出来)队友完成节点基本功能后(挂载与获取redis信息,获取mongodb节点信息),把后端项目封装成docker镜像,实现单机多节点部署;维护github上的队友的模块

2020-06-30 02:26:02

6月28实训报告

6月28实训报告概况访问文件接口概况完成前端文件交互的测试访问文件接口//获取爬虫文件树状结构func GetSpiderFileTree(c *gin.Context) {//根据爬虫id,获取指定爬虫,获取项目下的爬虫项目路径,根据该路径获取嵌套的file树数据对象. id := c.Param("id") // 获取爬虫 spider, err := model.GetSpider(bson.ObjectIdHex(id)) if err != nil { HandleEr

2020-06-29 02:12:56

6月27实训报告

6月27实训报告一级目录二级目录三级目录一级目录二级目录三级目录

2020-06-28 01:28:03

6月26实训报告

6月26实训报告概况二级目录概况更新前端爬虫功能相关 api添加 scrapy 爬虫前端交互api二级目录spiderRoutefunc PutSpider(c *gin.Context) {//把数据对象中的爬虫文件在本节点保存,接着把爬虫信息上传至 mongodb, 把爬虫压缩包上传至 gridfs var spider model.Spider if err := c.ShouldBindJSON(&spider); err != nil { HandleError(

2020-06-27 21:54:13

6月24~25实训报告

6月24实训报告概述注册节点前端接口三级目录概述1.节点注册 api 测试完毕2.编写前端访问接口(待测试)3.前端的注册节点注册操作可以获取本节点的ip地址、mac地址、主机名信息,用于服务层的节点信息记录package registerimport ( "bytes" "crawunit/constants" "fmt" "github.com/apex/log" "github.com/spf13/viper" "net" "os/exec" "reflect"

2020-06-26 00:32:32

6月21~23实训报告

6月21~23实训报告概述底层api服务层 api回调 api概述更新了 mongo 与 redis 的底层 api ,spider 的服务层 api , spider 的文件交互 的回调 api新增 文件结构服务层 api (为前端服务)底层apimongo apipackage databaseimport ( "github.com/globalsign/mgo" "github.com/spf13/viper" "net" "time")var Session *

2020-06-24 13:08:15

6月20实训报告

6月19实训报告概述模块编写redis api概述与队友一起修改了 redis 底层的 api,已全部可用但是部分服务于上层功能时(如阻塞式发布任务到节点)仍有bug。模块编写redis apiredisAPI.go RedisPool 是一个 redis 连接池,设计的初衷是减少不必要的创建 redis 连接时的时间开销。func NewRedisPool() *redis.Pool { var address = viper.GetString("redis.address") va

2020-06-20 01:59:53

6月18实训报告

6月18实训报告概述模块编写mongo api爬虫与数据库交互实体与api爬虫(本地与数据库交互)管理 api概述这几天主要在写与数据库交互的api,包括 mongo 与 redis 的增删改查,以及基于 redis 的发布订阅功能。但是 redis 部分由于不是特别熟悉,导致bug较多。由于我主要负责爬虫的管理模块(spider集合的管理,spider压缩文件的管理),写mongo api 的同时也对爬虫管理进行编写。模块编写mongo apimongo.go session 是 mg

2020-06-18 13:04:23

6月15日实训报告

6月15日实训报告概况git学习编写同一文件合并出现冲突分支管理修复bug分支概况继续进行git学习git学习编写同一文件合并出现冲突其实这种情况不常发生。因为工作的成员是分功能开发的,没有文件是要多人一起修改的。切换到 dev 分支,修改 readme 文件,递交。切换到 master 分支,发现两个现象:其一,git 提示当前节点 提前于 origin,应该是在 dev 分支上递交了内容的缘故。其二,readme 文件的内容是修改前的,提出猜测:每次switch,该分支都会隐式调用 c

2020-06-16 04:02:42

6月14项目实训

6月14项目实训概况破案git学习删除后库的一致性上传与克隆分支分支基础分支有什么用分支建立与合并概况1.破案2.继续 Git 学习破案昨天发现:在 test.txt 中增添了两行(此时有四行),删除了三行,执行add,执行 reset head,执行 checkout,预计结果是四行,但实际结果只有两行,以为是 checkout 只能返回一行今天头脑清醒:checkout 的含义是,把分支中的该文件的版本覆盖当前文件,所以无论怎么执行都只会返回两行的版本,我昨天想当然了(没想清楚checkou

2020-06-15 02:53:09

6月13日实训报告

6月13日实训报告概述git学习git是什么git能做什么git操作概述git学习,包括来由、基本语法、实际操作git学习git是什么git是一种分布式版本控制系统。区别于集中式版本控制系统,用户每次想要访问特定内容都得去到中央系统进行拉取,修改完再上传到中央;git则在每一个用户本地保存一个库的副本,用户可以随时访问,只有上传修改后的内容的时候才有必要联网。git能做什么在我们的项目开发过程中,由于我们采用的是增量式开发,再加上每个人单独使用自己的主机,且每个人负责各自的功能模块,我们需要

2020-06-14 02:52:41

6月12日实训报告

6月12日实训报告概况1.完成工作节点的基本部署2.顺便将其注册为代理服务器部署工作节点为了实现分布式系统,我们决定先试购一台服务器作为工作节点,并且先完成部署。初步打算是安装配置redis、mongodb、python的运行环境,将该服务器的端口暴露给主节点,并且将主节点上的redis与mongodb的端口(暂时布置在主节点上)暴露给该服务器,在此基础上进行测试。但是操作起来问题不少。第一步,购买下来的服务器的ip无法在本地ping通。经查询资料,得知由于大陆政策问题,一些ip可能会被暂时封禁

2020-06-13 03:35:23

6月11日实训汇报

6月11日实训汇报概述1.完成了redis的配置安装2.在leecode上用go语言练题3.学习中间件4.配置goland开发环境redis配置安装昨天redis安装且配置完毕后无法启动服务,今天把首先把这个东西解决了。在环境变量中删除有关redis的环境变量,删除redis安装文件,然后重新安装、配置,最终成功,但是原来为什么没有成功仍没搞清楚。leecode练题之前学习了go的基本语法,并且尝试了一些实例,但是没有实战编程解决问题,遂决定找题目巩固基础语法知识。在leecode上找

2020-06-12 02:39:08

6月9日实训汇报

6月9日项目实训概述1.完成golang的环境配置,goland的安装;redis安装配置失败2.学习scrapy爬虫3.学习go的基本语法配置1.git上获取golang的包,安装,配置环境变量2.redis启动服务 提示1067错误 杀进程也无用 折腾一小时无解3.安装GolandScrapy学习Scrapy是什么是一个爬虫框架,由Scrapy引擎,调度器,下载器,Spiders,下载与spider中间件构成。Scrapy引擎负责控制数据流在系统中所有组件中流动;调度器接受re

2020-06-10 02:39:48

6月8日实训汇报

6月8日实训汇报概述:1.完成了win10(2004)+wsl2+docker的安装以及环境配置2.学习docker相关知识安装与环境配置1.把window10更新到2004的版本,原因是该版本的windows才能使用wsl2。wsl 即 windows subsystem for linux,是在windows 上的linux子系统。2.启用wsl2的服务3.安装docker桌面版docker知识的学习docker是什么docker能创造一个个独立的环境,实现计算机资源的虚拟化。他又区

2020-06-09 01:49:48

check yo

这里写目录标题来二都来三都来四都来二都来三都来四都

2020-06-03 09:52:22
勋章 我的勋章
  • 阅读者勋章Lv1
    阅读者勋章Lv1
    授予在CSDN APP累计阅读博文达到3天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。