- 博客(582)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Kafka 学习之：基于 flask 框架通过具体案例详解生产消费者模型，这一篇文章就够了
假设我的网站需要高并发地处理 user 注册这个简单的功能。前端会发送的信息到后端完成创建前端用postman来模拟后端用flask框架来简单演示下面我用一张大致的图来表示代码的架构：前端的原始数据进入后端之后，后端要用kafka的架构在有序地处理 user 的请求，在这个任务中所有 user 的请求都是 register，因此我们就创建一个kafka的 topic 专门用来处理 user 的这类请求同时由于 kafka 是通过队列的方式异步地处理 user 的请求。
2024-03-31 02:16:06
827
原创 Kafka学习之：mac 上基础使用 python 来使用 kafka 的生产者和消费者进行数据处理
python 中 kafka 的基础用法，基于 macbook m1 芯片
2024-03-30 00:52:27
856
原创 django heroku 部署问题汇总
检查环境变量配置：确保所有在 Heroku 环境中所需的环境变量都已正确设置。这包括任何数据库 URL、密钥、或其他您的应用可能依赖的服务的凭证。这可以帮助确保当您的自定义应用尝试访问模型或其他 Django 功能时，Django 已经完全初始化。请确保在 Heroku 上也正确地配置了这些，特别是如果正在使用像。静态文件配置：在 Heroku 上部署时，静态文件的处理方式与本地开发不同。运行迁移：在部署到 Heroku 之前，确保已经运行了所有的数据库迁移。配置适用于 Heroku 的数据库。
2024-01-30 16:17:20
983
原创 django 访问后台数据库管理程序报错：CSRF verihcation failed. Request aborted.
【代码】django 访问后台数据库管理程序报错：CSRF verihcation failed. Request aborted.
2024-01-28 22:05:49
711
原创 日常学习之：前端传到后端的文件直接上传 chrome cloud 的存储桶（bucket）
（原生的 html 表单上传，如果是 vue 的 element-ui 组件，则是用 file 字段）从请求对象中获取上传的文件夹。代码片段是一个用于将文件夹中的文件上传到Google Cloud Storage（GCS）的Django视图函数。的过程，确保进行了必要的身份验证，并正确地将文件上传到指定的存储桶中。最后，它返回一个包含成功消息的JSON响应，指示文件夹上传到。总体而言，该视图函数处理了将文件夹中的文件上传到。获取指定的GCS存储桶。它遍历上传文件夹中的每个文件，并使用。
2023-12-17 16:09:49
341
原创 第九章：Code-Coverage-Guided Fuzzing
• 在执行多字节相等性测试的程序中，覆盖范围仍然可能受限（例如比较两个4字节整数），因为这样的比较不会提供增量反馈给模糊器，以使其发现通过测试所需的输入。根据类似的论证，只需要对输入“bood”进行约700次变异，就能使生成输入**“baod”**的概率超过50%，揭示第二个分支并添加第三个有趣的输入。但是现在，与之前的程序不同，它只有两条路径（允许覆盖引导模糊器逐字节地增量发现所需输入），• 对于已知输入格式的程序来说，生成-模糊和类似技术可能表现更好，因为它们可以避免覆盖引导模糊的缺点。
2023-11-06 22:12:10
265
原创 第七章：计算failure概率
随着时间越来越长，有 failure 的操作的总体数量还在增多，但是增长率会放缓，因为更多的 fault 被排除，例如第一次检验这个 operation 的时候有 10 个错误，把错误都修好了之后，到了第二轮可能找到了 2 个，那么这就是虽然总体的 P 在上升，但是斜率放缓（slope slows down.）记录的标准是：当预期的 result 和真实的 result 发生偏离，就记录当时的 time，以及这个 failure，然后移走这个错误。以最大化观察到的故障强度的可能性。
2023-11-06 18:56:45
204
原创 第八章：security testing
缓冲区溢出是一种未定义行为：程序执行某些操作导致其未来的行为变得不可预知。它可能继续工作，也可能做一些完全无法预测的事情，比如在成功进行远程代码执行攻击时执行攻击者提供的代码。在大多数编程语言中，尝试在运行时除以0将导致运行时错误。例如，在C和C++中，这通常会导致程序崩溃或抛出异常（如果使用了异常处理机制）。NULL 指针表示它不指向内存中的任何有效位置。尝试解引用（即访问其指向的内容）一个NULL指针将导致未定义行为。在实践中，这通常会导致程序崩溃，因为操作系统阻止程序访问那些没有授权的内存区域。
2023-11-06 18:55:10
147
原创 第九章：Dynamic Symbolic Execution
可以计算出z14z=14z14并且 z 的 state 应该是2∗y02*y_02∗y0。
2023-11-06 18:46:00
129
原创 第六章：Property-based Testing and Test Oracles
这对于复杂领域特别有用，在这些领域中，自动推导预期输出所需的过程与程序本身一样复杂，并且手动推导需要具备测试工程师不太可能具备的专业知识。例如，数据库的一个简单启发规则是，当向表中插入新记录时，**该表中记录的数量应增加1。solved samples 指的是那些已知结果的测试案例，这些结果通常是由专家提供的，或者是通过可靠方法获得的，以确保其准确性。为了进行变态测试，我们生成一个程序输入，并执行此输入，然后生成另一个与第一个输入相关联的输出。相关联，它们通过我们的程序运行后，它们的输出将由另一种属性。
2023-11-06 17:54:39
264
原创 第五章：Testing Modules
所以，不能孤立地测试 push 这个操作，要测试 push 这个 function，我们就必须借助其他的 funciton 或者模块（例如 isFull, isEmpty）为 push 的行为提供可观察性，来提高 testability.按照之前的知识，如果我们要测试一个 funciton 或者模块，我们根据其输入的参数设计等价类，并选用合适的 test case，然后我们可以根据预期的输出来观察 funciton 运行的结果。从封装在模块中数据子集派生出来的自动机的状态以及自动机的转换即为该模块的操作。
2023-11-06 17:10:39
336
原创 第四章：Coverage-based testing
从一个值 x 的定义（即变量的赋值操作）到该值的使用（即变量被读取或进一步操作的地方），路径上不会再有对这个值的重新定义。换句话说，变量的值在这条路径上没有被修改过。对于All-Defs准则，我们要求从变量的所有定义到该变量的单个使用之间存在一条。例如，考虑以上数据流图为了满足All-Defs标准，测试套件需要至少测试一条从 x 的单个定义到至少一个使用的路径。每个新的定义(x) 到至少一次调用的路径。一个测试用例就足够了。路径1、2、4、6或者路径1、3、4、5都是可以接受的。
2023-11-06 13:53:35
101
原创 第三章：boundary-value analysis
这是因为按照正常的情况，两个 on point 都应该在 boundary 上（在黑色的直线上），但是粉色偏移发生后，棕色的点并未穿过粉红色的线，因此可以检测出偏移。同样的，这种基于等式的 boundary 仍然需要两个 off point 的点来检测这个 boundary 的平行移动，由于在不等式中， off point 只负责在 D1 变大 的情况下检测到偏移（单侧的情况）因此在不等式中只需要一个 off point，而在等式中，需要。例如，如果字符串变量的等价类为“不包含空格”，则测试。
2023-11-06 10:39:55
114
原创 第二章：input partitioning
input partitioning 分为 domain testing (白盒测试，主要注重边界情况) 和 equivalence partitioning （黑盒测试方法）当等价类划分有重叠的情况，有两种方法：将重叠的等价类部分单独构建等价类采用 combining partition 的方法单独将重叠的等价类划分出来通常并不是最好的做法，因为这会导致测试用例的数量急剧增加，许多测试用例可能会对相同的代码路径进行测试，从而浪费资源。
2023-11-05 22:26:54
143
原创 第一章 introduction to software testing
一旦准备好可执行的测试用例，下一步是在被测程序上执行测试输入，**并记录软件的实际行为。**例如，记录功能测试输入产生的输出，或者测量执行性能测试输入所需的时间。也就是说 testing 是为了发现 difference between specification and implementation。问题在于大多数程序员和质量保证人员没有具备证明程序正确性所需技能。testing 和 debug 是不同的。这句引语表明测试的目的是为了。并且不能用来证明实现是正确的。，并消除或修复它们。
2023-11-05 18:54:15
175
原创 本地 Django 部署 Heroku的时候某个 / 某些数据库显示总是无法创建成功 relation “nnsh_backend_new_userinfo“ does not exist LINE
一个最粗暴的方法，也是我采用的方法（因为我的数据还在测试阶段，所以不重要），就是直接删除 Heroku 上的项目数据库，然后重新 makemigrations 和 migrate。这里的 userinfo 就是我说的 table3，在 admin 界面能看到，但是你就是无法操作。你之前部署了项目 A，里面包含了两个数据库的表 table1 和 table2，他们都顺利部署。然后你相加一些功能，于是又创建了一张表 table3。假设你有一个项目 A。
2023-07-16 18:32:59
194
原创 Heroku 部署有关 opencv 的 Django 后端应用（pdf2docx)
滚动到 “Buildpacks” 部分，然后点击 “Add buildpack”。我使用 heroku 部署了一个 Django 后端项目，里面使用了。表示你的应用试图加载一个动态链接库（shared library）在你的应用页面，点击 “Settings” 标签。登录到你的 Heroku 账户并打开你的应用。按键创建的 application 的名称。然后点击 “Save changes”。是你在 Heroku 上通过。，但是在运行环境中没有找到。库，通常由显卡驱动提供。这个问题发生在试图导入。
2023-07-12 16:21:30
889
原创 Django中如何正确使用 redis & 如何在 Heroku 部署 Django时使用 Redis
你需要在你的配置中指定一个。作为后端来实现此功能。首先确保电脑中安装了。
2023-07-05 17:29:34
791
原创 如何在 Django框架下完成 websocket 连接 & 在 Heroku 上部署 websocket 应用
基于 HTTP 握手： 创建 Websocket 连接需要通过 HTTP 协议进行一次握手。支持多种协议： Daphne 支持 HTTP/1.1、HTTP/2 和 WebSocket 这三种协议，对于需要实时通信的 web 应用来说这是非常重要的。对长连接和 WebSocket 有良好的支持： ASGI 支持异步 IO，因此非常适合处理长连接、WebSocket 连接，以及其他需要并发处理的场景。在 Django 中，默认是使用 WSGI 的应用，因此为了配置 ASGI 应用，我们需要进行以下文件的改变。
2023-07-05 16:53:29
2030
原创 Heroku 实践：如何成功将 Vue.js 的前端内容部署到 Heroku
命令后，Vue CLI 会让你选择一个预设。如果你需要更复杂的配置，例如包含Vuex或Vue Router，你可以选择"Manually select features"然后手动选择Vue 2以及你需要的其他选项。如果在Heroku部署成功没有显示任何页面，并且没有任何错误信息，可能是由于几个原因导致的。查看Heroku日志： 即使Heroku没有直接在应用页面上显示错误，也可能在它的日志中有更多的信息。当你推送到 Heroku时，Heroku会自动运行这个构建命令来创建你的Vue.js应用。
2023-07-04 11:28:23
310
原创 避坑指南：当你将 Django 项目部署到 Heroku 你需要避多少坑？
跨域问题，用解决，要对应修改中的部分Procfile注意没有后缀，是部署的程序启动文件，也可以负责 heroku 端数据库的迁移操作一定写全，指定好python版本跟着官网指导的写，但是注意数据库部分的定义；同时记得首先在 heroku 的Overview中把Postgres数据库手动设置好，要不然数据库调用失败。
2023-07-04 00:40:50
318
原创 如何搭建一个实时对话转录应用（类似zoom中的文本转录功能）并部署到 Heroku
【代码】日常学习之：如何搭建一个实时对话转录应用（类似zoom中的文本转录功能）并部署到 Heroku。
2023-07-02 13:33:42
422
原创 NLP——Ethics伦理
数据偏见：NLP系统通常通过学习大量的语言数据来训练，如果这些数据包含偏见，如性别、种族、年龄、宗教等方面的偏见，那么这些偏见可能会被NLP系统学习并放大，从而影响系统的决策和推荐。偏见和歧视：对于语言的标签可能引发和加强偏见和歧视。误解和误分类：工具可能无法完全准确地理解和分类语言，这可能导致误解和误分类，从而引发一系列的问题，如误导研究，引发误会，或者伤害到被误分类的人。隐私保护：在NLP中，用户的语言数据通常被用来训练模型，如果没有得到适当的处理和保护，可能会泄露用户的隐私信息。
2023-06-15 09:59:05
1936
原创 NLP——Summarization
为了训练这些模型，我们使用的数据的类型也不同，其中一种就是： 将文章的第一句话作为 document，summary 就是文章的题目G 是A 是生成的summary。
2023-06-15 09:17:49
1656
原创 NLP——Topic Modelling
主题建模（Topic Modeling）是一种统计模型，用于在一组文档中发现抽象的"主题"。主题可以看作是一种潜在的变量，能够捕获文档中的主要讨论点。比如，你有一堆新闻文章，通过主题建模，可能可以发现一些主题，如"国际政治"，“经济”，“体育”，“娱乐"等。每个主题都由一组与之相关的关键词定义。例如，“体育”主题可能包括"篮球”，“足球”，"奥运会"等词语。
2023-06-15 02:34:16
1693
原创 NLP——Question Answering 问答模型
语义分析（Semantic Analysis）：这一步涉及到理解问题的含义，可能包括命名实体识别（Named Entity Recognition，即识别出问题中的实体，如人名、地名等）、实体链接（Entity Linking，即把问题中的实体链接到知识库中的实体）和关系抽取（Relation Extraction，即理解问题中的实体之间的关系）。这可能是一种结构化的表示（例如一个包含实体、关系和关键词的图）或者一种分布式的表示（例如一个向量，由词嵌入模型如Word2Vec或BERT生成）。
2023-06-15 00:28:26
3133
1
原创 NLP——Information Extraction信息提取
例如，在句子 “Barack Obama was born in Hawaii.” 中，我们可以抽取出关系 (“Barack Obama”, “born in”, “Hawaii”)。
2023-06-14 23:47:51
2068
原创 NLP——Translation 机器翻译
基于短语的翻译模型是SMT中常用的模型之一，它将源语言和目标语言的句子划分为短语，并建立短语对之间的翻译概率。基于短语对齐（Phrase Alignment）：基于短语对齐的方法将源语言和目标语言的短语进行对应，以实现句子或段落级别的对齐。基于词对齐（Word Alignment）：基于词对齐的方法尝试将源语言和目标语言中的单词进行对应，以实现句子或短语的对齐。解码器生成：将上下文向量与解码器当前的输入（通常是之前生成的目标语言词）一起输入解码器，生成下一个目标语言词的概率分布。从而解决了这个问题。
2023-06-14 21:29:13
1871
原创 高完整性系统——霍尔逻辑
同样的方式：当 作为 的时候， 我们也很容易推出就是 但是这里的 被是 这是因为，我们反向推理（backwards) 的难度低于正向推理 (forward)还有一种理解方法就是：x>5=>x>3x>5 => x>3x>5=>x>3 因此我们说 x>5x>5x>5 是更加严格的条件；也就是更加 的条件。同样的我们来看这个 如果我们能够通过 得到 我们可以根据 这个条件推导出其他更加宽松的 ，比如 x>2x>2x>2，此时我们的式子可以写成这样：{x=2}x:=x+1{x>2}\{x=2
2023-06-12 22:08:05
1723
1
原创 Ada Tutorial（3）SPARK2——Post condition + Loop Invariant 后置条件 + 循环不变量
因为它描述了每次循环迭代结束时的预期状态。但是，它们在语义上是不同的：后置条件描述的是程序结束时的状态，而循环不变量描述的是循环的每次迭代。循环不变量和后置条件（postcondition）都是用于验证程序正确性的关键工具，但它们在具体用途上有一些区别。问题： If you have time: Look at the assert statements in。在形式化方法和程序验证中，通常会同时使用循环不变量和前置/后置条件，以帮助保证程序的正确性。问题： Now run the。
2023-06-12 15:52:41
943
原创 Ada Tutorial（2）SPARK Examiner + SPARK Prover
在Ada和SPARK中，SPARK_Mode是一个编译指示，它表示随后的代码将使用SPARK语言规则进行编译和分析。在with的影响下，编译器会在编译过程中应用SPARK语言规则，它比Ada有更严格的要求，例如禁止某些可能导致不确定行为的构造。此外，打开SPARK_Mode还会允许一些只有在SPARK中才有的特性，例如契约（即前置条件和后置条件）。的具体影响可能会因编译器和SPARK工具的版本而略有不同，但基本上，这个编译指示都会让编译器对随后的代码应用SPARK语言规则。在上面的代码中，
2023-06-12 15:04:16
1014
原创 Ada Tutorial（1）：Ada基础——wordcount程序
文章目录Ada 常用的库和方法Ada.Characters.Handling字符类型函数转换函数Ada 基础语法概览数据类型和子类型类型（Type）子类型（Subtype）类型和子类型的区别常用类型转换方法显示类型转换类型相关函数循环语句无条件循环 (Loop)For 循环while 循环循环中的其它控制结构分支语句ifcase数组数组定义声明数组变量访问数组元素数组的其他特性recordrecord 定义创建和使用 Record 变量Record 的其他特性Variant recordNested rec
2023-06-12 09:09:19
1181
原创 Alloy Tutorial（3）Traces Modelling —— Cache Memory
总结一下，这两段话的主要内容是：在Alloy模型中，我们可以通过建立轨迹的模型，来生成可能导致违反不变性的操作序列。具体来说，我们需要定义两个fact，一个声明轨迹的初始状态，另一个声明在任何时候，要么进行一个操作，要么状态不变。这个结果对你理解在基于轨迹的 Alloy 模型（即那些建模操作序列的模型，而不仅仅是单个的转换）中，这两种方式的含义有什么启示？给出了两种编写的方式，并询问你在给定初始化 fact 后，哪种方式会生成反例（即违反不变量的情况），哪种方式不会。，核心的思想是，一个。
2023-06-11 23:18:43
704
原创 Alloy Tutorial（2）LastPass； cacheMemory
出现反例表示在你的模型中存在至少一个情况，使得你的断言addNoSharedPasswords不成立。这说明，在执行 add 操作之后，题目： Write an assertion that checks that, after running the。）的变量，这表示你在引用系统的下一个状态，而不是当前状态。题目：What is the meaning of the。在 Alloy 中，如果你在断言、谓词或函数中使用到带撇号（分别代表下一状态的主内存和缓存内存。题目：Write an。
2023-06-11 20:52:15
1135
原创 Alloy Tutorial（1）Alloy 基本使用
这个谓词的含义更为广泛，它实际上描述的是一个连通图，连通图的特性就是对于所有的节点对，至少存在一条边使得这两个节点是连通的。注意，这并不意味着图是无向的，因为它并未要求如果存在从u到v的边，那么必须存在从v到u的边。这个谓词表示在图 g 中，对于所有的节点 u 和 v，都存在从u到v的边，并且从v到u的边。这个谓词实际上在描述一个无向图，因为无向图的特性就是如果存在一个从u到v的边，那么必须存在一个从v到u的边。这种逻辑符号进行连接是肯定不对的。这个谓词表示在图g中，
2023-06-11 16:36:29
1122
原创 NLP——Discourse；Discourse Segmentation；Discourse Parsing / Discourse Analysis；Anaphora Resolution
修辞结构理论可以帮助确定哪些部分的文本对于理解整体含义最为重要。例如，"nucleus"部分通常包含了句子或段落的主要信息，而"satellite"部分则提供了补充或支持性的信息。因此，可以通过选择和重新组织nucleus部分来生成摘要。
2023-06-11 02:17:35
507
cifar-100-python.tar.gz
2021-09-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人