- 博客(137)
- 收藏
- 关注
RSS订阅原创 JARVIS项目源码分析 - awesome_chat.py代码分析3
3、run_task函数调用record_case 函数：将记录写入log文件，成功写入log_success.jsonl，失败写入log_fail.jsonl。6、 get_avaliable_models函数调用 get_model_status ：获取本地或者huggingface远端服务的状态。5、run_task函数调用get_avaliable_models：获取本地或者远端可用的模型。7、run_task函数调用get_id_reason：获取选择模型的id和reason两个字段。
2023-04-23 20:36:43
121
原创 JARVIS项目源码分析 - awesome_chat.py代码分析2
2、调用 record_case 函数，将记录写入log文件，成功写入log_success.jsonl，失败写入log_fail.jsonl。1、调用 parse_task函数， 解析任务：使用ChatGPT分析用户的请求，了解他们的意图，并将其拆解成可能的可解决任务。5、调用 chitchat 函数，此函数，构建参数数据，调用send_request函数给openai接口发请求。1.任务规划：使用ChatGPT分析用户的请求，了解他们的意图，并将其拆解成可能的可解决任务。内容太多，未完待续......
2023-04-13 10:09:11
210
原创 JARVIS项目源码分析 - awesome_chat.py代码分析1
我们引入了一个协作系统，该系统由作为控制器的 LLM和作为协作执行者的众多专家模型组成（来自 HuggingFace Hub）。任务规划：使用ChatGPT分析用户的请求，了解他们的意图，并将其拆解成可能的可解决任务。1、首先看一下用户输入的数据存储格式，系统定义了一个列表字典，参考test函数中的数据调用。主要完成2个功能：（1）获取用户的输入信息，存储为字典列表的数据格式。任务执行：调用并执行每个选定的模型，并将结果返回给 ChatGPT。2、再看mian函数，执行调用了一个cli_chat函数。
2023-04-05 12:15:30
227
转载 移动APP漏洞自动化检测平台建设
前言：本文是《移动APP客户端安全笔记》系列原创文章中的第一篇，主要讲的是企业移动APP自动化漏洞检测平台建设，移动APP漏洞检测发展史与前沿技术，APP漏洞检测工具与平台，以及笔者的一些思考。希望能对移动App自动化漏洞检测感兴趣的同学有所帮助，限于笔者技术水平与文章篇幅，有些内容暂没有逐一详细分析，后续我争取多学习多分享，在此也欢迎大家指点和交流。一、国内Android App漏洞检测
2017-03-03 14:18:05
988
转载 聊聊高并发系统之限流特技-2
转自：2016-06-14 张开涛 上一篇《聊聊高并发系统限流特技-1》讲了限流算法、应用级限流、分布式限流；本篇将介绍接入层限流实现。接入层限流接入层通常指请求流量的入口，该层的主要目的有：负载均衡、非法请求过滤、请求聚合、缓存、降级、限流、A/B测试、服务质量监控等等，可以参考笔者写的《使用Nginx+Lua(OpenResty)开发高性能Web应用》
2017-03-03 14:13:52
611
转载 NGINX限流的一些思考 - php
原文链接：http://blog.csdn.net/soar_away/article/details/51980247我们经常遇到这种情况, 服务器资源有限,但是客户端来的请求在不断的上涨, 为了保证一部分的请求能够正常相应, 不得不放弃一些客户端来的请求, 这个时候我们会选择行的进行一些NGINX的限流操作, 这种操作可以很大程度上缓解服务器的压力, 使其他正常的请求能够得到正
2017-03-03 13:15:16
990
转载 CentOS 6.8安装Python2.7.13
查看当前系统中的 Python 版本python --version返回 Python 2.6.6 为正常。检查 CentOS 版本cat /etc/redhat-release返回 CentOS release 6.8 (Final) 为正常。安装所有的开发工具包yum groupinstall -y "Development tools"
2017-02-24 11:50:53
553
原创 使用Flask-Mail扩展发送邮件
1、安装 Flask-Mailpip install Flask-Mail2、发送邮件# -*- coding: utf-8 -*-#****************************************************************# sendmail.py# Author : sisiair# Version : 0.1.0# D
2017-02-22 14:30:30
923
转载 从源码解析Python的Flask框架中request对象的用法
flask中的request对象发送请求使用起来十分方便,但也有一些需要注意的地方,这里我们来从源码解析Python的Flask框架中request对象的用法,需要的朋友可以参考下.from flask import requestFlask 是一个人气非常高的Python Web框架，笔者也拿它写过一些大大小小的项目，Flask 有一个特性我非常的喜欢，就是无论在什么地方，如
2017-02-10 11:04:47
3004
转载 jQuery选择器
不会用选择器，望元素兴叹，难受的要死！在此全面的记录一遍。看完就彻底知之了！jquery的选择器分为以下几类基本选择器层次选择器过滤选择器表单选择器1. 基本选择器选择器描述示例#id根据id匹配一个元素$("#test")选取id为test的元素.class根据类名匹配元素
2017-01-22 09:46:24
482
原创 MYSQL添加远程用户或允许远程访问方法
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;Query OK, 0 rows affected, 1 warning (0.01 sec)mysql> FLUSH PRIVILEGES;Query OK, 0 rows affected (0.01
2017-01-12 17:45:28
529
2
原创 Flask创建表单
使用flask提交表单的方式1、前端html：{% extends "base.html" %}{% import "bootstrap/wtf.html" as wtf %}{% block title %}Flasky{% endblock %}{% block page_content %} Hello, {% if name %}{{ name }}{% els
2017-01-12 15:22:27
2108
转载 gevent程序员指南
gevent程序员指南由Gevent社区编写gevent是一个基于libev的并发库。它为各种并发和网络相关的任务提供了整洁的API。介绍本指南假定读者有中级Python水平，但不要求有其它更多的知识，不期待读者有 并发方面的知识。本指南的目标在于给予你需要的工具来开始使用gevent，帮助你 驯服现有的并发问题，并从今开始编写异步应用程序。贡献者
2017-01-10 10:59:23
1043
转载 python 文件读写时用open还是codecs.open
当我面有数据需要保存时，第一时间一般会想到写到一个txt文件中，当然，数据量比较大的时候还是写到数据库比较方便管理，需要进行网络传输时要序列化，json化。下面主要整理一下平时用的最多的写入到文件中，一般以txt结尾，linux里不会以后缀来区分文件类型，后缀可以随便，也可以没有。 python读写文件估计大家都用open内置函数，或者file这个工厂函数，这两个的效果基本一样。
2016-12-29 11:03:18
1793
转载 python 编码问题之终极解决
结合之前遇到的坑以及下面贴的这篇文章， 总结几种python乱码解决方案，如果遇到乱码，不妨尝试一下？1，必备#encoding=utf-82, python编程环境编码import sysreload(sys)sys.setdefaultencoding('utf8') 3,不知道神马编码的时候用chardet查一下from c
2016-12-29 11:02:03
2545
原创 python高级编程-生成器
生成器(Generators)生成器也是一种迭代器，但是你只能对其迭代一次。这是因为它们并没有把所有的值存在内存中，而是在运行时生成值。你通过遍历来使用它们，要么用一个“for”循环，要么将它们传递给任意可以进行迭代的函数和结构。大多数时候生成器是以函数来实现的。然而，它们并不返回一个值，而是yield(暂且译作“生出”)一个值。下面是一个计算斐波那契数列的生成器：'''
2016-12-27 15:17:59
529
转载 快速PYTHON性能优化要点
翻译，两篇博文 Quick Python Performance Optimization一 二, 很短第一篇仅是解释,如何用正确并且高效的方式完成在日常Python编码中简单的事情1.在ipython交互shell中使用%timeit (per line) 和 %prun (cProfile)测量你的代码，并且找到性能的瓶颈.这和"过早优化是一切罪恶的
2016-12-27 13:42:40
402
转载 PYTHON join 和 split 函数用法
python join 和 split方法的使用,join用来连接字符串，split恰好相反，拆分字符串的。1.join用法示例 >>>li = ['my','name','is','bob'] >>>' '.join(li) 'my name is bob' >>>'_'.join(li) 'my_name_is_bob'
2016-12-27 10:16:58
413
转载 飘逸的python - 偏函数functools.partial
原文链接：http://blog.csdn.net/handsomekang/article/details/9712125函数式编程的思想。可以理解成绑定了一部分参数的函数。作用就是少传参数，更短，更简洁。我之前做的一段用户留存率的程序。需求是这样子的，选择某一天，然后以这天为准，次日留存，3日留存，7日留存，14日留存，30日留存。已有一个获取第几天后的函数
2016-12-27 10:13:59
408
原创 python高级编程-装饰器学习笔记
python装饰器装饰器(Decorators)是Python的一个重要部分。简单地说：他们是修改其他函数的功能的函数。他们有助于让我们的代码更简短，也更Pythonic（Python范儿）。大多数初学者不知道在哪儿使用它们，所以我将要分享下，哪些区域里装饰器可以让你的代码更简洁。首先，让我们讨论下如何写你自己的装饰器。1、一切皆对象我们先来理解下P
2016-12-26 14:46:55
590
1
原创 python中*args 和 **kwargs 的用法学习笔记
*args 和 **kwargs 主要用于函数定义。 你可以将不定数量的参数传递给一个函数。1、*args 是用来发送一个（非键值对）可变数量的参数列表给一个函数.这里有个例子帮你理解这个概念:def test_var_args(f_arg, *argv): print("first normal arg:", f_arg) for arg in arg
2016-12-26 11:07:06
6678
转载 Python串口编程
python的串口网上有很多例子，这里了只是把认为好的整理到一起。首先，应该安装serial模块，还能开始后续的操作。我用的python2.6，serial模块可以在这里下载安装serial模块下载 1,字符串的发送接收短接串口的2、3脚，创建一个文本，如： import serial t = serial.Serial('co
2016-12-23 17:09:57
963
转载 shell编程中for/while/util/case/select/break/continue
原文链接：https://my.oschina.net/u/2391658/blog/708151Shell编程中循环命令用于特定条件下决定某些语句重复执行的控制方式，有三种常用的循环语句：for、while和until。while循环和for循环属于“当型循环”，而until属于“直到型循环”。循环控制符：break和continue控制流程转向。一、while语句结构while
2016-12-23 16:28:13
391
转载 Linux Shell 文本处理工具集锦
内容目录：find 文件查找grep 文本搜索xargs 命令行参数转换sort 排序uniq 消除重复行用tr进行转换cut 按列切分文本paste 按列拼接文本wc 统计行和字符的工具sed 文本替换利器awk 数据流处理工具迭代文件中的行、单词和字符本文将介绍Linux下使用Shell处理文本时最常用的工具： find、grep、xargs、sort、uniq、tr、
2016-12-23 16:26:29
549
转载 java笔记
原文链接：http://www.cnblogs.com/ggjucheng/archive/2012/11/19/2777695.htmljava tutorial 翻译 序java介绍构建JSE 开发环境-安装jdk和eclipse 语言基础 java Hello World程序分析 变量 java 变量 java 原生类型
2016-12-23 10:00:50
269
转载 Linux/Unix笔记本
原文链接：http://www.cnblogs.com/ggjucheng/archive/2012/08/18/2645321.htmlLinux介绍 Linux入门——个人感想 Google怎么用linux初入Linux Windows XP硬盘安装Ubuntu 12.04双系统图文详解 实例讲解虚拟机3种网络模式(桥接、nat、Host
2016-12-23 09:55:27
290
转载 数据库笔记本
原文链接：http://www.cnblogs.com/ggjucheng/archive/2012/11/02/2751119.htmlmysql资源 mysql5.1中文参考手册mysql管理 基于linux使用mysql二进制包安装mysql5.5 mysql client命令行选项 mysqld服务器系统变量和状态变量 mysq
2016-12-23 09:38:49
489
转载 hadoop笔记本
原文链接：http://www.cnblogs.com/ggjucheng/archive/2012/04/22/2465625.html海量数据 那些年Google公开的大数据领域论文 大数据量，海量数据 处理方法总结 布隆过滤器应用 Google Dremel 原理 – 如何能3秒分析1PB Google Spanne
2016-12-23 09:35:01
457
转载 Linux版本信息号查看
一、查看Linux内核版本命令（两种方法）：1、cat /proc/version[root@localhost ~]# cat /proc/versionLinux version 2.6.18-194.8.1.el5.centos.plus ([email protected]) (gcc version 4.1.2 20080704 (Red H
2016-12-23 09:30:48
367
转载 Vim命令总结
命令历史以:和/开头的命令都有历史纪录，可以首先键入:或/然后按上下箭头来选择某个历史命令。启动vim在命令行窗口中输入以下命令即可vim 直接启动vimvim filename 打开vim并创建名为filename的文件文件命令打开单个文件vim file同时打开多个文件vim file1 file2 file3 ...在vim窗口中打开一个新
2016-12-23 09:29:23
290
转载 linux运维实用的42个常用命令总结
1.删除0字节文件：find -type f -size 0 -exec rm -rf {} \;2.查看进程按内存从大到小排列：ps -e -o "%C : %p : %z : %a"|sort -k5 -nr3.按cpu利用率从大到小排列：ps -e -o "%C : %p : %z : %a"|sort -nr4.打印说cache里的URLgrep -r -a jpg /
2016-12-23 09:27:00
387
转载 Netdata 是一款 Linux 性能实时监测工具
Netdata是一个高度优化的Linux守护进程，它为Linux系统，应用程序，SNMP服务等提供实时的性能监测。它用可视化的手段，将被监测者最细微的细节，展现了出来。这样，你便可以清晰地了解你的系统和应用程序此时的状况。使用此软件，你可以得到：1.优美的界面：bootstrap框架下的控制界面2.自定义的控制界面：你可以使用简单的HTML代码去自定义控制界面(不需要使
2016-12-22 15:52:31
3440
转载 sql 调优整理
1. 选用适合的ORACLE优化器 ORACLE的优化器共有3种: a. RULE (基于规则) b. COST (基于成本) c. CHOOSE (选择性) 设置缺省的优化器,可以通过对init.ora文件中OPTIMIZER_MODE参数的各种声明,如RULE,COST,CHOOSE,ALL_ROWS,FIRST_ROWS . 你当然也在SQL句
2016-12-22 15:44:03
1076
转载 海量数据优化查询
数据库系统是管理信息系统的核心，基于数据库的联机事务处理（OLTP）以及联机分析处理(OLAP)是银行、企业、政府等部门最为重要的计算机应用之一。从大多数系统的应用实例来看，查询操作在各种数据库操作中所占据的比重最大，而查询操作所基于的SELECT语句在SQL语句中又是代价最大的语句。举例来说，如果数据的量积累到一定的程度，比如一个银行的账户数据库表信息积累到上百万甚至上千万条记录，全表扫描一次往
2016-12-22 15:42:05
262
转载 如何处理海量数据
在实际的工作环境下，许多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有以下几个方面：一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理
2016-12-22 15:40:38
718
转载 Linux命令分类整理
1、系统信息uname -a # 显示Linux系统信息 uname -r # 显示内核发布版本信息 uptime # 显示系统已经运行的时间和系统负载 hostname # 显示系统主机名 last reboot # 显示系统重启历史 date # 显示当前日期和时间 cal # 显示本月日历
2016-12-22 15:37:41
585
转载 一次线上GC故障解决过程记录
排查了三四个小时，终于解决了这个GC问题，记录解决过程于此，希望对大家有所帮助。本文假定读者已具备基本的GC常识和JVM调优知识，关于JVM调优工具使用可以查看我在同一分类下的另一篇文章： http://my.oschina.net/feichexia/blog/196575背景说明 发生问题的系统部署在Unix上，发生问题前已经跑了两周多了。 其中我
2016-12-22 15:34:51
4899
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人