/images/avatar.png

关于LLM上下文管理

背景 方法 1. 裁剪 超过一定长度的token,或者超过指定阈值。 就将更远(旧)的上下文直接裁剪掉。 2. 压缩 同上,但是不是裁剪,而是压缩更旧的上下文。

SSO原理

背景 目前而言,一个公司往往会有多个系统,而每个系统都需要登录才能访问资源。 SSO(单点登录)就是为了解决这个问题而出现的。 SSO 的主要思想是在一

linux系统备份

背景 需要备份一下系统,方便迁移。 方法 1. 创建备份目录 1 mkdir -p /home/kenger/backup 2. 执行打包备份 1 2 3 4 5 6 7 8 9 10 sudo tar --exclude=/proc \ --exclude=/tmp \ --exclude=/sys \ --exclude=/dev \ --exclude=/run \ --exclude=/mnt \ --exclude=/media \ --exclude=/lost+found \ --exclude=/home/kenger/backup \ -cvpzf /home/kenger/backup/full-backup.tar.gz / --exclude=/home/kenger/backup

tokenizer使用指北

背景 文本到向量需要有个中间层,用来将文本分词,然后将不同的文本编码为序号。 例如一个文本 i am your father. 就应该分词为四个单词,然后其中首位还应该加入首

python八股题

TOSEE: 【建议收藏】50 道硬核的 Python 面试题.._python程序员面试题-CSDN博客 taizilongxu/interview_python: 关于Python的面试题 基础语法特性 列表(list)和元组(