简介 pdb，即 Python Debugger，是 Python 标准库的一部分，用于在调试器的环境中交互式地调试代码（尤其是无 GUI 的场景下），这对于追踪难以发现的错误非常有用。 在想要进入调试器的位置插入如下代码： import pdb pdb.set_trace() 执行上述代码后，Python 会在此位置停止并显示一个 (Pdb) 提示符。这意味着您现在已在交互式调试...

简介 由于语言模型只接受非结构化的文本作为输入，为了方便模型处理多轮的对话消息列表，衍生出对话模板（chat template）。对话模板的目的是用于将消息列表转换为符合模型要求的文本字符串，这种有特殊标记的字符串格式被称为 Chat Markup Language（缩写为 ChatML）。 一般而言，消息列表是字典的列表，字典中通常包含字段：role 字段用于描述角色类型，可选值一般为...

为什么分词 将复杂的文本数据分解为机器可管理的语义单元，再结合词嵌入的方式，帮助语言模型理解文本。 分词粒度 Word 原则：基于空格和规则分词 优点：词的边界和含义得以保留 缺点：词表大；稀有词学不好；OOV 问题；无法处理词形关系 Char： 原则：基于字符分词 优点：词表小；...

文本生成策略，即解码策略，是指自然语言生成（Natural language generation，NLG）任务中，对当前词或词元概率分布（一般由通过 Softmax 函数产生的）进行采样的方法。通过调整文本生成策略，可以使生成的文本更加多样、更加连贯、更加和谐。 确定性策略 确定性策略（Deterministic strategies）是指在输入固定时，模型的输出总是固定的，这种类型的...

Jieba 分词工具 Jieba 是一款使用 Python 实现、基于统计的中文分词工具。由于使用方式简单，且分词效率较高，在中文分词领域较为流行。目前主要的分词算法及其区别在于： 分词算法 类型 思路 正向最大匹配 基于词典匹配 从前向后，持续扫描，尝试匹配词典中的...

向量与向量数据库 向量（vectors）也称为嵌入（embeddings），可以来自于结构化数据，也可以是对非结构化数据的抽象，例如文本、图像、语言等。一般地，利用一些模型手段，将非结构化数据转换为长度相同的向量形式，通过向量相似度比较，进而完成语义搜索或推荐，常见的任务包括推荐系统、人脸识别、文档问答、图文检索等。 一般地，向量可以分为浮点数向量（floating-point embe...

Softmax 函数 Softmax 将包含 $k$ 个值的输入 $Z = (z_1, z_2, \cdots, z_K)$ 归一化为概率分布 $P = (p_1, p_2, \cdots, p_K)$，常用于多分类。 [p_i = \cfrac{e ^ {z_i}}{\sum^{K}_{j = 1}e^{z_j}}, 1 \le i \le K] Softmax 一般应用于模型最后的...

等价性与正规化 Unicode 等价性（Unicode equivalence）是指 Unicode 中包含一些特殊字符，这使得不同的字符序列可能具有相同的功能（如显示等）。Unicode 等价性包括标准等价和兼容等价。而 Unicode 正规化（Unicode normalization）是指根据 Unicode 等价性对字符序列进行转换的过程，其分为分解与合成两类。 标准等价和兼容等...

tmux 是一个终端多路复用工具，用于会话和窗口管理，很多情况下可以替代 nohup 和 screen 命令。 会话 Session 会话是 tmux 工作的基本单位，所有的操作均建立在会话的基础上。 新建会话 在会话中进行操作前，需要新建一个会话。 $ tmux # 新建一个未指定名称的会话 $ tmux new -s demo # 新建一个会话，并指定名称为 demo 列出...

本文档旨在帮助快速熟悉 Linux 远程操作，全部内容在 Centos 7 下的 GNU Bash 4.2.46(2)-release (x86_64-redhat-linux-gnu) 测试通过。 准备工作 SSH 远程登录 SSH 是专为远程登录提供安全性的协议，其具体实现有很多，这里以开源的 OpenSSH 为例。这也是 Linux 上最常用的版本，Windows 上使用可能略有...