大模型学习笔记（二）—-其它知识点总结
如何让模型学习、理解自然语言和世界知识 任务设计 去噪自监督学习(Denoising Auto-Encoding)：破坏原文，让模型补充，BERT的MLM(Masked Language Modeling)就是这种任务。 示例: 原文: The chef cooked the meal. 破坏后: The chef [mask] the meal. 主模型的任务: 预测被 [mask] 替换的词是 cooked。 自回归语言建模 (Autoregressive Language Modeling)：让模型从左到右逐个预测下一个词。 示例: 输入: 今天天气真不错，我们一起去 模型的目标: 预测出下一个词是 公园、散步 或其他合理的词。 学习到的能力: 这种方法极大地锻炼了模型的生成能力、流畅性和上下文关联能力。因为它必须根据已经出现的所有前文来推断最合理地延续，所以它对语境的理解非常深刻，这也就是为什么GPT系列擅长对话、写作和上下文学习(In-context Learning)。 对比学习 (Contrastive Learning)：要求模型学会判断“相似”与“不相似”，将...
大模型学习笔记（一）——综述笔记
综述《Large Language Models: A Survey》粗读 摘要 本文主要内容包括： 阐述当下主流的三个大模型家族（GPT,LLaMa,PaLM)的特点、贡献和局限性。 总览了制作、增强大模型的技术。 介绍了用于大模型训练、微调、评估的数据集。 介绍了大模型评估指标，并对比了各类大模型在一些代表性的benchmark上的表现。 讨论了一些公开的挑战和未来的研究方向。 图表 规模较小的模型无法拥有Emergent Abilities（涌现能力），它不是线性增长的，而是在模型的参数量达到某一个临界值后突然“获得”的。 涌现能力包括上下文学习、指令跟随、多步推理。 可以看到使用频率最高的训练数据库是Common Crawl、代码数据集（GitHub、Code datasets、SlimPajama 等）、学术/科学数据集（Arxiv、StackExchange、DocBank）。 通过预训练得到一个学会通用语言表示的模型，然后通过微调来解决具体的任务。 预训练的流程： 以掩盖部分词的句子对的形式输入，让大模型预测掩盖的是什么，并且输出下一句预测。 E是嵌入表...
tts笔记
index-tts 官方文档非常详细，跟着来就行。建议工作流程： 根据视频分镜写好稿子，注意特殊的词根据发音改写。 将稿子提取成一整篇纯文字稿。 使用index-tts的web端，转换整篇音频。 放到pr里：对齐——切——对齐——切，即可。
Rust笔记（一）
开端 参考Rust语言圣经(Rust Course) Windows上的Rust有两个版本MSVC和GNU，这里涉及到Microsoft C++ Build Tools(对应于MSVC版本，官方推荐)安装c++环境，或者MSYS2(对应于GNU版本)安装c++环境。 其它安装的细节，以及在其它系统上的安装方式，请仔细阅读以上参考文档。 可以使用命令rustup doc查看文档。 在neovim里配置Rust开发环境 安装rust-analyzer，这是Rust的LSP，需要对"neovim/nvim-lspconfig"进行配置。 安装"saecki/crates.nvim"插件，这个插件用来提供依赖信息的增强支持。 以上两者的配置如下plugins\lsp.lua所示： 1234567891011121314151617181920212223242526272829return { { "neovim/nvim-lspconfig", opts = { in...
neovim插件记录、用法
bullets-vim 功能：自动处理markdown中的列表序号。 快捷键： 按键 模式 功能 <cr> INSERT 换行并插入新的bullet o NORMAL 效果同上。 <C-cr> INSERT 仅换行 gN NORMAL/VISUAL 对光标所在列表(或者所选中的部分)重排序 >> NORMAL 缩进（同时调整编号，下皆同） <C-t> INSERT 缩进 > ViSUAL 缩进 << NORMAL 取消缩进 <C-d> INSERT 取消缩进 < VISUAL 取消缩进 render-markdown 功能：文档超详细，配置非常简单的markdown渲染插件。建议用它替代:LazyExtra里的markdown模块。 标题图标、padding，高亮范围。 代码块、callouts、链接图标。 列表美化。 等等。 配置：详情见此链接 要想舒舒服服编辑markdown文档还需要关闭拼写检查。 lspsaga.nvim 功能：...
pytest笔记（一）
测试框架的作用 用例发现、管理、执行。 环境管理。 测试报告。 pytest对比unittest 需要手动安装、可以指定版本。 代码风格不是Java而是Python。 拥有更丰富的插件生态。 完全兼容unittest。 快速上手 安装：uv add pytest -U 启动方式： 创建一个新文件添加pytest.main()。 pytest：自动发现当前目录下的所有测试文件，执行所有测试用例。 pytest test_*.py：执行指定的测试文件。 pytest test_*.py::test_func：执行指定的测试函数。 用例 结果种类 缩写 单词 含义 . passed 通过 F failed 失败（用例执行报错） E error 出错（fixture执行报错） s skipped 跳过 X xpassed 预期外的通过（不符合预期） x xfailed 预期内的失败（符合预期） 用例发现规则和内容规则 用例的发现规则——识别、加载用例的过程 步骤： 遍历当前目录及子目录下的所有文件，例外：venv、.*...
各类小工具（一）
查看图片 名称 安装 用法 简介 viu brew install viu viu img.jpg 以字符色块的形式显示图片 chafa brew install chafa chafa img.jpg 默认画面更加精细 终端命令 名称 安装 用法 简介 tldr brew install tldrnpm install -g tldr tldr 命令 查看命令用法，man的替代 注： tldr切换语言: 可以使用tldr tldr查看语言相关命令，生成配置（有命令），修改完写入配置（给了查看配置位置的命令）里，还需要使用更新命令，最后可以查看语言列表。 python实用工具 名称 安装 用法 简介 pipdeptree pip install pipdeptree pipdeptreepipdeptree -p 包名 查看包依赖关系，可用来辅助清理不用的包 编辑技巧 可以在注释里添加TODO，插件Todo Tree可以自动识别，并形成方便查看跳转的树状视图。常用关键词如下： 关键词 用途说明 TO...
配置一个舒服的wsl开发环境
🦦配置一个舒服的wsl开发环境 BUG: “wsl: 检测到 localhost 代理配置，但未镜像到 WSL。NAT 模式下的 WSL 不支持 localhost 代理。” 打开或者创建%USERPROFILE%.wslconfig，添加 123456[experimental]autoMemoryReclaim=gradual # gradual | dropcache | disablednetworkingMode=mirroreddnsTunneling=truefirewall=trueautoProxy=true 关机wsl --shutdown Debian，重启wsl -d Debian。 安装brew包管理器 安装依赖项 sudo apt-get install build-essential procps curl file git。 安装Homebrew /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/ins...
neovim配置
前置 配置文件在哪 在neovim的命令模式输入:= vim.fn.stdpath("config")可以查看配置文件所在的目录，win下默认为~\AppData\Local\nvim\，在此目录下创建/修改主配置文件init.lua。 模块化配置 在init.lua的同级目录创建lua目录用以存放各个模块，继而使用require("module")引入名为module.lua的模块。 建议： 在lua下再细分，例如基础的配置放到lua/core/下，拓展的配置放到lua/plugins/，引入的时候使用require("core.module") 配置命令结构与一次性使用 大多数配置命令都在vim.opt.之下，可以在命令模式使用例如:lua vim.opt.number = true对当前会话生效。 配置项 行号 行号：vim.opt.number = true 相对行号，便于快捷移动光标：vim.opt.relativenumber = true 高亮、最大长度 vim.opt.cursorline = true ...
🐆neovim使用笔记
🐆neovim使用笔记 光标移动 基础： h、j、k、l对应←↓↑→，gg、G跳转到文档头、尾。 word跳转： w、e跳转到后一个“word的开头、结尾”，b跳转到前一个“word的开头”。不含除_外的标点符号。 WORD跳转：W、E跳转到后一个“WORD的开头、结尾”，B跳转到前一个“WORD的开头”。“WORD”以空格为单位。 注： “word”的描述很繁琐，但是含义很简单，故不多赘述。 以上快捷键都可以与数字搭配使用。 基础移动会以方向的尽头终止，如100l若超过该行剩余字符数则会移动到该行末尾。 但是，word跳转的语义是“上一个、下一个”，只要没有到文档头尾，就不会终止跳转。 根据字符跳转：f、F分别表示后一个字符、前一个字符（行内）。例如2fs表示跳转到后面第二个"s"的位置。 复制、粘贴、剪切 基础： y <motion>复制，d <motion>删除，c <motion>删除并进入插入模式，p、P在光标的右侧、左侧粘贴。 描述 成员 inclusive motion 仅有顺序...