大模型问题随手记
date
Aug 22, 2024
slug
bigmodel-questions
status
Published
tags
大模型
summary
问题随手记
type
Post
问题
- 大模型的scaling saw的计算逻辑，以及如何指导进行模型优化
- 大模型的tokens如何进行分词的，以及模型与词表的分离，不同模型适配不同的词表，或者扩展词表
- 大模型的context上下文窗口是怎么理解的？
- RAG从理论到实战，理论上的细节，例如分片，emb和检索
- Agent的原理与实战设计
- llama系列模型原理探索
- 大模型的RLHF以及后训练，dpo，ppo
- alpaca格式的数据集
- Axolotl微调框架
- 各种微调方式，qlora，lora等
- 模型量化与剪枝
- rope，flash attention，mhq
- 大模型评价指标用哪些