• About Me
  • Blogs
  • Projects

Language Modeling from Scratch

从零构建语言模型系列项目:预训练、后训练微调、数据集构建

本系列包含三个项目,按时间顺序从基础预训练到后训练微调、再到下游数据集构建,覆盖了从零构建语言模型的完整流程。

LLAMA架构图

LLM Pre-Training Project Report

项目名称:从零构建LLM。
May 20, 2026
董庆森 秦郑泽

LLM Post-Training Project Report

语言模型正在向能处理多样化自然语言任务的通用系统演进。本次作业聚焦其中一个方向——数学推理,并以此为实验平台,系统性地完成评估体系构建、监督微调(SFT)以及基于强化学习(GRPO)的推理训练。与以往作业相比,本次有两点关键变化:
May 20, 2026
董庆森 秦政泽

BUPT校园知识问答数据集构建

本项目目标是构建一个北京邮电大学校园知识问答数据集——从公开网页爬取原始语料,经过清洗、切块、API改写、过滤去重等流程,最终产出 259 条高质量短问短答样本。数据集采用 ms-swift 兼容的 messages JSONL 格式,可直接用于下游 LoRA 微调任务。
Jun 14, 2026
董庆森 秦政泽
No matching items
 

© 2025 Qingsen Dong. Built with Quarto.