About Me
Blogs
Projects
Language Modeling from Scratch
从零构建语言模型系列项目:预训练、后训练微调、数据集构建
本系列包含三个项目,按时间顺序从基础预训练到后训练微调、再到下游数据集构建,覆盖了从零构建语言模型的完整流程。
LLM Pre-Training Project Report
项目名称:
从零构建LLM
。
May 20, 2026
董庆森 秦郑泽
LLM Post-Training Project Report
语言模型正在向能处理多样化自然语言任务的通用系统演进。本次作业聚焦其中一个方向——数学推理,并以此为实验平台,系统性地完成评估体系构建、监督微调(SFT)以及基于强化学习(GRPO)的推理训练。与以往作业相比,本次有两点关键变化:
May 20, 2026
董庆森 秦政泽
BUPT校园知识问答数据集构建
本项目目标是构建一个
北京邮电大学校园知识问答数据集
——从公开网页爬取原始语料,经过清洗、切块、API改写、过滤去重等流程,最终产出 259 条高质量短问短答样本。数据集采用
ms-swift
兼容的 messages JSONL 格式,可直接用于下游 LoRA 微调任务。
Jun 14, 2026
董庆森 秦政泽
No matching items