About
关于我
训练全双工端到端实时语音交互大模型，也造语音智能体。
我是周浩洋，上海交通大学人工智能学院直博生（AudioCC Lab，导师张王优），吉林大学软件学院本科。研究方向是全双工端到端实时交互语音大模型与语音智能体——既训练模型，也做评测它的 Benchmark、造实现它的系统。
之前研究 Agentic RL 的长循环训练（SCRIBE），做过智能体评测平台 AgentGenesis 和语音多智能体系统 VoxFlow。这个博客记录技术与科研，也记录生活——不追热点，写什么取决于最近在为什么问题头疼。
在研究
- 全双工端到端实时语音交互大模型与语音智能体：训练模型、定评测标准、造真正可用的系统。
- Agentic RL：长循环训练中的信用分配与奖励设计。
- 开源：AgentGenesis 维护者，CleanRL 贡献者。
不在研究的时候
- 唱歌——录了一百多首翻唱，都收在这个站的音乐页。
- 写字——博客算一部分，剩下的在私人笔记里。
- 发呆——好的问题一般不在我盯着屏幕的时候出现。
文章分布
44 篇中文文章简历
下载 PDF
教育背景
上海交通大学 · 人工智能学院 · 直博生（AudioCC Lab / 张王优老师）
吉林大学 · 软件学院 · 软件工程 · 本科（2023.09 — 2027.06 预计）
GPA 3.79 / 4.0，专业前 4.94%（18 / 364），英语六级 549 分。
核心课程：机器学习 96.4；线性代数 98.1；大学物理 97.2；算法设计与分析 94.5。
概率论 94.8；数据结构期末机考 100；微积分三学期均分 91.8。
直博方向：全双工端到端实时语音交互大模型与语音智能体。
科研与项目经历
AudioCC Lab —— 全双工语音大模型与语音智能体研究
2026.08 — 至今
拟录取直博生 · 张王优老师 · 上海交通大学人工智能学院 · 进行中
聚焦全双工端到端实时交互语音大模型与语音智能体：训练端到端实时语音大模型，构建交互场景语音 Benchmark，评估并改进模型的实时交互、推理与理解能力。
VoxFlow —— 语音多智能体交互系统GitHub ↗
2026.03 — 至今
AudioCC Lab · 负责人 · 独立提出并完成 · 因学术保密已闭源
定义问题：多智能体系统中 Agent 数量增长带来的交互入口碎片化——每个 Agent 各需一个界面，与人自然习惯的语音通道相矛盾。
提出 单语音入口 + 多 Agent 总线架构，将多 Agent 协作的交互复杂度收敛至单一语音通道；新增 Agent 仅需注册三件套，系统交互能力随 Agent 注册持续扩展。
提出 "边听边想边做"的流式交互机制，支持中英文混说与播放中途打断（barge-in），打通本地全链路语音识别与合成，实现低延迟连续语音交互。
以课件制作为首任务闭环验证：纯语音完成需求澄清、初稿生成与多轮修改，预览随改随更新。
SCRIBE —— Agentic RL 长循环训练范式研究
2026.04 — 2026.08
研究助理 · 冯二虎老师
定义问题：长循环 Agentic RL 中，轨迹级 GRPO 优势无法归因到单个决策与生成 token，长程任务训练信号稀薄。
提出 ReAct + Reflect + Summarize 三阶段显式训练范式，设计 Turn / Step / Token 三级信用分配机制，将轨迹级优势逐层分解至每个生成 token。
构建 13 维多维度奖励体系（格式正确性、摘要忠实度、方向中立性、token 复用率等），抑制 reward hacking 并稳定训练信号。
完成数据格式、历史压缩与 SFT / RL 训练 pipeline 设计，支撑真实 Agent 任务端到端训练，Agent 在多轮循环中收敛稳定并沉淀可复用的反思与总结能力。
AgentGenesis —— 智能体评测协议与平台GitHub ↗
2026.02 — 至今
负责人 · 跨校团队（山大 / 北师大 / 吉大 / 太原理工）· 开源 · 已上线 PyPI
定义问题：智能体评测环境碎片化、协议不统一，跨工作的评测结果不可比。
提出 三层渐进式评测协议（L1 单 Agent 循环、L2 同沙箱多 Agent 编排、L3 跨沙箱连接原语），统一单 / 多 Agent 评测标准；平台支撑 22+ 评测任务并发执行，开源并上线 PyPI。
生成式重排序算法研究
2025.09 — 2026.01
定义问题：生成式重排序在推理密集型检索任务上的能力边界缺乏系统性验证。
提出基于 Pairwise 的生成式重排序算法簇，独立构建评测数据集，在 AutoDL 4×A800 上完成 SFT 与 RL 全流程微调。
在 BRIGHT Benchmark 上完成系统评测，通过实验与数学推导发现算法固有局限，形成"假设—验证—结论"的完整科研闭环。
竞赛与荣誉
- ai-whys 自学仓库 · GitHub 110+ stars（持续更新）——深度学习 / 强化学习 / AI Agent 系统性笔记与实现
- 中国大学生服务外包创新创业大赛 · 全国三等奖（2025.06）——队长，Voice Agent 方向，赴青岛现场答辩
- 中关村 AI Agents Vibe Coding 黑客松 · 特别表彰（2025.07）——组长，获刘俊明老师与 Pine AI 前首席科学家李博杰老师特别表彰
- CleanRL 开源贡献 PR #535（2026.01）——改进 cleanrl_utils/buffers.py 张量重塑一致性处理
个人特质
- 研究自驱：独立完成多个从问题定义到实验验证的完整科研闭环；完成强化学习 44 页手写笔记，GitHub 过去一年 1.9k+ 次 commit。
- 团队领导力：大学期间所有项目均担任队长 / 负责人，主导跨校团队协作、代码评审与开发流程规范。
- 抗压与迭代：在多次科研方向调整与失败实验中提炼方法论并持续改进。
专业技能
- 研究能力：完整的科研闭环经验——问题定义、方法创新、评测构建与实验分析；具备大模型 SFT / RL 训练实战经验。
- 研究方向：全双工端到端实时语音交互大模型、语音智能体、Agentic RL 与人机语音交互。
- 音频工程：熟悉开源语音模型的落地应用，为本站音乐页 108 首翻唱实现了逐字卡拉 OK 歌词。
- 理论基础：扎实的数理基础与强化学习理论；兼具将研究想法快速验证落地的实现能力。
联系方式
- 邮箱：zhouhy5523@mails.jlu.edu.cn
- 手机：13223291973
- GitHub：github.com/ZHYsfl
保持联系
如果你也在思考类似的问题，欢迎通过邮件或微信找我聊聊。我通常在读完一段代码、跑完一组实验后回复。