岗位描述
1.负责以LLM/VLM为核心的大模型算法研发与系统设计，围绕多模态理解、推理与生成能力建设，推动模型在智能体、工业与企业级应用等真实业务场景中的落地；2.主导多模态大模型的训练与对齐优化工作，包括预训练、指令微调（SFT）、偏好对齐（RLHF/DPO等），持续提升模型在文本、图像、语音等多模态输入下的理解、推理、规划与可控生成能力；3.构建多模态能力栈，包括视觉理解（目标/区域定位、指代消解、OCR/图文结构化理解、状态识别），语言推理与工具使用（复杂指令解析、语义推理、约束理解、函数调用/工具调用、任务分解与多步推理），多模态生成（图文一致性、事实性与安全性约束、幻觉与错误执行风险降低）；4.设计并实现多模态数据工程与训练流程，包括数据清洗、去重、过滤、标注与合成数据构建，支持离线/在线混合训练与持续迭代，重点解决跨模态语义一致性、长上下文建模与复杂任务鲁棒性问题；5.参与构建多模态RAG系统：基于文本与图像等多模态信息，构建跨模态Embedding、检索与重排链路，结合图文知识库与业务规则，提升复杂与长尾问题覆盖能力，降低多模态场景下的模型幻觉风险，并参与评测与线上质量监控；6.优化大模型训练与推理效率：分布式训练（DeepSpeed/FSDP等）、显存与吞吐优化（FlashAttention、KVCache等）、模型压缩（量化/剪枝/蒸馏）与推理加速（VLLM/TensorRT/ONNX等）；7.推进大模型能力的工程化与服务化落地，负责推理服务部署、性能调优、稳定性保障及云边端协同方案设计；8.持续跟踪并验证LLM/VLM相关前沿技术进展，包括Agent工程化、多模态RAG/知识增强、多模态推理与规划等方向，沉淀可复用的技术方案与组件，推动团队整体技术能力提升；9.与算法、系统、硬件团队协作完成技术方案集成与验证，支持线上稳定性与工程交付。