职位信息
任职要求
1、熟练掌握 Linux 环境下的C++与Python语言，有大规模机器学习系统相关经验； 2、熟悉至少一种机器学习框架（Tensorflow/PyTorch或其他自研框架）； 3、熟悉至少一种大模型推理框架，包括但不限于：vLLM、SGLang、TensorRT-LLM等； 4、具有独立解决问题的能力，良好的团队合作精神，具备优秀的复杂问题拆解能力； 5、有强烈的工作责任心，较好的学习能力、沟通能力和自驱力。 加分项：理解GPU硬件架构，理解 GPU 软件栈（CUDA，cutlass)，具备GPU性能分析的经验
岗位职责
1、负责大模型推理系统的研发与性能优化，包括但不限于：模型计算性能优化、分布式大模型推理系统、大规模推理流量调度等； 2、负责解决系统高并发、⾼可靠性、⾼可扩展性等技术难关； 3、负责⼤模型推理前瞻性技术架构的调研和引入，技术方案不限于⼦图匹配、编译优化、模型量化、本地及mooncake分布式kv store等；
福利待遇
五险一金、补充医疗保险、定期体检、年终奖、带薪年假、员工旅游、餐补、节日福利、五险一金、补充医疗保险、定期体检、年终奖、带薪年假、员工旅游、餐补、节日福利