序号
15
岗位名称
大数据
公司+
存算力
工程师
人数
2
岗位职责
1.负责规划、搭建和优化大数据计算平台
的算力基础设施,包括服务器集群、云计
算平台等,确保计算资源能满足数据处理
和分析的需求。例如,根据企业数据量的
增长预期,合理增添服务器,扩展算力;
2.对算力资源进行有效的分配和调度,根
据不同的数据任务优先级、类型和资源需
求,合理安排计算资源,提高资源利用率,
比如,在同时有实时数据处理任务和离线
数据分析任务时,合理分配 CPU 和内存资
源;
3. 监控和评估大数据计算系统的性能,针
对性能瓶颈进行优化。这可能涉及硬件升
级建议、软件算法改进、网络优化等多个
方面,以提升系统整体的计算效率;
4. 跟进最新的大数据计算技术,如新型芯
片技术、分布式计算架构等,研究如何将
其应用于现有系统来提升算力,保持公司
在大数据算力领域的竞争力;
5.从多种数据源(如数据库、文件系统、
网络爬虫等)获取数据,并将其整合到数
据仓库或存储系统中;
6.构建和维护高效的数据存储架构,如选
择合适的数据库(如 HBase、Cassandra)
来存储海量数据;
7.数据分析与建模:运用数据分析工具和
算法,挖掘数据价值,建立数据模型用于
预测或优化(如建立用户行为预测模型);
8.数据可视化:将分析结果以直观图表展
示,方便非技术人员理解数据。