熊磊光讲师-大数据平台优化及开发应用实战专家

360影视 2025-01-12 09:36 2

摘要:2008年到2013年,从事软件开发工作,历任软件工程师,高级工程师,部门经理。

教育背景:

2005.09—2008.02 中国农业大学信电学院 自动化硕士

2001.09—2005.07 中国农业大学信电学院 工学学士

从业经历:

2008年到2013年,从事软件开发工作,历任软件工程师,高级工程师,部门经理。

2014年合伙成立北京盛和大地数据科技有限公司,担任公司CTO).公司致力于开发全生命周期的大数据存储,以及大数据平台产品,目前集中在运营商、金融、归档等行业和业务方向。

近期研发项目经验:

某超级计算机集群二级数据备份系统项目

某涉密单位OA系统数据平台项目

广东气象局数据分析平台项目

中国地质调查局数据备份系统项目

广电总局东莞多媒体数据中心数据备份系统项目

国家电网电商部门,第三方电子支付平台数据库架构升级方案,包括支付平台和数据库

近期培训和咨询内容:

广东电信研究院

大数据平台优化及开发应用实战,通过十多天的大数据培训和咨询工作,提升电信网络运维及开发团队的大数据应用实践能力,优化了多个数据分析应用软件的性能,提升了大数据平台的稳定性,提高了客户满意度。

江苏某大型国有银行

银行客户的大数据平台应用培训,通过三个多月的大数据培训和咨询工作,提升银行客户管理团队的运维和开发能力,上线了一批新的数据分析和数据挖掘应用,有效提升了大数据平台的稳定性和易用性。

工作任务:

1.新员工技术培训营

通过编程语言基础、自动化运维技术、虚拟化技术等课程的理论和实战课程,以及考核比赛环节,使新员工具备了岗位所需的研发和运维能力

2.数据分析和挖掘培训

引入第三方的数据分析平台软件后,通过阶段性组织数据分析平台应用开发能力培训,以及实践问题分析研究讨论会议,提升数据分析平台使用水平,而且,基于常见问题形成了相关知识库。(另外,也组织了开发培训,包括传统的数据分析软件SAS/SPSS/Excel,以及新的开发语言 R语言和Python)

3.大数据平台引入和调优

大数据平台是从第三方厂家引入的,配置参数、虚拟资源池工作模式等需要根据实际需要进行调优。通过逐步引入数据分析和挖掘任务,对产生的资源瓶颈和出现的故障等问题进行案例分析和讨论研究,以阶段性实践的方式提升运维团队和数据分析团队的技术能力。

4.团队协作

在新团队磨合过程中,凸现出部门樊篱文化的问题,部门之间协调配合紧密度不强,步调往往不一致,对整体工作效率有负面影响。对此,以Devops为基础,结合公司内部已经在使用的Devops平台产品,组织了部门工作流程管理的系列培训。

四川移动

大数据分析和应用(数据分析,数据挖掘,深度学习以及人工智能),通过两周的大数据实战培训,提升移动数据团队的大数据开发实践水平,并将相关技术应用到了四川移动数据分析的内部示范平台。

南京南瑞

南瑞电力数据管理平台优化,通过一个多月的培训和咨询工作,提升了电力数据管理平台的运算性能,提高了开发和运维团队的数据分析和平台管理能力。引入了深度学习和人工智能技术,引导开发了“智慧电网”的相关应用。有效提升了电力数据平台的业务水平。

中国移动设计研究院

大型电商网站设计和优化,通过培训和咨询工作,使网站架构能够适应在用户数量快速提升的同时保持高可用,提高了开发和运维团队对于海量用户和海量数据的处理能力。引入了去中心化集群技术和跨域资源调度技术,提高了电商网站的可靠性和可维护性。

项目方案要点:

1.客户端优化,统一平台入口,消减内部系统业务连接数量

2.应用CDN技术,静态资源本地化

3.对商品展示资源应用多级数据缓存

4.对业务进行分级,在高峰留恋冲击下,会触发对非关键业务资源的限制,动态释放给核心业务。

5. 去中心化。构建机架内的高可用,以及数据中心级别的高可用。

项目实施情况:

1.通过蓝军部门设计的流量冲击模拟测试和局部故障测试。

2.项目上线后,经过近一个月的调适和经验总结,系统没有出现大的问题,达到了预期的设计要求。

3.业务上线半年后,启动了进一步升级扩容的计划,目前仍在进行中。附件是培训所使用的部分课件。

自我评价:

l 计算机水平: C++/Java,Python,Spark,Hadoop,Hive,Map-Reduce ,R, SQL

l 性格、爱好:热爱学习,进取创新,善于交流,十分热爱技术传播工作。

来源:小方看科技

相关推荐