数据分析工程师都做什么工作?

作者&投稿:钟功 (若有异议请与网页底部的电邮联系)
大数据分析开发工程师可以从事哪些工作?这些岗位有需要做什么?~

大数据开发工程师,其实包括的具体的岗位很多,包括:
大数据开发工程师、大数据架构工程师、大数据运维工程师、数据可视化工程师、数据采集工程师、数据挖掘工程师、机器学习工程师、深度学习工程师、算法工程师等等,都可以算是大数据开发工程师的范畴。
从定义上来说,研究和开发大数据采集、清洗、存储及管理、分析及挖掘、展现及应用等有关岗位的从业者,都可以称为大数据开发工程师。

数据分析师是一个近几年来新兴的一个岗位,有人说,数据分析师是大部分时间围绕着的工作是满足业务的数据需求。业务人员既有普通运营,也有部门领导,基本有求必应。那么数据分析工程师每天都在做什么呢?日常工作有哪些?我们接着往下看。


满足业务人员的需求也分淡旺季,旺季就是做月度汇报、年度汇报的时候,或者做促销活动、推广活动的时候。特别是业务人员要做汇报的时候,会疯狂call数据分析的,单身N年的手速这个时候用得上了。
当然,淡季也不会闲着,还得做专题分析呀。得研究研究各领导拍脑门想到的数据需求:比如产品种类会不会太多,要不要精简一下,这个时候得去找数据支撑,比如80%的业绩产生于哪些产品,而长尾品又能产生多少业绩,再了解下竞争对手又是怎样的策略。再比如到了月末的时候,就得预测下一周期的业绩能完成多少,从哪块新业务增收多少,预计引流多少新用户获得多少收益,怎么拉升客单价从而增收多少收益,这时候顺便就把业务的kpi目标定下了。又比如突然有什么异常情况,日活的用户数持续下降了,那就得到业务各个环节里找原因。还比如某个业务环节存在问题没有攻破,如订单满足率还是不理想,就得四处扒拉数据去分析造成多少损失,主要是哪部分造成损失最多,还得想该如何用数据监控,责任方在哪,如何完善等······
综上就是小编整理的数据分析工程师日常工作,希望可以帮您更好的理解这个岗位。

1、任何技术类的岗位做得经验丰富,都不会太差,至少都是月薪过万+;
2、大数据分析工程师,你得了解python,至少会写点脚本;其次也可以了解一些分析工具 如excel、tableau可视化分析工具、数据库(mysql)、如果需要更深入也可以了解一下大数据开发工具 hadoop、spark、hive、R、scala、java、云计算、机器学习、算法等

就是用各类语言,比如R、Python做数据分析。现在这个岗位还是很火的,很多领域都在设立相关的岗位,而且不是计算机专业的也可以从事。所以我周围还有挺多人,先去学习,然后转到这个岗位上的。

1 写 SQL (很多入职一两年的大数据工程师主要的工作就是写 SQL )

2 为集群搭大数据环境(一般公司招大数据工程师环境都已经搭好了,公司内部会有现成的大数据平台,但我这边会私下搞一套测试环境,毕竟公司内部的大数据系统权限限制很多,严重影响开发效率)

3 维护大数据平台(这个应该是每个大数据工程师都做过的工作,或多或少会承担“运维”的工作)

4 数据迁移(有部分公司需要把数据从传统的数据库 Oracle、MySQL 等数据迁移到大数据集群中,这个是比较繁琐的工作,吃力不讨好)

5 应用迁移(有部分公司需要把应用从传统的数据库 Oracle、MySQL 等数据库的存储过程程序或者SQL脚本迁移到大数据平台上,这个过程也是非常繁琐的工作,无聊,高度重复且麻烦,吃力不讨好)

6 数据采集(采集日志数据、文件数据、接口数据,这个涉及到各种格式的转换,一般用得比较多的是 Flume 和 Logstash)

7 数据处理
7.1 离线数据处理(这个一般就是写写 SQL 然后扔到 Hive 中跑,其实和第一点有点重复了)
7.2 实时数据处理(这个涉及到消息队列,Kafka,Spark,Flink 这些,组件,一般就是 Flume 采集到数据发给 Kafka 然后 Spark 消费 Kafka 的数据进行处理)

8 数据可视化(这个我司是用 Spring Boot 连接后台数据与前端,前端用自己魔改的 echarts)

9 大数据平台开发(偏Java方向的,大概就是把开源的组件整合起来整成一个可用的大数据平台这样,常见的是各种难用的 PaaS 平台)

10 数据中台开发(中台需要支持接入各种数据源,把各种数据源清洗转换为可用的数据,然后再基于原始数据搭建起宽表层,一般为了节省开发成本和服务器资源,都是基于宽表层查询出业务数据)

11 搭建数据仓库(这里的数据仓库的搭建不是指 Hive ,Hive 是搭建数仓的工具,数仓搭建一般会分为三层 ODS、DW、DM 层,其中DW是最重要的,它又可以分为DWD,DWM,DWS,这个层级只是逻辑上的概念,类似于把表名按照层级区分开来的操作,分层的目的是防止开发数据应用的时候直接访问底层数据,可以减少资源,注意,减少资源开销是减少 内存 和 CPU 的开销,分层后磁盘占用会大大增加,磁盘不值钱所以没什么关系,分层可以使数据表的逻辑更加清晰,方便进一步的开发操作,如果分层没有做好会导致逻辑混乱,新来的员工难以接手业务,提高公司的运营成本,还有这个建数仓也分为建离线和实时的)

总之就是离不开写 SQL ...

写 SQL (很多入职一两年的大数据工程师主要的工作就是写 SQL )

2 为集群搭大数据环境(一般公司招大数据工程师环境都已经搭好了,公司内部会有现成的大数据平台,但我这边会私下搞一套测试环境,毕竟公司内部的大数据系统权限限制很多,严重影响开发效率)

3 维护大数据平台(这个应该是每个大数据工程师都做过的工作,或多或少会承担“运维”的工作)

4 数据迁移(有部分公司需要把数据从传统的数据库 Oracle、MySQL 等数据迁移到大数据集群中,这个是比较繁琐的工作,吃力不讨好)

5 应用迁移(有部分公司需要把应用从传统的数据库 Oracle、MySQL 等数据库的存储过程程序或者SQL脚本迁移到大数据平台上,这个过程也是非常繁琐的工作,无聊,高度重复且麻烦,吃力不讨好)

6 数据采集(采集日志数据、文件数据、接口数据,这个涉及到各种格式的转换,一般用得比较多的是 Flume 和 Logstash)

7 数据处理
7.1 离线数据处理(这个一般就是写写 SQL 然后扔到 Hive 中跑,其实和第一点有点重复了)
7.2 实时数据处理(这个涉及到消息队列,Kafka,Spark,Flink 这些,组件,一般就是 Flume 采集到数据发给 Kafka 然后 Spark 消费 Kafka 的数据进行处理)

8 数据可视化(这个我司是用 Spring Boot 连接后台数据与前端,前端用自己魔改的 echarts)

9 大数据平台开发(偏Java方向的,大概就是把开源的组件整合起来整成一个可用的大数据平台这样,常见的是各种难用的 PaaS 平台)

10 数据中台开发(中台需要支持接入各种数据源,把各种数据源清洗转换为可用的数据,然后再基于原始数据搭建起宽表层,一般为了节省开发成本和服务器资源,都是基于宽表层查询出业务数据)

11 搭建数据仓库(这里的数据仓库的搭建不是指 Hive ,Hive 是搭建数仓的工具,数仓搭建一般会分为三层 ODS、DW、DM 层,其中DW是最重要的,它又可以分为DWD,DWM,DWS,这个层级只是逻辑上的概念,类似于把表名按照层级区分开来的操作,分层的目的是防止开发数据应用的时候直接访问底层数据,可以减少资源,注意,减少资源开销是减少 内存 和 CPU 的开销,分层后磁盘占用会大大增加,磁盘不值钱所以没什么关系,分层可以使数据表的逻辑更加清晰,方便进一步的开发操作,如果分层没有做好会导致逻辑混乱,新来的员工难以接手业务,提高公司的运营成本,还有这个建数仓也分为建离线和实时的)

总之就是离不开写 SQL ...

Python,,java


大数据分析师到底是干什么的呢?
大数据分析师是个很重要的工作,就是通过分析数据来找出过去事件的特征。通过引入关键因素,大数据工程师可以预测未来的消费趋势。在各种的营销平台上,数据分析师试图通过引入气象数据来帮助淘宝卖家做生意。举例 今年夏天不热,很可能某些产品就没有去年畅销,除了空调、电扇,背心、游泳衣等都可能会受其...

初级的数据分析师,主要需要做哪些工作?
关于初级的数据分析师,主要需要做哪些工作。青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。以上是小编为大家分享的关于初级的数据分析师,主要需要做哪些...

大数据分析师主要工作做什么?
数据可视化永久辅助于数据内容,有价值的数据报告才是关键。关于大数据分析师主要工作做什么,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。

大数据工程师是做什么的
最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹,就能够了解这个人,并预测他的行为。预测未来可能发生的事情:通过引入关键因素,大数据工程师可以预测未来的消费趋势。找出最优化的结果:根据不同企业的业务性质,大数据工程师可以通过数据分析来达到不同的目的。

大数据分析工程师主要做什么?
现实的情况是这样的,无论公司属于哪个行业,要想在当今竞争激烈的市场环境中取得成功,需要一个强大的软件架构用来存储和访问公司数据,最好从公司创立一开始就要搭建它。那么今天小编就带大家先了解一下,大数据分析工程师主要做什么?一个合格的大数据分析工程师有哪些关键技能呢?我们接着往下看。大数据...

数据分析师是做什么的?
大数据分析的相关职位需要的是复合型人才,能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。未来,数据分析将会出现约100万的人才缺口,在各个行业,数据分析中高端人才都会成为 炙手可热的人才,涵盖了大数据的数据开发工程师、数据分析师、数据架构师、数据后台开发工程师、算法...

数据分析师主要做什么
更为重要的是,互联网时代的数据分析师要不断在数据研究的方法论方面进行创新和突破。就行业而言,数据分析师的价值与此类似。就新闻出版行业而言,无论在任何时代,媒体运营者能否准确、详细和及时地了解受众状况和变化趋势,都是媒体成败的关键。

大数据工程师主要是做什么的?
1、分析历史,找出过去事件的特征:大数据工程师一个很重要的工作,就是通过分析数据来找出过去事件的特征。找出过去事件的特征,最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹,就能够了解这个人,并预测他的行为。2、预测未来,预测未来可能发生的事情:通过引入关键因素,大数据...

大数据工作都做什么。我对大数据感兴趣,想从事这方面的工作,但是不知道...
工具和技能:工具: R、Python、SAS、SPSS、Spark、X-Mind、Excel、PPT 技能:需掌握SQL数据库、概率统计、常用的算法模型(分类、聚类、关联、预测等,每一类模型的一两种最典型的算法)、分析报告的撰写、商业的敏感性等等;数据挖掘工程师:工作内容:a.用户基础研究:用户生命周期刻画(进入、成长、...

大数据工程师做什么?
在美国,大数据工程师平均每年薪酬高达17.5万美元,而据了解,在国内顶尖互联网类公司,同一个级别大数据工程师的薪酬可能要比其他职位高20%至30%,且颇受企业重视。 职业发展路径 由于大数据人才数量较少,因此大多数公司的数据部门一般都是扁平化的层级模式,大致分为数据分析师、资深研究员、部门总监3个级别。大公司可能...

桐城市17778104392: 数据分析师的具体工作职责和工作内容有哪些 -
洪疤康得: 以下是部分互联网公司数据分析师的工作职责与内容:1. 找到如何通过数据衡量产品(measure)2. 找到如何可以驱动产品的指标3. 跟产品经理、工程师等合作寻找改进产品的机会4. 帮助产品做决策5. 产品数据追踪6. 寻找新的领域7. 给团队设定目标8. 长期投入9. 带新人和面试的能力10. 提供数据支持

桐城市17778104392: 咨询行业数据分析师是干什么的 -
洪疤康得: 数据分析师职位描述: 1.负责数据分析、报告撰写,为客户或内部进行报告陈述; 2.针对策划产品建立研究模型及标准化分析模板; 3.设计调查问卷,全程跟踪调查过程.要求: 1.有比较充裕的时间; 2.具有电信行业从业经验或具有同类咨询公司优先; 3.掌握情报分析、数据分析、产业分析方法,熟练应用分析工具; 4.较强的文字功底和分析能力,能够独立开展数据分析和建立分析模型; 5.有行业研究报告开发.撰写经验,熟悉撰写方法 6.热爱咨询行业,再学习的能力,严谨负责的工作态度; 7.本科及以上学历,电信/IT.MBA方向专业优先.

桐城市17778104392: 有没有人知道数据分析员是做什么工作? -
洪疤康得: 这个职位要分很多种行业的,会受到行业的知识限制,有些行业还不错,有些行业就一般.总的说来,还是比较不错的了岗位职责: 1、对货品数据进行统计、汇总、整理; 2、分析汇总的数据,并编写分析报告; 3、有零售行业经验者优先;

桐城市17778104392: 数据分析主要能什么什么工作? -
洪疤康得: 不同行业中,专门从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专门的人员.但不同行业的需求情况也存在区别,我同学有从事这行业的,他们参加的CDA数据分析师课程,目前CDA已与国内多所高校进行了战略合作,搭建大数据实验室与共建专业.

桐城市17778104392: 数据分析师是做什么的?
洪疤康得: 数据分析师简单来讲就是你要运用专业的数据分析工具搜集信息,并且对搜集的信息根据自己的专业知识进行分析,分析完给出相应的结论.像专业的行业研究啊,给出相应的预测啊,最后指导决策的岗位.听起来还是非常高大上的,也是属于现在大数据时代下非常热门的工作岗位,相应的薪资待遇都很不错.不过数据分析学的知识是应用型的,所以几乎都是和老师学的,学起来快一些.

桐城市17778104392: 数据分析师是从事哪些数据工作的 -
洪疤康得: 数据分析师指的是不同行业中,专门从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员.作用 越来越多的政府机关、企事业单位将选择拥有数据分析师资质的专业人士为他们的项目做出科学、合理的分析、以...

桐城市17778104392: 资深数据分析师是做什么的 -
洪疤康得: 统计专业(有统计理论)、计算机专业专业(会编程序实现).数据分析师指的是不同行业中,专门从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员.互联网本身具有数字化和互动性的特征,这种属性特征给数据搜集、整理、研究带来了革命性的突破.以往“原子世界”中数据分析师要花较高的成本(资金、资源和时间)获取支撑研究、分析的数据,数据的丰富性、全面性、连续性和及时性都比互联网时代差很多.与传统的数据分析师相比,互联网时代的数据分析师面临的不是数据匮乏,而是数据过剩.因此,互联网时代的数据分析师必须学会借助技术手段进行高效的数据处理.更为重要的是,互联网时代的数据分析师要不断在数据研究的方法论方面进行创新和突破.

桐城市17778104392: 数据分析人员能做什么,你真的了解数据分析吗 -
洪疤康得: 数据分析在实际工作中的应用方方面面,小到Excel做表,大到数据化决策指导. 目前的形势,很少有公司有全面化的数据运营管理体系,导致有些从事数据分析的朋友觉得工作只局限于做图做表,为业务部门供数据. 真正的数据分析师其实做...

桐城市17778104392: 数据分析师具体是什么岗位?
洪疤康得: 国内的企业数据分析岗位其实不成体系的,还有各种叫法,数据分析员,分析师,架构师,科学家等等, 具体工作职责也不明确,规范的可以参照经管之家(人大经济论坛)CDA数据分析的等级

桐城市17778104392: 数据分析师是什么样的工作?做什么的?工作量大么? -
洪疤康得: 数据挖掘工程师我知道,如果不是做算法和产品研究,一般就是到项目现场实施数据挖掘项目.工作量不大,性价比高啊~

本站内容来自于网友发表,不代表本站立场,仅表示其个人看法,不对其真实性、正确性、有效性作任何的担保
相关事宜请发邮件给我们
© 星空见康网