如何面对烦琐的数据需求
发布时间：2021-06-03 20:31:45 所属栏目：大数据 来源：互联网
导读：业务的重要性 一哥做数据工作，也呆过了三家公司了，做过新人也带过新人。经过被工作的毒打后，建议大家入职后较好的顺序是先理解业务，多跟业务打交道，对底层数据和业务之间的逻辑关系先大致心里有个谱。然后自己开始梳理业务体系，心里有个框架，一般纯业
|
业务的重要性
一哥做数据工作，也呆过了三家公司了，做过新人也带过新人。经过“被工作的毒打”后，建议大家入职后较好的顺序是先理解业务，多跟业务打交道，对底层数据和业务之间的逻辑关系先大致心里有个谱。然后自己开始梳理业务体系，心里有个框架，一般纯业务的需求都比较平常，基本跳不出体系框架，一哥之前也写过另一篇文章来说业务的重要性《业务重要?还是技术重要?》。
熟悉业务后，开始对接需求。有时候不同业务有时可能会提重复的需求，对于这种需求，要么把代码和计算流程优化好，要么觉得不合理“怼”回去(当然不是硬怼哈，我们有业务满意度考核……)，要么你就得开始研究下，看可不可以在平台上做成固化的数据产品。比较特别的，尤其是探索性的分析项目，是可以接受稍长一些时间的，中间可以和业务做探讨。
业务是可以分门别类的，最好可以自己梳理好，做好一些好的小工具。不过只接提数需求确实没啥意思，慢慢对业务熟悉了，就可以参与业务流程的制定，也可以自己给自己提的业务问题做数据分析(瞎折腾)才是真好玩。
“提数神器”的重要性
有时候确实没办法拒绝业务部门需求，各种姿势各种要求,由于有绩效这座大山，提高自己的效率来应对层出不穷的需求可谓最好的方法，同时提数的过程也有助于加强业务理解(熟能生巧嘛)。
正所谓你有政策我有对策，好的方法和工具往往能高效完成工作以免不必要的加班，在这列举几个常用的提数加工神器：
Excel熟练数据透视表，Vlookup等常见公式,不要瞧不起Excel，有时候它的效率确实挺高的。
针对业务部门需求固定格式的数据或者报表，可用Excel将模版写好备用，有新数据需求时直接复制套入，即刻完成。
Sql数据人必备语言，针对业务定时需求的数据或者报表，可以用类似navicat的定时功能，提前将查询语句写好排版，软件会在指定时间将结果文档推送至邮箱。
Pythonpython的numpy,pandas,matplot是数据分析三个神器 。python可以直连数据库，连接Hive，连接Spark(好像没有它不能连的……)。也可以导入现有数据，只需提前将数据处理语句写好，需要的时候应用就行，一劳永逸。
shell前几天有同学问shell除了执行部署的jar包，还能做什么?那么你一定不知道awk、sed有多强大。曾经用shell脚本写过上千行的数据处理脚本，离开公司4年了，听说还在用呢!
每天一个shell命令，赶紧学起来吧!
 （编辑：四平站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |