数据仓库工程师就等于sql工程师?大错特错!一个好的数仓工程师,会的东西是非常非常多的,就拿报表来说,因为每个部门的数据口径都是不一样的,且分析维度也不一样,所以做出一张让所有人都满意的表是非常困难的。
做1张表满足10个需求,和做10个表满足10个需求,效果能一样吗?肯定是不一样的。
虽然一些技术的天花板很低,翻来覆去就是维度表/事实表/主题表,但是商业分析能力和熟悉底表的能力都得非常高,所以很不明白为什么有些人会认为别人是“取数机”。
大家都知道,阿里腾讯这些互联网公司,对于数据是非常看重的,数据库已经不能满足多维分析的要求,所以必须得有数据仓库,数据中台的原理也差不多,只有数仓做的好,最后的报表才能令人满意。
传统企业就不用说了,很多都在进行数字化转型,虽然没有那么高性能多维度的数仓,但是一些报表开发的任务够做好长时间的了,亲身体会。
做报表的或多或少都会遇到这样的问题:加班做出需求,但是别人还觉得你做的不好,甚至很多人都不看了,自己找不到自己的价值。
有个朋友是报表工程师,今年32岁左右从阿里出来的,也负责做部分数仓的工作,公司的报表500张左右,每天的报表查看量也就40张左右,原本以为这样的报表工作很轻松,但干了几天发现需求可真不少。每次业务都是加急处理,啥也不管,一到月末年末,连人都找不到,忙着加班做报表。
本来想找个养老的工作,没想到快和以前一样累了,总之,用一句行内的话来总结这个很不好的现象,就是“
IT集权下的疲于应对,放权下的数据管理混乱”。
报表的价值渐渐被淡化了。但报表人还要垂死之中安慰自己:报表是企业经营的温度计,业务和经营状况,都要靠报表。
其实每个层级的人看报表的价值是不一样的,你要抓住这个点去分析问题,那报表的价值问题将会迎刃而解。比如管理层不会关心你这个表的实现过程,他们的时间很宝贵,更多的是想看见你做的表,就能做出决策指导。
有哪些理想的报表工具?我作为一个这行从业15年的老人了,打心底想减轻每个IT人的负担,想增加每个企业对于数据的重视,而且还不用代码。
在我当初做大数据分析的时候,用的是Excel的数据透视表,但一旦面对大量的数据和复杂表格,根本就搞不定,做出来的可视化也很丑,没什么价值。后来学R和python又比较复杂,于是就想着有没有更加简单、功能强大的工具来代替,于是就找到了FineReport。
这也是我身边的CIO和数据总监们都认可的东西。
(此处已添加小程序,请到今日头条客户端查看)
FineReport的架构先看一下,其实单纯的说它是报表工具,有点大材小用了,它更多的是一种数据管理平台,在这里不仅可以做填报、查询、可视化,它拥有丰富的报表管理体系,这是对改进企业数据架构最好的方法。
我也知道,很多企业以为有了ERP/CRM等就万事大吉了,其实并不是,当你把这些系统的数据接入到FineReport里的时候,你才知道原来的报表可能都是白做了。
不仅是ERP,别的一些数据源类型,如hadoop/oracle/mysql...多达30多种,都可以直接通过JDBC/ODBC接口连接,数据修改一键同步至数据库,不需要手动更改,这点已经方便了很多人。
它的设计模式,也是很多人习惯的Excel,所以上手很快,虽然Excel处理大数据不行,但是你不得不说,只有这样的使用模式,才能让更多人去尝试。想分析数据的话,直接拖拽就行,不用写复杂的函数和VBA。
其实整个过程很简单:
连接数据:包括打开设计器、配置数据源、新建报表、配置私有数据源。
报表设计:包括新建报表、定义数据源、绑定数据列、汇总、格式化报表。
发布和浏览报表:包括预览报表、保存报表、发布报表。
一张表2小时就能搞定,而且分析维度还能更多样。
实际的企业应用中,会碰到非常复杂的需求,比如制作表格前后左右列高、栏宽不一致的不规则报表,复杂的分组汇总表和交叉表,这是FineReport的强项:处理复杂报表。
说完了一些基础功能之后,来说说最能节省人力的一项功能:报表自动化。这里的报表自动化不是说自动生成报表,是指通过一些模块,少做或者不做报表的基础工作。
举个例子,比如说财务3大基础报表之一——资产负债表,FineReport软件内置了资产负债表的模板,里面从指标到公式,从标题到格式,都已经设置好了。用户可以直接往里面填数据,就可以快速生成一份报表,能节省很多时间。
一些公式比如环比、同期比等,都是内置好的,不需要像Excel中那样手动输入。
最后来说说可视化吧,这可能是报表的灵魂,可能很多人都被这样问过吧:
“这个可视化怎么这么丑?能不能让这个图表既大点、又小点?”
“你做的这个可视化有什么用?”
我在上面说了,其实数仓工程师不等于sql、取数,把各种维度表理解透彻是一件非常困难的事情,最后输出的东西自然也就不能让人满意。
FineReport的可视化,不仅包含PC端的,还可以有移动端和大屏,还能与当下最火的钉钉做集成开发,基于webgl等技术开发了大屏图表插件,通过简单拖拽即可实现自动播放、3D动画特效等多种效果。
至于开源的为什么不好?为什么不选择开源的?我相信明白人都应该知道,在B端大数据这个领域,所有的开源都是笑话。
就说这么多吧。
比如,目前主流的软件——finereport,它小到填报、查询、部署、集成,大到可视化大屏、dashboard驾驶舱,应有尽有,功能很强大。最重要的是,因为这个工具,整个公司的数据架构都可以变得规范,下一步就是构建企业的大数据平台了。而且它是java编写的,支持二次开发,类Excel的设计器,无论是IT还是业务,上手都很简单:编辑sql优化、数据集复用简直都是小case,大大降低了报表开发的门槛。在企业中被关注最多的数据安全方面,FineReport支持多人同时开发同一套报表,并通过模板加锁功能防止编辑冲突;通过数据分析权限控制,保障数据安全。
同时还提供
ETL数据集成工具——FineDataLink,在进行报表开发前,统一进行数据处理,提供高质量的数据给到报表使用,统一数据口径,遇到需要调整逻辑的时候统一在ETL数据开发页面进行调整,报表展示数据即可立马跟随展现。