作者:fr
发布时间:2023.8.22
阅读次数:7,587 次浏览
自己2004年毕业后进入公司,今年已经是第16个年头了,我也是数据岗位的老兵,从未离开过数据这个专业,现在回头看,在一个专业领域深耕固然重要,但过犹不及,总是会进入舒适区,从而影响了进步,同时视野会受到限制。
比如我没有做过真正的架构师和程序员,因此对于DevOps的理解也是很肤浅的,云原生这个概念在2年前我都不知道是怎么回事,这对于我未来去做大数据技术创新是一种限制。
有点遗憾的是自己经历少了点,这限制了我的视野,也影响了我的格局。个人的职业发展总是会受到自己的背景和经历所限制,下面就简单讲讲自己在职业发展各个阶段的一些体会。
刚进公司的时候我跟很多人一样冲劲十足,1年时间内成为一名独当一面的取数人员,2年时间内成为一名报表开发人员,再然后成为一名需求管理人员,最后成为一名数据仓库的项目经理,这段经历大概是五年。
取数是做数据的基本技能,报表让你理解了基本的数据表达方法,需求管理提升了业务视野和沟通能力,做数据仓库项目经理让你对于数据平台有了充分的理解,什么ETL、数据建模、数据库、元数据、数据质量管理、数据集市、OLAP、即席查询等等。
很多人没有机会去做这么多类型的数据工作,因此对于数据技术的认知是有缺陷的,而要用数据去驱动业务,并不是靠简单的一个数据技能就可以搞定的。
但接触的多并不代表认识的深,在理解企业的数据方面我是下过苦功夫的,这是最简单的事情,只要你愿意花时间,但很多人好高骛远,连这么简单的事情也不愿意下功夫。
我实习期间把企业的报表指标全部看了遍,然后编写了第一本数据字典,做大数据后,编撰了企业的第一部BOM三域数据字典。
我也不满足于仅会取数,会刨根问底理解清楚数据仓库每张表是怎么来的,经常跑到业务系统的开发人员那里问问源表这个字段是什么意思,知其所以然可以触类旁通,让我取数能力强那么一点点,当然喜欢刨根问底跟以前的学习习惯有点关系。
初出茅庐的成绩靠的往往是以前的惯性,但马上就会进入瓶颈期。
回顾进入公司的第5至第8年,自己的能力基本是停滞的,并不是我主观意愿上不想进步,对于自己知道的不知道的东西,我还是会想办法去提升的,但对于很多东西,我根本不知道自己不知道,我是很难提升的。
可以肯定的是,当时我认为自己干的还行,高看自己一眼是人之天性,就好比每个人都想当然的认为自己的驾车水平在平均值以上一样,可惜的是别人往往不这么看。
更为关键的制约因素也许是:企业数据驱动业务的文化。
换做你,觉得要经历多少次才能领到这些道理,然后找到提升的方法,这些大都还不是技术的问题,解决的办法已经超越了你的认知范围。
你其实不知道自己不知道,如果没点毅力,也许失败了2次就放弃了,根本没有所谓的B选项。然后你就在那呆着吧,这是每个人都会碰到的瓶颈。当然有个好的导师另说,但这又是可遇而不可求的,现在我在团队里持续加强导师制,也有这方面的原因。
有人在硅谷做过统计,人的职业生涯平均最多有2次升职机会,大多死在瓶颈期。
2012年,大数据概念开始井喷,当时社会上每个人都在讨论大数据,公司也开始尝试探索大数据价值运营,由于自己在负责经营分析项目的建设,离数据很近,根据领导要求就开始去接触大数据,没想到这个成了工作的转折点。
2012-2013年自己一直在琢磨O域大数据如何引入、O域大数据的数据质量稽核等问题,记得为了O域数据的引入进行了大量的前期沟通、调研和汇报工作。
有了一点数据后就开始思考大数据如何变现,当时找了很多的国外运营商的变现案例来研究,也写了很多大数据分析报告来论证,那个时候PPT水平也有了提升。
2015年,在业务和技术探索到一定时候,公司认为机会已经成熟,就成立了大数据中心,这是一个集商务、产品和数据于一体的组织,公司希望我们轻装上阵,专注去做大数据价值运营,有了组织的保障,终于有机会大干一场。
新组织意味着新的挑战和机会,大数据中心成立的第一要务当然是归集整个公司的数据,作为数据负责人, 我有机会去重建一套企业级的大数据管理体系,这种机会其实很难得。
很多企业的数据管理做不好是存量包袱太重了,而不是缺乏能力,大家都需要一个机会,我这里列一下这期间做的几个重要事情:
(1)大数据平台的建立,hadoop+MPP+Stream,解决计算存储的问题
(2)BDI交换平台的建立,实现三域数据的梳理和采集,解决数据有无的问题
(3)数据开发管理平台的建立,解决数据开发和开放的问题
(4)数据资产管理体系的建立,解决数据质量的问题
没有端到端重建过一个平台,你对这个平台的理解始终是有限的,而一个大项目的完成总是有那么1-2个人会冒出来,所谓时势造英雄。因此一旦有机会参与公司的重大项目,就要竭尽所能吧,总能从里面学到很多东西。
大数据平台建设完成后,最大的挑战是没人用,恰恰在这个时候,公司为了实现数字化转型,开始启动智慧运营:即以大数据为驱动、大IT平台为支撑、流程优化和管理完善为保障、改进客户体验和价值创造为目标,推进生产运营转型提升。这给我们大数据的推广运营提供了自顶向下的支持。
在运营的过程中,大数据平台的内涵不断丰富,数据中台也慢慢起来了,比如原来的数据开发管理平台体验是很差的,没有人愿意来用,现在则成为了数据中台的一个核心。
在对内运营如火如荼开展的同时,自己除了负责数据管理,也开始神灯大数据产品体系的建设。
产品是数据价值的最好出口,凡是做数据的人都要努力去理解这句话,以前有同事说自己做了99%的数据工作,但临门一脚不是自己的,感觉非常遗憾,一定程度反映了问题。
假如你做了很多取数,就要想想是否可以做些分析和挖掘,做了很多报表,就要想想是否可以做些工具和产品。
道理很简单,如果你创造价值的方式是靠自己的一份时间去换得一份收获,那就是劳碌命,很难规模化创造价值,而如果你将一份时间创造的价值保留下来,则可以让其在7*24小时都能发挥作用,这就是产品能帮到你的地方。
我们做数据的人,整个生涯其实都在探索价值出口,希望将数据变成信息,将信息变成知识,将知识变成智慧,最终产生价值。但有多少人被挡在了信息到知识这个阶段,从来没有过突破
基本就先说这些吧。可以看到,我的职场从取数到报表,从报表到仓库,从仓库到大数据,从大数据到产品和变现,谈不上有什么职业规划,唯一不变的是:保持谦卑、终身学习、做在当下,其它的就交给时代和运气吧。
比如,目前主流的软件——FineDataLink,它小到数据库对接、API对接、行列转换、参数设置,大到任务调度、运维监控、实时数据同步、数据服务API分享,应有尽有,功能很强大。最重要的是,因为这个工具,整个公司的数据架构都可以变得规范。而且它是java编写的,类流程图式的ETL开发模式,上手都很简单:数据对接、任务复用简直都是小case,大大降低了数据开发的门槛。在企业中被关注最多的任务运维,FineDataLink大运维平台,支持文件夹式开发模式,报错任务可一键直达修改,报错优化清晰易懂;通过权限控制,保障系统安全。
数据集成平台产品更多介绍:www.finedatalink.com
上一篇: 大数据数据仓库及数据治理下一篇: 数据仓库建设需求