揭秘数据工程师——数据工程师到底做什么?

“我的工作首先是考虑谁会使用这些数据, 然后逆向计算出它需要什么样的形状.

z hlke公司的数据工程师Charlie Roadnight是这样描述他的工作的. 其核心是, 这个角色需要构建和维护数据生态系统, 但这包含了一系列不同的方面——它比表面上看起来更有层次. 在本文中, 我们采访了三位z hlke公司的数据工程师，了解他们的工作, 他们喜欢自己工作的地方, 以及未来的人才如何走上这一职业的轨道.

. .

数据工程师是做什么的?

企业和组织一直在收集数据——从你买的东西, 到你点击网站的地方, 如何以及何时使用应用程序. 但仅仅收集信息只是开始. 如果你想用它来发现新的商业机会, 它必须以一种允许正确访问和分析的方式存储-这就是数据工程师的作用. 他们是整合数据的专家，使其符合其目的, 或者用查理的话说, “从A到B获取数据，并确保它在另一边有用.”

z hlke的数据工程师将十大正规博彩网站评级一个由来自不同领域的人组成的团队, 从软件工程师到业务分析师，共同研究如何收集和呈现特定项目的数据. 然后，他们建立一个系统，从客户端提取数据，然后将其打包，以便团队可以使用它. 它要求他们理解数据描述了什么以及它将如何被使用, 因此，他们与主题专家和其他技术专家一起解决问题，并为手头的工作设计最佳解决方案.

成为一名数据工程师需要具备哪些技能?

数据工程师需要掌握一些不同的技能，其中之一就是精通编码. 你需要熟练地使用Python或Java这样的语言, 了解SQL, 这样你就可以操作数据本身了. 统计学的基本知识也很重要. 你必须能够退后一步，只见树木，只见树木. “当我们得到数据时，它是没有意义的，”z hlke团队的另一名成员米利亚姆·瑟施解释说. “我们用它做的事情增加了我们的同事和客户的相关性.”

一旦你掌握了编码和统计方面的技术, 数据工程师的补充能力包括一系列软技能, 喜欢沟通和协作. 那是因为在这个角色中，你很少孤立地工作. 查理解释说:“实际上，一个人坐着编程的时间并不像你想象的那么多。. “更重要的是与团队中不同的人互动，共同解决问题,他说.

再加上对软技能的强调, Suleiman Deni强调了在研究和解决问题方面的优势. “这个领域不像软件工程那样存在了30年, 所以我们做了很多研究——你不可能打开一本书就找到答案,他说. 当米利亚姆提到灵活性的必要性时，她也以此为基础. 数据工程从来都不是静态的，因为客户和用户的需求一直在变化. “我在这个项目中使用的解决方案可能不适用于下一个项目, 而且科技发展很快，所以我现在做的事情可能几年后就会过时. 所以，我认为你必须跟上时代，保持好奇心.她总结道。.

给有抱负的数据工程师的建议

三位团队成员得出结论，这是一种你只需要感受一下的职业. Charlie建议给自己设定一个挑战，比如利用机器学习和数据科学社区的资源生成一个可供分析的数据集 Kaggle 要做到这一点. 理想情况下，您希望处理需要清理和验证的数据, 所以你也可以练习这些技能. “如果你能找到缺失的东西, 或者在这个过程中什么更容易, 那么你就很适合成为一名数据工程师,他解释道. 其中很大一部分是全球最大的博彩平台如何适应处理数据. 米利亚姆指出:“很多人在面对大量数据时都会惊慌失措. “这看起来很可怕，但当你学会处理它时, 你要想办法赋予它意义, 这就是我喜欢的,她总结道。.

当被问及在数据工程领域工作的最佳方式时, 这三位z hlke团队成员强调了培养你解决问题的能力和合作能力的必要性，就像培养你的技术能力一样. 这是Suleiman总结的, 他说:“拥有特定技能和成为数据工程师是有区别的.他的建议是，要进入这个领域，首先要掌握数据的基本原理, 而不是从学习如何使用工具开始. 他提到浏览子reddit DataIsBeautiful 和 DataEngineering，或收听资源，如 数据工程播客 或者是 分析工程播客，作为开始的几个地方.

总之

当与数据工程师交谈时，一个经常出现的主题是解决问题. 这个角色与特定的工具或技术能力无关，因为这些都可能随着时间的推移而改变. 这就是为什么我们将10%的营业额投入到z hlke的持续学习发展中——我们希望员工在他们的职业生涯中不断发展他们的技能.

最终, 数据工程师的日常工作就是确保在正确的位置存储和访问正确的数据, 将行和列的数字转化为人们可以在他们的项目和产品中分析和使用的东西. 这就是为什么z hlke的团队能够为客户和最终用户做出惊人的事情.

如果我们的数据工程师所描述的解决问题的方式吸引了您, 浏览我们的空缺职位，找到适合z hlke的职位.

简而言之:

• 数据工程师的工作是组织数据，并使更广泛的团队可以访问数据, 包括数据科学家和商业分析师.
• 这个角色需要技术和分析技能, 要求个人解决问题，并提出创新的数据管理解决方案.
• 要想知道数据工程这个职业是否适合你，最好的方法就是亲自动手(打个比方)。, 亲自尝试数据项目，并在线与数据工程社区联系.