行业资讯

AI news by Smartone AI

基于SQL的批流一体化ETL

转载本文需注明出处:微信公众号EAWorld,违者必究。本文介绍了 SparkSQL 和 Flink 对于批流支持的特性以及批流一体化支持框架的难点。在介绍批流一体化实现的同时,重点分析了基于普元 SparkSQL-Flow 框架对批流支持的一种实现方式

基于XML描述的可编程函数式ETL实现

转载本文需注明出处:微信公众号EAWorld,违者必究。引言:传统 ETL 主要以 SQL 为主要技术手段,把数据经抽取、清洗转换之后加载到数据仓库。但是在如今移动互联网大力发展的场景下,产生大量碎片化和不规则的数据