|
|
51CTO旗下网站
|
|
移动端
创建专栏

Flink被收购意味着什么

从早年Storm和Lambda架构的不成熟的流系统,到现在异常成熟的Flink倡导的批处理就是流处理,增量处理就是全量处理,流处理技术在这几年内的发展是长足和惊人的。Flink作为其中的佼佼者,影响力是毋庸置疑的。

作者:徐飞|2019-01-09 16:39

阿里巴巴收购Flink的母公司Data Artisans的新闻重磅!阿里9000万欧元收购Flink母公司Data Artisans昨天发布了。

这个并不是一件令人吃惊的事情。2018年8月开完VLDB从巴西回来之后,诸多迹象就表明不远的未来阿里巴巴收购Data Artisans会发生了。

之所以没有公开说,主要是怕惹麻烦。万一摊上一个造谣或者盗取商业机密之类的,我可能就要浪费不少时间了。犯不着。过去半年我公众号有关Flink的文章不少,尤其是技术类的文章,主要就是Flink的分析了。

从技术上讲,这几年流处理系统的理论基础和现实框架都逐渐成熟了。这里我推荐有兴趣的人去阅读谷歌流引擎MillWheel团队的人写的书:Streaming Systems。书里对最近几年的流技术,包括开源主流框架Apache Flink和Spark Streaming都有很好的介绍。书里也解释了批处理和流处理等价的理论问题,以及流处理是如何实现类似传统数据库通过日志文件进行故障恢复的故障恢复机制。这些Flink里都有实现。

总而言之,从早年Storm和Lambda架构的不成熟的流系统,到现在异常成熟的Flink倡导的批处理就是流处理,增量处理就是全量处理,流处理技术在这几年内的发展是长足和惊人的。Flink作为其中的佼佼者,影响力是毋庸置疑的。

接下来就是Blink和Flink的合并问题了。面对控股的阿里巴巴,Blink和Flink在Apache框架下怎么合并,是一件值得期待的精彩事情。Apache的PMC member一票否决机制,更是非常考验阿里巴巴开源社区生态玩法的能力。

撇开技术层面来看,非技术层面主要是看已经占据了美国,背靠微软等大企业的DataBricks的Spark和背靠阿里巴巴的Flink如何在国际舞台上展开竞争了。这个竞争会是一个对未来几年大数据技术有深远影响的事件。中国大市场上未来到底是Flink还是Spark更是一件值得关注的事情。

关于这个事情的可能的几种结局,我多少有自己的一些想法。但是作为一个局外人,我也不敢说能看得多清楚。所以我也就不在公开场合多展开说了。无论如何,未来一段时间的流处理市场,会精彩纷呈,非常的值得期待。

【本文为51CTO专栏作者“徐飞”的原创稿件,转载请通过作者微信公众号“飞总聊IT”获取联系和授权】

戳这里,看该作者更多好文

【编辑推荐】

  1. Apache Flink 漫谈系列(11) - Temporal Table JOIN
  2. 阿里巴巴的大数据之路:JStorm与Blink的发展史
  3. Apache Flink 漫谈系列(12) - Time Interval(Time-windowed) JOIN
  4. 为什么阿里巴巴要求程序员谨慎修改serialVersionUID 字段的值
  5. Apache Flink 漫谈系列(13) - Table API 概述
【责任编辑:武晓燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢