2024年11月29日,Flink Forward Asia 2024 峰会正式拉开帷幕。Flink Forward Asia 是由 Apache 软件基金会官方授权,由阿里云承办的技术峰会。
Apache Flink 的过去、现在、未来
Apache Flink 中文社区发起人、Apache Paimon PMC Member、阿里云开源大数据平台负责人王峰带来了主旨演讲《The Past, Present and Future of Apache Flink》。回望过去十年,Flink 从最初的流处理框架到如今全球范围内流计算的事实标准,经历了多次重要版本迭代和技术革新。目前,Flink 社区在全球的贡献者已有近2000人。
王峰介绍,为了满足大模型应用等新兴场景的需求,阿里云正在主导推进 Flink2.0 的研发,将全方位提升 Flink 的性能和功能易用性,例如将采用全新的存算分离架构、深度融合湖仓架构等。这是2016年 Flink 1.0发 布以来最大规模的更新,该版本将于2025年正式发布。王峰表示:“从使用者,到社区最大的贡献者,阿里巴巴将持续推动 Flink 技术生态的繁荣,让 Flink 普惠千行百业企业。”
Apache Flink 2.0:面向未来十年的流计算引擎
Apache Flink PMC 成员宋辛童、梅源、李麟三位专家详细介绍了即将发布的 Flink 2.0 版本。为应对大数据实时计算在近年来云原生、数据湖、AI 等技术趋势下面临的新挑战,Flink 将在 2.0 版本中进行重大技术架构升级与革新,包括存算分离的状态存储与管理、流批一体、SQL Materialized Table、与 Apache Paimon 深度集成的流式湖仓架构、以及在 SQL 中原生支持 AI 模型调用等。
Paimon 1.0:大数据+AI一体化湖存储引擎
Apache Paimon PMC 主席、Apache Flink PMC 成员李劲松分享了基于 Paimon + Flink 实现的数据湖解决方案。李劲松介绍,目前企业内大数据从业者有三个难题:如何在降本的大环境下让数据变得更实时、框架存储多难维护成本高、大数据和 AI 的结合。应对这些难题,Flink + Paimon 打造流式湖仓架构,可以实现低成本离线数据加速、面向流、批、OLAP 构建流批一体架构、并让湖仓成为 AI 的基础架构。
淘天集团、抖音集团、vivo等行业嘉宾分享了基于 Flink + Paimon 架构实现实时湖仓一体的产业实践,并分享了在时效性提升、计算存储成本优化、流批一体开发效率提升等方面的具体实现路径。
Fluss:面向实时分析的下一代流存储引擎
在本次大会上,阿里巴巴正式开源了新一代流存储引擎 Fluss (项目地址:https://github.com/alibaba/fluss)。
Apache Flink PMC成员伍翀介绍,Fluss 创新性地将列存格式和实时更新能力融合进了流存储中,并与 Flink 深度集成,帮助用户构建高吞吐量、低延迟、低成本的流式数仓。Fluss 具备实时读写、列式裁剪、流式更新、CDC订阅、实时点查、湖流一体等核心特性。
圆桌:AI 时代下大数据技术未来路在何方?
在圆桌讨论环节中,哈啰集团大数据总监云襄、喜马拉雅数据平台部负责人陈叶超、阿里云智能开源大数据平台负责人王峰、阿里云人工智能平台PAI产品负责人黄博远几位行业领袖展开了深入交流,共同探AI的落地场景、AI如何为大数据业务提升效率和效果、以及如何构建大数据基础设施来更好的构建AI应用。
4000520066 欢迎批评指正
All Rights Reserved 新浪公司 版权所有