1.PyFlink + Sklearn实现流式数据的阿里阿里机器学习预测
2.聊聊日志硬扫描，阿里 Log Scan 的阿里阿里设计与实践
3.自从flink成熟之后,spark是否慢慢成为鸡肋?
4.Flink Sink的反压优化（Sink异步化）
5.阿里巴巴是用的什么服务器阿里巴巴是用的什么服务器的
6.阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践
PyFlink + Sklearn实现流式数据的机器学习预测
本文旨在介绍如何结合PyFlink与Sklearn实现流式数据的机器学习预测，以实现数据实时分析与预测。阿里阿里通过借鉴阿里批流一体机器学习框架Alink的阿里阿里思路，本文将详细解释实现过程与代码实现，阿里阿里旨在简化机器学习在流式数据环境中的阿里阿里noi 2017 源码应用。 为了实现这一目标，阿里阿里我们采用以下步骤： 首先，阿里阿里确保模型已训练完成并保存，阿里阿里此为后续预测的阿里阿里基础。 接下来，阿里阿里创建Flink流式数据环境，阿里阿里搭建基础框架。阿里阿里 随后，阿里阿里配置Kafka数据源，阿里阿里通过Kafka接收实时流式数据。 接着，加载已保存的模型，并定义自定义函数（UDF）用于数据预测。 最后，执行预测操作，实时处理流式数据并输出预测结果。 为了更直观地展示这一过程，我们准备了两个关键代码文件： 模型保存代码（model.py） 这部分代码主要负责保存训练好的模型，确保在需要时能够快速调用，实现预测功能。 流式数据预测代码（stream_predict.py） 此文件集成了前文所述的步骤，通过Flink处理Kafka数据源中的实时数据，实现预测功能，同时将结果输出。 通过整合上述代码与步骤，我们成功地在流式数据环境中部署了机器学习预测模型，实现了数据的实时分析与预测，为业务决策提供了有力支持。聊聊日志硬扫描，阿里 Log Scan 的设计与实践
随着大数据的快速增长，日志作为关键组成部分，其数据量持续攀升，同时业务需求对日志处理的时效性和复杂性提出了新要求。日志计算引擎根据应用场景的发展，从数仓的 T+1 处理到实时分析的 Flink 等流处理引擎，都在追求更快的响应速度。
Schema-on-read 技术的崛起，使得原本被认为性能较差的日志 Scan 模式如今有了显著提升。它在处理非结构化日志时，无需繁琐的同花顺神奇公式源码前期规划，适用于数据湖和日志搜索等场景。比如阿里云的日志服务 SLS，作为国内领先的日志处理平台，凭借高性能索引技术，为亿级数据提供了秒查能力，兼顾成本和效率。
SLS 在设计上兼顾了传统日志系统的优点，如ELK的搜索分析能力，以及新兴系统的灵活性，特别是对于日志搜索场景，SLS推出了Scan功能，解决未索引字段的搜索问题，降低索引建设和存储成本，特别适合弱 schema 的日志数据处理。此外，SLS通过索引与事件时间模型结合，提供高效的性能和便利的查询体验。
在存储和计算方面，SLS将Logstore分为不同的规格，如Query Logstore的高效搜索和Standard Logstore的统计分析，同时支持冷热分层，以满足不同场景下的性能需求。Scan功能在日志分析中扮演着关键角色，通过时间过滤和业务字段索引选择，缩小搜索范围，减少扫描费用和响应延迟。
在查询能力上，Scan功能支持更丰富的算子，提供分页和交互式体验，避免了资源浪费。同时，SLS的费用模型根据扫描计算的消耗进行计费，对于写多读少的场景更为经济。然而，Scan并非万能，需要根据具体需求进行合理使用，权衡功能、费用和性能之间的平衡。
在实践中，SLS的Scan功能对于日志grep上云场景和写多查少的场景具有明显的优势，能够有效降低运维成本。对于不定 schema 的日志，SLS提供了灵活的解决方案，建议根据实际日志变化情况选择最合适的处理方法。
自从flink成熟之后,静态论坛模板源码spark是否慢慢成为鸡肋?
在大数据计算引擎的演进历程中，从最初Hadoop的流行，到Spark的崛起，再到Flink的成熟，每一步都承载着技术的革新与历史的进程。个人成长与技术迭代相互交织，见证了从学术研究到企业实践的转变。
初窥大千世界，从在校生到Apache Flink社区的committer，这段旅程充满了挑战与机遇。在Hadoop的热潮中，从基础的HDFS小文件存储优化到深度学习库Marlin的开发，见证了一个技术领域的兴衰与更迭。
Spark的迅速崛起，以其强大的易用性吸引了大量开发者。在微软的工作经历中，Spark基于micro-batch的实时计算能力得到了广泛认可。在阿里巴巴，从Blink的引入到Flink的深度融合，见证了实时计算领域的技术创新与应用实践。
流批一体的计算引擎，将批处理与流处理统一于一个系统，带来了代码复用、开发效率提升与业务灵活性的显著改善。Flink作为实时计算的领导者，通过重构与优化，已具备与传统批处理引擎相媲美的性能，实现了低延迟的数据处理。
如今，Flink在shuffle能力、复杂SQL解析、Hive兼容性、易用性以及执行性能等方面取得了显著进步。与Spark等竞品相比，Flink在批处理场景下展现出更强的竞争力，特别是在推测执行机制与性能优化方面。
随着Flink社区的发展与成熟，推动流批一体计算引擎的大规模落地已经成为可能。业界已有大量企业，如阿里、字节、蚂蚁、快手、虾皮等，部署了数千乃至数万级别的Flink批处理作业。这不仅是菠菜最新源码技术实力的体现，更是生态建设与合作的成果。
面向未来，Flink社区正积极行动，通过Flink Sync Google Group等平台，定期举行交流会，探讨与规划Flink批处理的未来方向。这不仅是一次技术的集结，更是对流批一体计算引擎落地的呼唤与实践。
Flink Sink的反压优化（Sink异步化）
在Flink项目中，我们面临一个场景，即从阿里SLS接收监控指标并进行清洗，然后写入TSDB。起初运行平稳，但在指标数量增加后，发现SLS消费存在延迟问题。因此，我们着手优化Sink的异步处理。
问题的起因和定位涉及到了Sink的同步写入策略。原设计中，每接收到一条数据，Sink就立即同步调用TSDB接口，导致性能受限。为提升效率，我们需要将Sink的处理逻辑转变为异步模式。
异步优化的关键在于引入一个比喻，就像组织会议：首先确定参会者，只有当所有人都到位（即await()方法调用完成）时，会议才能开始。在Flink中，我们通过设置一个栅栏计数器来模拟这个过程，当处理任务（SinkTaskProcessor）完成一个数据写入请求，计数器减一，直到所有任务完成，数据才会被真正写入TSDB。
SinkTaskProcessor是用户必须实现的接口，负责处理数据写入。而AbstractAsyncRichSinkFunction作为抽象类，继承了RichSinkFunction并实现了CheckpointedFunction。AsyncSinkTaskRunnable则是提交到线程池的任务，它负责从数据缓存队列中取出数据，并交给SinkTaskProcessor处理，同时设置了ms的超时防止阻塞。
源代码位于cn.sh.flink.learning.sink.async包下的SlowlyRickSinkTestFunction，这是一个模拟处理耗时任务的类，真正的全民闯天下源码数据处理工作由SinkTaskProcessor负责。我们鼓励大家试用并提供反馈，如果发现任何问题或有改进意见，欢迎通过私信或issue进行交流。
阿里巴巴是用的什么服务器阿里巴巴是用的什么服务器的
转载：阿里巴巴选择ApacheFlink的原因是什么？本文主要根据阿里巴巴计算平台事业部高级技术专家莫问在云起大会上的演讲进行整理。一棵小树苗逐渐长成参天大树；一颗小小的橡实可能长成参天大树。随着人工智能时代的到来和数据量的爆炸式增长，典型的大数据业务场景中，常见的数据处理方式是使用批处理技术处理全量数据和流计算处理实时增量数据。在大多数业务场景中，用户的业务逻辑在批处理和流处理中往往是相同的。然而，用户用于批处理和流处理的两套计算引擎是不同的。因此，用户通常需要编写两套代码。这无疑带来了一些额外的负担和成本。阿里巴巴的商品数据处理往往需要面对增量和全量两种不同的业务流程，因此，阿里在思考，是否可以有一个统一的大数据引擎技术，用户只需要根据自己的业务逻辑开发一套代码就可以广泛应用了。在这样不同的场景下，无论是全数据还是增量数据，还是实时处理，都可以有一套完整的解决方案支持，这也是阿里选择Flink的背景和初衷。目前开源的大数据计算引擎有很多选择，如Storm、Samza、Flink、KafkaStream等。以及Spark、Hive、Pig、Flink等批量处理。但是同时支持流处理和批处理的计算引擎只有两个选择：一个是ApacheSpark，一个是ApacheFlink。从技术、生态等多方面综合考虑，阿里最终决定将Flink作为统一通用的大数据引擎作为未来的选择。Flink是一个统一的大数据计算引擎，具有低延迟、高吞吐量。在阿里巴巴的生产环境中，Flink的计算平台每秒可以处理数亿条消息或事件，延迟为毫秒级。同时，Flink提供了一次性的一致性语义。保证了数据的正确性。这样，Flink大数据引擎就可以提供金融数据处理能力。弗林克在阿里的现状基于ApacheFlink在阿里巴巴搭建的平台于年正式上线，从阿里巴巴的搜索和推荐两个场景实现。目前，包括阿里巴巴所有子公司在内的所有阿里巴巴业务都采用了基于Flink的实时计算平台。同时，Flink计算平台运行在开源的Hadoop集群上。Hadoop的YARN作为资源管理调度，HDFS作为数据存储。所以Flink可以和开源大数据软件Hadoop无缝对接。目前，这个基于Flink的实时计算平台不仅服务于阿里巴巴集团，还通过阿里云的云产品API向整个开发者生态系统提供基于Flink的云产品支持。Flink在阿里巴巴的大规模应用表现如何？规模:一个系统是否成熟，规模是一个重要的指标。Flink最初推出阿里巴巴只有几百台服务器，现在已经达到上万台服务器，在全球屈指可数；状态数据:基于Flink，内部积累的状态数据已经是PB规模；事件:如今，每天在Flink的计算平台上处理的数据超过万亿条；PS:高峰期每秒可承担超过4.亿次访问，最典型的应用场景是阿里巴巴双的大屏；弗蚂巧如林克的发展之路接下来，从开源技术的角度，我们来谈谈ApacheFlink是如何诞生，如何成长的。而阿里又是如何在这个成长的关键时刻进来的？你对它做过哪些贡献和支持？Flink诞生于欧洲大数据研究项目Streaming。这个项目是柏林工业大学的一个研究项目。早期，Flink做的是批量计算，但年，Streaming的核心成员孵化了Flink，同年将Flink捐赠给Apache，后来成为Apache最顶尖的大数据项目。同时，Flink计算的主流方向被定位为流式，即使用流式计算来计算所有的大数据。这就是Flink技术诞生的背景。年，Flink作为专注于流计算的大数据引擎，开始在开源大数据行业崭露头角。不同于Storm、SparkStreaming等流计算引擎，它不仅是一个高吞吐量、低延迟的计算引擎，还提供了许多高级功能。比如提供有状态计算，支持状态管理，支持数据语义的强一致性，支持事件时间，水印处理消息无序。Flink核心概念和基本概念Flink区别于其他流计算引擎的地方其实是状态管理。什么是状态？比如开发一套流量计算系统或者任务做数据处理，可能经常需要对数据做统计，比如Sum，Count，Min，Max，这些值都需要存储。因为它们是不断更新的，所以这些值或变量可以理解为一种状态。如果数据源正在读取Kafka，RocketMQ，可能需要记录读取的位置并记录偏移量。这些偏移变量是要计算的状态。Flink提供了内置的状态管理，可以将这些状态存储在Flink内部，而不需要存储在外部系统中。这样做有以下优点:第一，减少了计算引擎对外部系统的依赖和部署，运维更简单；其次，在性能上有了很大的提升:如果是通过外部访问，比如Redis，HBase必须通过网络和RPC访问。如果Flink在内部访问这些变量，它只通过自己的进程访问这些变量。同时，Flink会定期让这些状态的检查点持久化，并将检查点存储在分布式持久化系统中，比如HDFS。这样，当Flink的任务出错时，它会从最新的检查点恢复整个流的状态，然后继续运行它的流处理。对用户没有数据影响。Flink如何保证在检查点恢复的过程中没有数据丢失或重复？要保证计算准确，原因是Flink使用了一套经典的Chandy-Lamport算法，其核心思想是将这种流计算视为一种流拓扑，在这种拓扑的头部有规律地插入来自源点的特殊屏障，并将屏障从上游广播到下游。当每个节点接收到所有栅栏时，它将拍摄状态快照。每个节点完成快照后，整个拓扑将被视为一个完整的检查点。接下来，无论发生什么故障，都会从最近的检查点恢复。Flink使用这种经典算法来确保语义的强一致性。这也是Flink与其他无状态流计算引擎的核心区别。以下是Flink解决无序问题的方法。比如星球大战的序列，如果按照上映时间来看，可能会发现故事在跳跃。在流量计算上，和这个例子很像。所有消息的到达时间与源在线系统日志中实际发生的时间不一致。在流处理的过程中，希望消息按照它们在源端实际发生的顺序进行处理，而不是按照它们实际到达程序的时间。Flink提供了一些先进的事件时间和水印技术来解决乱序问题。以便用户可以有序地处理该消息。这是Flink的一个非常重要的特点。接下来介绍一下Flink起步时的核心概念和理念，这是Flink发展的第一阶段；第二阶段是年和年。这个阶段也是Flink发展和阿里巴巴介入的时候。故事源于年年中我们在搜索事业部做的一项调查。当时阿里有自己的批处理技术和流计算技术，既有自研的，也有开源的。但是，为了思考下一代大数据引擎的方向和未来趋势，我们对新技术做了大量的研究。结合大量的研究成果，我们最终得出结论，解决一般大数据计算需求，整合批量流的计算引擎是大数据技术的发展方向，最终我们选择了Flink。但年的Flink还不够成熟，规模和稳定性都没有达到实践的程度。最后我们决定在阿里成立Flink分公司，对Flink进行大量的修改和改进，以适应阿里巴巴的超大型业务场景。在这个过程中，我们团队不仅改进和优化了Flink的性能和稳定性，还在核心架构和功能上做了大量的创新和改进，并贡献给了社区，比如:Flink全新的分布式架构、增量式检查点机制、基于信用的网络流量控制机制和流式SQL。阿里巴巴对Flink社区的贡献我们来看两个设计案例。第一个是阿里巴巴重构了Flink的分布式架构，对Flink的作业调度和资源管理做了明确的分层和解耦。这样做的第一个好处是Flink可以在各种开源资源管理器上本地运行。这种分布式架构改进后，Flink可以原生运行在HadoopYarn和Kubernetes这两种最常见的资源管理系统上。同时将Flink的任务调度由集中式调度改为分布式调度，使Flink可以支持更大的集群，获得更好的资源隔离。另一个是实现增量检查点机制，因为Flink提供了有状态计算和规则检查点机制。如果内部数据越来越多，检查点就会越来越大，最终可能导致做不下去。提供增量检查点后，Flink会自动找出哪些数据是增量更改的，哪些数据是修改的。同时，只有这些修改过的数据被持久化。这样检查点就不会随着时间的运行越来越难，整个系统的性能也会非常稳定，这也是我们贡献给社区的一个非常重要的特性。经过-年对Flink流媒体能力的提升，Flink社区逐渐走向成熟。Flink也成为了流媒体领域最主流的计算引擎。因为Flink最开始是想做一个统一流式、批量处理的大数据引擎，这个工作在年就已经开始了。为了实现这一目标，阿里巴巴提出了新的统一API架构和统一SQL解决方案。同时，在流式计算的各种功能得到改进后，我们认为批量计算也需要各种改进。无论在任务调度层还是数据洗牌层，在容错性和易用性方面都有很多工作需要改进。究其原因，这里有两个要点与大家分享:●统一的API堆栈●统一的SQL方案我们来看看FlinkAPI栈的现状。研究过Flink或者用过Flink的开发者应该知道。Flink有两个基本的API，一个是数据流，一个是数据集。数据流API提供给流用户，数据集API提供给批量用户，但是这两个API的执行路径完全不同，甚至需要生成不同的任务来执行。所以这和统一API是冲突的，这也是不完善的，
阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践
阿里妈妈的Dolphin智能计算引擎是广告营销计算的强大支撑，它基于Flink和Hologres的实践，为百万广告主提供了实时交互式人群分析和广告效果评估的高效解决方案。Dolphin引擎集成了OLAP、实时、离线及AI计算功能，支持万相台、直通车等营销产品，其强大的性能体现在每秒可处理百亿级数据，支持PB级数据存储，并能满足每日数亿次请求和高QPS需求。
Dolphin引擎的核心在于解决大规模广告场景下的性能瓶颈，特别在处理涉及多表Join、万亿级数据规模的复杂查询时，通过与Hologres的Bitmap计算方案结合，实现了超大规模OLAP计算的高性能和低延迟，确保了广告投放的精准性。同时，Dolphin Streaming平台通过封装Flink和Hologres，简化了实时开发过程，降低了不同岗位用户的入门门槛，极大提升了开发效率。
实战案例中，Dolphin支持实时营销推荐，通过Flink和Hologres优化了广告主的推广策略，以及向量召回计算，借助Hologres的向量功能简化了Lookalike算法流程。未来，Dolphin将继续朝着智能化和一体化方向发展，为广告主提供更优质的营销数据分析服务。
