+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
v1.6
-
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
- Home + + + + + + + + + + + + +
- Concepts + + + + + + + + + + + + + + + + + + +
-
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
- Programming Model + + + + + + + + + + + + + + + + + +
- Distributed Runtime + + + + + + + +
- Quickstart + + + + + + + + + + + + + + + + + + + + +
- Examples + + + + + + + + + + + + + + +
-
+
- Overview + + + + + + + + + + + + + + + + + + + + + + + +
- Monitoring Wikipedia Edits + + + + + + + + + + + + + + + + +
- Batch Examples + + + + + + + +
+ + + + + + + + - Project Setup + + + + + + + + + + + + + + + + + + + + + + +
-
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
- Project Template for Java + + + + + + + + + + + + + + + + +
- Project Template for Scala + + + + + + + + + + + + + + + + +
- Configuring Dependencies, Connectors, Libraries + + + + + + + + + + + + + + + + +
- IDE Setup + + + + + + + + + + + + + + + + +
- Scala REPL + + + + + + + + + + + + + + + + +
- Running Flink on Windows + + + + + + + + + + + + + + + + +
- Building Flink from Source + + + + + + + +
- Application Development + + + + + + + + + + + + + + + + + + + + + + +
-
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
- Basic API Concepts + + + + + + + + + + + + + + + + + + + + + + +
-
+
- Overview + + + + + + + + + + + + + + + + + + + + + + + +
- Scala API Extensions + + + + + + + + + + + + + + + + +
- Java Lambda Expressions + + + + + + + +
- Streaming (DataStream API) + + + + + + + + + + + + + + + + + + + + + + +
-
+
- Overview + + + + + + + + + + + + + + + + + + + + + + + + + + + +
- Event Time + + + + + + + + + + + + + + + + + + + + + + +
-
+
- Overview + + + + + + + + + + + + + + + + + + + + + + + +
- Generating Timestamps / Watermarks + + + + + + + + + + + + + + + + +
- Pre-defined Timestamp Extractors / Watermark Emitters + + + + + + + +
- State & Fault Tolerance + + + + + + + + + + + + + + + + + + + + + + +
-
+
- Overview + + + + + + + + + + + + + + + + + + + + + + + +
- Working with State + + + + + + + + + + + + + + + + +
- The Broadcast State Pattern + + + + + + + + + + + + + + + + +
- Checkpointing + + + + + + + + + + + + + + + + +
- Queryable State + + + + + + + + + + + + + + + + +
- State Backends + + + + + + + + + + + + + + + + +
- Custom Serialization + + + + + + + +
- Operators + + + + + + + + + + + + + + + + + + + + + + +
-
+
- Overview + + + + + + + + + + + + + + + + + + + + + + + + + +
- Windows + + + + + + + + + + + + + + + + + + + +
- Joining + + + + + + + + + + + + + + + + + +
- Process Function + + + + + + + + + + + + + + + + +
- Async I/O + + + + + + + +
- Connectors + + + + + + + + + + + + + + + + + + +
-
+
- Overview + + + + + + + + + + + + + + + + + + + + + + + +
- Fault Tolerance Guarantees + + + + + + + + + + + + + + + + +
- Kafka + + + + + + + + + + + + + + + + +
- Cassandra + + + + + + + + + + + + + + + + +
- Kinesis + + + + + + + + + + + + + + + + +
- Elasticsearch + + + + + + + + + + + + + + + + +
- Rolling File Sink + + + + + + + + + + + + + + + + +
- Streaming File Sink + + + + + + + + + + + + + + + + +
- RabbitMQ + + + + + + + + + + + + + + + + +
- NiFi + + + + + + + + + + + + + + + + +
- Side Outputs + + + + + + + + + + + + + + + + +
- Python API + + + + + + + + + + + + + + + + + + +
- Testing + + + + + + + + + + + + + + + + + + + +
- Experimental Features + + + + + + + + +
- Batch (DataSet API) + + + + + + + + + + + + + + + + + + + + + + +
-
+
- Overview + + + + + + + + + + + + + + + + + + + + + + + +
- Transformations + + + + + + + + + + + + + + + + +
- Fault Tolerance + + + + + + + + + + + + + + + + +
- Iterations + + + + + + + + + + + + + + + + +
- Zipping Elements + + + + + + + + + + + + + + + + +
- Connectors + + + + + + + + + + + + + + + + +
- Python API + + + + + + + + + + + + + + + + +
- Hadoop Compatibility + + + + + + + + + + + + + + + + +
- Local Execution + + + + + + + + + + + + + + + + +
- Cluster Execution + + + + + + + +
- Table API & SQL + + + + + + + + + + + + + + + + + + + + + + +
-
+
- Overview + + + + + + + + + + + + + + + + + + + + + + + +
- Concepts & Common API + + + + + + + + + + + + + + + + +
- Streaming Concepts + + + + + + + + + + + + + + + + +
- Connect to External Systems + + + + + + + + + + + + + + + + +
- Table API + + + + + + + + + + + + + + + + +
- SQL + + + + + + + + + + + + + + + + +
- User-defined Sources & Sinks + + + + + + + + + + + + + + + + +
- User-defined Functions + + + + + + + + + + + + + + + + +
- SQL Client + + + + + + + +
- Data Types & Serialization + + + + + + + + + + + + + + + + + + + + + + +
-
+
- Overview + + + + + + + + + + + + + + + + + + + + + + + +
- Custom Serializers + + + + + + + +
- Managing Execution + + + + + + + + + + + + + + + + + + + + + + +
-
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
- Execution Configuration + + + + + + + + + + + + + + + + +
- Program Packaging + + + + + + + + + + + + + + + + +
- Parallel Execution + + + + + + + + + + + + + + + + +
- Execution Plans + + + + + + + + + + + + + + + + +
- Restart Strategies + + + + + + + +
- Libraries + + + + + + + + + + + + + + + + + + +
-
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
- Event Processing (CEP) + + + + + + + + + + + + + + + + +
- Storm Compatibility + + + + + + + + + + + + + + + + + + + + +
- Graphs: Gelly + + + + + + + + + + + + + + + + + + + + + + +
-
+
- Overview + + + + + + + + + + + + + + + + + + + + + + + +
- Graph API + + + + + + + + + + + + + + + + +
- Iterative Graph Processing + + + + + + + + + + + + + + + + +
- Library Methods + + + + + + + + + + + + + + + + +
- Graph Algorithms + + + + + + + + + + + + + + + + +
- Graph Generators + + + + + + + + + + + + + + + + +
- Bipartite Graph + + + + + + + +
- Machine Learning + + + + + + + + + +
-
+
- Overview + + + + + + + + + + + + + + + + + + + + + + + +
- Quickstart + + + + + + + + + + + + + + + + +
- ALS + + + + + + + + + + + + + + + + +
- How to Contribute + + + + + + + + + + + + + + + + +
- Cross Validation + + + + + + + + + + + + + + + + +
- Distance Metrics + + + + + + + + + + + + + + + + +
- k-Nearest Neighbors Join + + + + + + + + + + + + + + + + +
- MinMax Scaler + + + + + + + + + + + + + + + + +
- Multiple Linear Regression + + + + + + + + + + + + + + + + +
- Pipelines + + + + + + + + + + + + + + + + +
- Polynomial Features + + + + + + + + + + + + + + + + +
- Stochastic Outlier Selection + + + + + + + + + + + + + + + + +
- Standard Scaler + + + + + + + + + + + + + + + + +
- SVM using CoCoA + + + + + + + +
- Best Practices + + + + + + + + + + + + + + + + +
- API Migration Guides + + + + + + + +
- Basic API Concepts
- Deployment & Operations + + + + + + + + + + + + + + + + + + + + + + +
-
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
- Clusters & Deployment + + + + + + + + + + + + + + + + + + +
-
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
- Standalone Cluster + + + + + + + + + + + + + + + + +
- YARN + + + + + + + + + + + + + + + + +
- Mesos + + + + + + + + + + + + + + + + +
- Docker + + + + + + + + + + + + + + + + +
- Kubernetes + + + + + + + + + + + + + + + + +
- AWS + + + + + + + + + + + + + + + + +
- Google Compute Engine + + + + + + + + + + + + + + + + +
- MapR + + + + + + + + + + + + + + + + +
- Hadoop Integration + + + + + + + +
- High Availability (HA) + + + + + + + + + + + + + + + + + + + + +
- State & Fault Tolerance + + + + + + + + + + + + + + + + + + + + +
-
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
- Checkpoints + + + + + + + + + + + + + + + + +
- Savepoints + + + + + + + + + + + + + + + + +
- State Backends + + + + + + + + + + + + + + + + +
- Tuning Checkpoints and Large State + + + + + + + +
- Configuration + + + + + + + + + + + + + + + + + +
- Production Readiness Checklist + + + + + + + + + + + + + + + + +
- CLI + + + + + + + + + + + + + + + + +
- Kerberos + + + + + + + + + + + + + + + + +
- SSL Setup + + + + + + + + + + + + + + + + +
- File Systems + + + + + + + + + + + + + + + + +
- Upgrading Applications and Flink Versions + + + + + + + +
- Clusters & Deployment
- Debugging & Monitoring + + + + + + + + + + + + + + +
-
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
- Metrics + + + + + + + + + + + + + + + + +
- Logging + + + + + + + + + + + + + + + + +
- History Server + + + + + + + + + + + + + + + + +
- Monitoring Checkpointing + + + + + + + + + + + + + + + + +
- Monitoring Back Pressure + + + + + + + + + + + + + + + + +
- Monitoring REST API + + + + + + + + + + + + + + + + +
- Debugging Windows & Event Time + + + + + + + + + + + + + + + + +
- Debugging Classloading + + + + + + + + + + + + + + + + +
- Application Profiling + + + + + + + +
+ + + + + + + + - Internals+ + + + + + + + +
-
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
- Component Stack + + + + + + + + + + + + + + + + +
- Fault Tolerance for Data Streaming + + + + + + + + + + + + + + + + +
- Jobs and Scheduling + + + + + + + + + + + + + + + + +
- Task Lifecycle + + + + + + + + + + + + + + + + +
- File Systems + + + + + + + +
+ - Javadocs +
- Scaladocs +
- Project Page +
+ + + + + + + +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ -
+
+
+
+
- Internals + + + + +
- Jobs and Scheduling + + +
任务和定时
+ + + + +该文档简要的描述了Flink如何给任务定时，如何在任务管理器上展示和追踪任务的状态。
+ +-
+
- 定时 +
- 作业管理器的数据结构 +
定时
+ +Flink中的执行资源是通过Task Slots定义的。每个TaskManager都有一个或多个任务插槽，每个插槽可以运行一个并行任务管道。管道由多个连续的任务组成，例如MapFunction的 +第n个并行实例和ReduceFunction的第n个并行实例。请注意，Flink经常并发地执行连续的任务:对于流程序，这在任何情况下都会发生，但是对于批处理程序，它也经常发生。
+ +下图说明了这一点。考虑一个具有数据源、MapFunction和ReduceFunction的程序。源函数和MapFunction的并行度为4，而ReduceFunction的并行度为3。一个管道由序列源-映射-还原组成。在一个具有2个任务管理器(每个任务管理器都有3个插槽)的集群中，程序将按照如下所述执行。
+ +
+
+
+
+
+在内部，Flink通过SlotSharingGroup和CoLocationGroup定义哪些任务可以共享一个插槽(许可)，哪些任务必须严格地放在同一个插槽中。
+ +作业管理器的数据结构
+ +在作业执行期间，作业管理器跟踪分布式任务，决定何时调度下一个任务(或一组任务)，并对完成的任务或执行失败的任务作出反应
+ +做特管理器接受JobGraph这是由操作符JobVertex) +和中间结果 (IntermediateDataSet)组成的数据流的表示。每个运算符都有属性，比如并行性和它执行的代码。此外，JobGraph有一组附加的库，这些库是执行操作符代码所必需的。
+ +作业管理器将JobGraph转换为ExecutionGraph。ExecutionGraph是JobGraph的并行版本:对于每个JobVertex，它包含每个并行子任务的ExecutionVertex。ExecutionVertex 并行度为100的运算符将有一个JobVertex和100个execution顶点。该ExecutionVertex会跟踪特定子任务的执行状态。 一个JobVertex中的所有execution顶点都保存在一个 +ExecutionJobVertex中，它会跟踪操作符的整体状态。除顶点外，ExecutionGraph 还包含 +IntermediateResult和IntermediateResultPartition的划分。前者跟踪,IntermediateDataSet的状态，后者跟踪每个分区的状态。
+ +
+
+
+
+
+每个ExecutionGraph都有一个与之相关联的作业状态。此作业状态指示该作业执行的当前状态。
+ +一个Flink作业首先处于created状态，然后切换到running状态，完成所有工作后切换到finished状态。在出现故障的情况下，作业首先切换到failing状态，并取消所有正在运行的作业。如果所有作业顶点都已达到最终状态，且作业不可重新启动，则作业转换为failed状态。如果作业可以重新启动，那么它将进入restarting状态。一旦作业完全重新启动，它将到达created状态。
+ +如果用户取消作业，它将进入cancelling状态。这还需要取消所有当前正在运行的任务。一旦所有运行的任务都达到了一个最终状态，那么该作业的状态就会变为cancelled。
+ +与finished, canceled和failed的状态不同的是，这三种状态表示全局终止的状态，因此会出发作业清理的功能，而suspended状态仅仅表示局部终止。局部终止味着作业的执行已经在相应的作业管理器上终止，但是Flink集群的另一个作业管理器可以从持久的HA存储中检索作业并重新启动它。因此，到达suspended状态的作业不会被完全清理。
+ +
+
+
+
+
+在ExecutionGraph执行期间，每个并行任务经历多个阶段，从created到finished到failed。下面的图表说明了它们之间的状态和可能的转换。任务可以多次执行(例如在故障恢复过程中)。 +因此，在一个Execution中可以追踪一个ExecutionVertex 的执行过程。 每个ExecutionVertex都有一个并行执行和优先执行。
+ +
+
+
+
+
+
+
+ 
+