一种基于flink的流计算性能优化系统及方法
2024-02-23
本发明公开了一种基于flink的流计算性能优化系统及方法,属于流计算技术领域。本系统监控模块,用于实时监控并获取flink运行过程中不同阶段的运行参数;数据收集模块,用于将从所述监控模块获取的运行参数输出至一数据库中;策略调整模块,根据所述数据库中的运行参数,结合预设的启动参数,通过策略调整算法,输出下一步的运行方案;运行管理模块,根据所述策略调整模块输出的运行方案调整运行参数,并应用到flink运行中。本发明用于flink流计算场景资源分配自动适配,可以提高流计算服务的实际吞吐量,充分发挥硬件性能;节省开发和调试成本,由程序自行运行判断,降低人力成本。
一种基于flink的流计算性能优化系统,其特征在于,包括:监控模块,用于实时监控并获取flink运行过程中不同阶段的运行参数;数据收集模块,用于将从所述监控模块获取的运行参数输出至一数据库中;策略调整模块,根据所述数据库中的运行参数,结合预设的启动参数,通过策略调整算法,输出下一步的运行方案;运行管理模块,根据所述策略调整模块输出的运行方案调整运行参数,并应用到flink运行中。
申请号:CN202010732081.X
申请(专利权)人:北京明略软件系统有限公司
公开日期(公开):2020.12.15
公开日期(授权):2024.02.23
信息填写