问答 查看内容
返回列表

这个24小时定时更新任务数量的取值是怎么来的,我想获取这些任务做抽取数据的分析

65 1
发表于 2025-6-23 16:05:06 | 查看全部 阅读模式

这个24小时定时更新任务数量的取值是怎么来的,我想获取这些任务做抽取数据的分析,比如分析抽取数据的排队和运行情况,但是目前不知道取值逻辑是什么。在builtin_taskStatus
中尝试选择了guanindex等task_type,但是任务数量对不上。辛苦提供下怎么获取完整的每日抽取数据任务,谢谢
截图202506231601051829.png

评论1

观小哈Lv.1 发表于 2025-6-24 15:31:49 | 查看全部
这里是按照昨天的数据分析的,不止guanindex更新任务,可以根据task_type分析不同的任务
task_type的枚举值:
值        枚举名        描述
0        CSV        废弃
1        FUSION        数据融合
2        DB        数据集预览、OLAP等
3        WEB        废弃
4        API        测试运行脚本
5        ETL_OUTPUT        ETL 输出输出节点任务
6        ETL        ETL JobServer  测试任务
7        ETL_COMBINED        ETL 聚合任务(包含至少一个ETL_OUTPUT任务)
8        CASSANDRA        任务的默认类型。很复杂,几乎所有的无法分类的任务都属于这个分类。如计算行数任务、计算ETL中SQL节点的Schema任务等等。
9        DATA_INSIGHT        数据探查
10        PARQUET        获取/计算/写Parquet文件任务
11        FILE_IMPORT        数据集文件上传任务
12        FILE_EXPORT        卡片导出、数据集导出等
13        PAGEPDF_IMAGE_EXPORT        PDF页面导出任务
14        GUANINDEX        GuanIndex数据集更新任务
15        CARD_IMAGE_EXPORT        卡片图片导出任务
16        ETL_PREVIEW        ETL 预览任务
17        ETL_PREVIEW_WRAPPER        ETL 预览的外观任务
18        CARD_DATA_FROM_CASSANDRA        卡片任务
19        CARD_DATA_FROM_DB        直连卡片任务
20        UPDATE_DIRECT_DATASOURCE        更新直联数据集任务
21        COMBINED_REPORT        复杂报表任务
22        UPDATE_REAL_TIME_DATASOURCE        更新实时数据集任务
23        DATASOURCE_CLEARING        数据集清理任务
24        DATASOURCE_CHANGING_PRIMARYKEYS        数据集主键变更任务
25        DATASET_FETCH        数据集数据获取任务
26        CLICKHOUSE_ACC        ClickHouse加速任务
27        UNIVERSE_DATASET        Universe数据集更新任务
28        UNIVERSE_EXPORT        Universe数据集导出任务
29        SYSTEM_LOG_EXPORT        系统日志导出任务
30        WEB_SERVICE        Web Service数据集更新任务
31        ACCOUNT_DS        账户数据集更新任务
32        TMP_PROCEDURE_FETCH        废弃
33        GUANINDEX_WITH_FILE        文件数据集更新任务
34        COMPLEX_REPORT_GENERATE        复杂报表生成任务
35        COMPLEX_REPORT_EXPORT        复杂报表导出任务
36        FILE_EXPORT_COMBINED        卡片导出任务
37        GET_DIRECT_DS_ROWCOUNT        直连数据集获取行数任务
38        SYNC_ACCOUNT        账户同步任务
39        CARD_RESULT_STORE        卡片结果缓存任务
40        SYSTEM_CLEAN        系统清理任务
41        RESOURCE_EXPORT        应用包导出任务
42        TMP_WEB_SERVICE        Web Service数据集获取数据任务
43        RESOURCE_IMPORT        应用包导入任务
44        FTP_DATASET        FTP数据集更新任务
45        AUGMENTED_ANALYSIS        增强分析任务
46        CARD_PIVOT_SPARK        卡片Pivot任务
47        DATA_EXPLAIN        数据解释任务
48        DATA_EXPLAIN_PRE_WRITING        数据解释写任务
49        DATASET_PREVIEW        数据集预览任务
50        SECOND_DATA_EXPLAIN        二次数据解释任务
51        COMPONENT_IMPORT        废弃
52        SPARK_HIVE        Spark Hive数据集任务
53        TASK_USED_FOR_UT        UT任务
54        AUGMENTED_ANALYSIS_PRE_WRITING        写增强分析任务
55        AUGMENTED_ANALYSIS_READ        读增强分析任务
56        CARD_GROUP_IMAGE_EXPORT        卡片组图片导出任务
57        CARD_BATCH_EXPORT        卡片批量导出任务
58        ETL_FIELD_NAME_REPLACE        ETL列名替换任务
59        CARD_FEEDBACK_STORAGE_CONVERT        卡片数据存储转换任务
60        SPARK_VIEW_DATASET_PREVIEW        Spark数据集预览任务
61        ADLS_GEN2_DATASET        预览adlsgen2数据集
62        DATA_WRITE_BACK        数据回写
63        DATA_WRITE_BACK_INSERT        数据回写插入
64        FILE_EXPORT_INNER       
65        GET_GUANINDEX_DS_ROWCOUNT        计算GuanIndex数据集行数
66        FETCH_LATEST_PARQUET_FILENAMES        查询最新parquet文件名
67        FILE_EXPORT_WRITE        导出写数
68        COMPLEX_REPORT_PRO_GENERATE        复杂报表pro 生成
69        COMPLEX_REPORT_PRO_EXPORT        复杂报表pro 导出
70        FIELD_DISTINCT_VALUES_FROM_DB        计算直连数据集列distinct值
71        FIELD_DISTINCT_VALUES_FROM_SPARK        计算GuanIndex数据集列distinct值
72        DATASET_EXPORT        数据集导出
73        ANALYSIS        卡片二次计算
74        CACHE_PREHEATING        预刷新任务
75        INTELLIGENT_INSIGHT        智能洞察
76        DATASET_FETCH_DATA        数据集获取数据
77        SUBSCRIPTION        订阅任务
78        ALERT        预警任务
79        UPDATE_DIRECT_DB_DATASOURCE_NEW        DB类型直连数据集更新任务
80        FETCH_DATASET_ROW_COUNT        获取数据集行数

81        PREPARE_ACCOUNT_DATASOURCE        建立数据库连接
82        UPDATE_EXTRACT_DB_DATASOURCE_NEW        DB类型抽取数据集更新任务
83        PRE_CLEAN        前置数据清理
84        DATA_CLEAN        数据清理
85        HIGH_PERFORM_TRANSFORM        高性能数据集转换
86        FETCH_DATA_TO_AVRO        从数据库获取数据到临时文件
87        POPULATE_AVRO_TO_DELTA        临时文件数据合并到数据集
88        COMPLEX_REPORT_DATA_WRITE        报表填报
89        CARD_DATASET        创建/更新卡片数据集
90        ETL_COLUMN_LINEAGE        ETL字段血缘

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

微信服务号
联系我们
电话:400-880-0750
邮箱:hello@guandata.com
Copyright © 2001-2025 观远社区 版权所有 All Rights Reserved. 浙 ICP 备15006424号-3
去回复 去发帖 返回顶部
快速回复 返回顶部 返回列表