diff --git a/esua-epdc/kettle/behavior_all.zip b/esua-epdc/kettle/behavior_all.zip new file mode 100644 index 00000000..eaed7b42 Binary files /dev/null and b/esua-epdc/kettle/behavior_all.zip differ diff --git a/esua-epdc/kettle/ejinshui_day_del.zip b/esua-epdc/kettle/ejinshui_day_del.zip new file mode 100644 index 00000000..5fc3147f Binary files /dev/null and b/esua-epdc/kettle/ejinshui_day_del.zip differ diff --git a/esua-epdc/kettle/ejinshui_day_update.zip b/esua-epdc/kettle/ejinshui_day_update.zip new file mode 100644 index 00000000..d957e0c5 Binary files /dev/null and b/esua-epdc/kettle/ejinshui_day_update.zip differ diff --git a/esua-epdc/kettle/ejinshui_hour.zip b/esua-epdc/kettle/ejinshui_hour.zip new file mode 100644 index 00000000..9cf27e8a Binary files /dev/null and b/esua-epdc/kettle/ejinshui_hour.zip differ diff --git a/esua-epdc/kettle/kettle任务整理.txt b/esua-epdc/kettle/kettle任务整理.txt new file mode 100644 index 00000000..95acdcff --- /dev/null +++ b/esua-epdc/kettle/kettle任务整理.txt @@ -0,0 +1,123 @@ +锦水运行的kettle: + + behavior_all + + 统计数据到analysis部分表,提供数据给数据端使用 + + 统计用户行为基础数据(统计前一天数据): + + 1. 写入党建议事参与人次统计表epdc_dept_event_person_time : 根据事件,议题,项目,项目处理流程表统计相关数据 + 2. 写入党建社群统计表epdc_dept_group_person_time : 根据话题,话题评论,用户社群关系,事件,议题,项目,项目处理流程表统计相关数据 + 3. 写入用户行为记录epdc_user_behavior_log : 根据用户新闻态度表,事件表,用户事件评论态度表,用户事件态度表,事件评论表,项目表,话题表,话题评论用户态度表,话题评论表,用户社群关系表,用户登录日志表统计相关数据 + + 统计'用户/党员参与人次/人数epdc_party_participate_statistics,按天统计社区数据 + + 统计党员参与情况数据统计epdc_party_behavior_statistics,查询当月,一月,三个月,六个月,一年前的数据 + + + ejinshui_day_update + + (锦水大屏使用)每天凌晨两点执行,增量同步用户行为信息 + + 分析meta_epdc_event_user_attitude表,写入到用户分析表screen_userdata_userbehavior + + + + ejinshui_hour + + (锦水大屏使用)一小时执行一次,先清空表,议题项目写入热度分析表,写入月度活跃度分析表 + + + ejinshui_day_del + + (锦水大屏使用)每天凌晨两点执行 + + + 1.统计议题和项目月度数据,插入到screen_event_month表 + 2.统计用户表年龄性别信息,插入到screen_userdata_userportrait + 3.统计新闻表,分析数据,插入到screen_news_typedata + 4.统计新闻表,分析数据,插入到screen_news_monthheat + 5.统计事件处理流程,插入到screen_act_event + 6.统计党群成员数量,插入到screen_party_group + 7.统计积分排行,插入到统计积分排行表 + 8.统计志愿者年龄段,插入到screen_volunteer_age + 9;统计志愿者积分排行,插入到screen_volunteer_rank + 10.统计流程总览模块,插入到screen_event_summary + 11.统计系统数据分析,插入到screen_totality_summary + 12.查询网格,结案率,审核率,党群数量,群众党员数量及其占比,群众党员总数,网格负责人联系方式,项目待结案数,待审核数量,满意度,志愿者人数数量,已审核议题书数,已结案议题书,插入到screen_totality_grid + + + + esua_epdc_analysis_job 数据表同步到analysis库,以及analysis库部分数据分析表的同步 + + + +孔村运行的kettle: + + epdc_kc_hour : + + 统计数据到孔村大屏(统计单位为网格): 一小时执行一次 + + + + 1.概述数据kc_overview : 网格、社群、新闻、事件、党员数、用户数 + 2.党群成效kc_party_stati_query : 话题数,议题数 + + 3.增量同步数据到 kc_project表 : 查询epdc_item统计 + 4.增量同步数据到 kc_project_flow表 : 查询epdc_item_process统计 + + + epdc_kc_day : + + 统计数据到孔村大屏 先清再删,每天凌晨一点执行 + + + + + 1. 写入项目分类统计表kc_project_type : 查询epdc_category + 2. 写入话题热度表kc_topic_hot : 查询epdc_item + 3. 写入难点问题表(部门最多)kc_topic_depart : 查询epdc_item_dept和epdc_item + 4. 写入难点问题表(耗时最长)kc_topic_depart : 查询epdc_item + 5. 写入经典案例表kc_topic_cases : 查询epdc_case + 6. 写入整体满意度表kc_total_satis : 查询epdc_item + 7. 写入项目趋势表kc_project_trend : 查询epdc_item + + + esua_epdc_analysis_job + + + 数据表同步到analysis库,以及analysis库部分数据分析表的同步 + + + behavior : + + 统计数据到analysis部分表,提供数据给数据端使用,凌晨三点执行 + + 统计用户行为基础数据(统计前一天数据): + + 1. 写入党建声音参与人次统计表epdc_dept_voice_person_time : 根据用户新闻态度表对新闻的点赞点踩数据统计 + 2. 写入党建议事参与人次统计表epdc_dept_event_person_time : 根据事件,议题,项目,项目处理流程表统计相关数据 + 3. 写入党建社群统计表epdc_dept_group_person_time : 根据话题,话题评论,用户社群关系,事件,议题,项目,项目处理流程表统计相关数据 + 4. 写入党建社区人事统计表epdc_group_statistics : 根据社群表,用户社群关系表统计相关数据 + 5. 写入用户行为记录epdc_user_behavior_log : 根据用户新闻态度表,事件表,用户事件评论态度表,用户事件态度表,事件评论表,项目表,话题表,话题评论用户态度表,话题评论表,用户社群关系表,用户登录日志表统计相关数据 + + + 统计党员参与情况数据统计epdc_party_behavior_statistics,查询当月,一月,三个月,六个月,一年前的数据 + + + 统计'用户/党员参与人次/人数epdc_party_participate_statistics,按天统计各个街道+社区数据 + + + + + + + + + + + + + + +