kettle任务整理

esua-epdc/kettle/kettle任务整理.txt

@@ -0,0 +1,123 @@
+锦水运行的kettle：
+	
+		behavior_all				
+
+				统计数据到analysis部分表，提供数据给数据端使用
+
+					统计用户行为基础数据（统计前一天数据）：
+
+						 	1. 写入党建议事参与人次统计表epdc_dept_event_person_time : 根据事件，议题，项目，项目处理流程表统计相关数据
+						 	2. 写入党建社群统计表epdc_dept_group_person_time : 根据话题，话题评论，用户社群关系，事件，议题，项目，项目处理流程表统计相关数据
+						 	3. 写入用户行为记录epdc_user_behavior_log : 根据用户新闻态度表，事件表，用户事件评论态度表，用户事件态度表，事件评论表，项目表，话题表，话题评论用户态度表，话题评论表，用户社群关系表，用户登录日志表统计相关数据
+
+					统计'用户/党员参与人次/人数epdc_party_participate_statistics，按天统计社区数据
+
+					统计党员参与情况数据统计epdc_party_behavior_statistics，查询当月，一月，三个月，六个月，一年前的数据
+
+
+		ejinshui_day_update			
+
+			（锦水大屏使用）每天凌晨两点执行，增量同步用户行为信息
+
+					分析meta_epdc_event_user_attitude表，写入到用户分析表screen_userdata_userbehavior
+
+
+
+		ejinshui_hour				
+
+			（锦水大屏使用）一小时执行一次，先清空表，议题项目写入热度分析表，写入月度活跃度分析表
+
+
+		ejinshui_day_del
+
+			（锦水大屏使用）每天凌晨两点执行
+
+
+				1.统计议题和项目月度数据，插入到screen_event_month表
+				2.统计用户表年龄性别信息，插入到screen_userdata_userportrait
+				3.统计新闻表，分析数据，插入到screen_news_typedata
+				4.统计新闻表，分析数据，插入到screen_news_monthheat
+				5.统计事件处理流程，插入到screen_act_event
+				6.统计党群成员数量，插入到screen_party_group
+				7.统计积分排行，插入到统计积分排行表
+				8.统计志愿者年龄段，插入到screen_volunteer_age
+				9；统计志愿者积分排行，插入到screen_volunteer_rank
+				10.统计流程总览模块，插入到screen_event_summary
+				11.统计系统数据分析，插入到screen_totality_summary
+				12.查询网格，结案率，审核率，党群数量，群众党员数量及其占比，群众党员总数，网格负责人联系方式，项目待结案数，待审核数量，满意度，志愿者人数数量，已审核议题书数，已结案议题书，插入到screen_totality_grid
+
+
+
+		esua_epdc_analysis_job		 数据表同步到analysis库，以及analysis库部分数据分析表的同步
+
+
+
+孔村运行的kettle:
+
+		epdc_kc_hour ：
+
+				统计数据到孔村大屏（统计单位为网格）： 一小时执行一次
+
+					
+
+							1.概述数据kc_overview : 网格、社群、新闻、事件、党员数、用户数 
+							2.党群成效kc_party_stati_query : 话题数，议题数
+
+							3.增量同步数据到 kc_project表 : 查询epdc_item统计
+							4.增量同步数据到 kc_project_flow表 : 查询epdc_item_process统计
+
+
+		epdc_kc_day : 
+
+				统计数据到孔村大屏	先清再删，每天凌晨一点执行
+
+
+						
+
+							1. 写入项目分类统计表kc_project_type : 查询epdc_category
+							2. 写入话题热度表kc_topic_hot : 查询epdc_item
+							3. 写入难点问题表（部门最多）kc_topic_depart : 查询epdc_item_dept和epdc_item
+							4. 写入难点问题表（耗时最长）kc_topic_depart : 查询epdc_item
+							5. 写入经典案例表kc_topic_cases : 查询epdc_case
+							6. 写入整体满意度表kc_total_satis : 查询epdc_item
+							7. 写入项目趋势表kc_project_trend : 查询epdc_item
+
+
+		esua_epdc_analysis_job 
+
+
+				数据表同步到analysis库，以及analysis库部分数据分析表的同步
+
+
+		behavior : 
+
+				统计数据到analysis部分表，提供数据给数据端使用，凌晨三点执行
+
+					统计用户行为基础数据（统计前一天数据）：
+
+						 	1. 写入党建声音参与人次统计表epdc_dept_voice_person_time : 根据用户新闻态度表对新闻的点赞点踩数据统计
+						 	2. 写入党建议事参与人次统计表epdc_dept_event_person_time : 根据事件，议题，项目，项目处理流程表统计相关数据
+						 	3. 写入党建社群统计表epdc_dept_group_person_time : 根据话题，话题评论，用户社群关系，事件，议题，项目，项目处理流程表统计相关数据
+						 	4. 写入党建社区人事统计表epdc_group_statistics : 根据社群表，用户社群关系表统计相关数据
+						 	5. 写入用户行为记录epdc_user_behavior_log : 根据用户新闻态度表，事件表，用户事件评论态度表，用户事件态度表，事件评论表，项目表，话题表，话题评论用户态度表，话题评论表，用户社群关系表，用户登录日志表统计相关数据
+
+
+					统计党员参与情况数据统计epdc_party_behavior_statistics，查询当月，一月，三个月，六个月，一年前的数据
+
+
+					统计'用户/党员参与人次/人数epdc_party_participate_statistics，按天统计各个街道+社区数据
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+