日志处理核对

RZ_CK/元数据/DETAIL_QUANTILE_AGENTID.sql

+-- DETAIL_QUANTILE_AGENTID 单位时间内访问时间排序按应用统计
+
+create table DETAIL_QUANTILE_AGENTID(
+    applicationname      VARCHAR(128) ,     -- 部署集群 tag
+    agentid              VARCHAR(128) ,     -- 应用系统
+    time                 VARCHAR(64) ,     -- 接口访问结束时间 主键 来源为源数据
+    quantile50           VARCHAR(64) ,     -- 分位值50 
+    quantile75           VARCHAR(64) ,     -- 分位值75 
+    quantile95           VARCHAR(64) ,     -- 分位值95 
+    quantile99           VARCHAR(64) ,     -- 分位值99 
+    createtime           VARCHAR(64) ,        -- 创建时间
+    log_time             VARCHAR(64)
+
+)
\ No newline at end of file

RZ_CK/元数据/DETAIL_QUANTILE_APP.sql

+-- DETAIL_QUANTILE_APP 单位时间内访问时间排序按集群统计
+
+create table DETAIL_QUANTILE_APP(
+    `applicationname`      VARCHAR(128) ,     -- 部署集群 tag
+    `time`                 VARCHAR(64) ,     -- 接口访问结束时间 主键 来源为源数据
+    `quantile50`           VARCHAR(64)  ,     -- 分位值50 
+    `quantile75`           VARCHAR(64)  ,     -- 分位值75 
+    `quantile95`           VARCHAR(64)  ,     -- 分位值95 
+    `quantile99`           VARCHAR(64)  ,     -- 分位值99 
+    `createtime`           VARCHAR(64)  ,        -- 创建时间
+    log_time             VARCHAR(64)
+)
\ No newline at end of file

RZ_CK/元数据/DETAIL_RUNSTATUS_AGENTID.sql

+-- DETAIL_RUNSTATUS_AGENTID 访问次数按应用统计
+
+create table DETAIL_RUNSTATUS_AGENTID(
+
+    `applicationname` VARCHAR(128) ,  --  部署集群
+    `agentid`         VARCHAR(128) ,  --  应用系统
+    `time`            VARCHAR(64) ,  --  接口访问结束时间 主键 来源为源数据endTime精确到分的值
+    `averageelapsed`  VARCHAR(64) ,  --  接口平均响应时间
+    `total`           VARCHAR(64) ,  --  接口访问总计
+    `suctotal`        VARCHAR(64) ,  --  访问成功统计
+    `errortotal`      VARCHAR(64) ,  --  访问失败统计
+    `createtime`      VARCHAR(64) ,     --  创建时间
+    log_time          VARCHAR(64)
+
+)
+;
\ No newline at end of file

RZ_CK/元数据/DETAIL_RUNSTATUS_APP.sql

+-- DETAIL_RUNSTATUS_APP 访问次数按集群统计
+
+create table DETAIL_RUNSTATUS_APP(
+
+    `applicationname` VARCHAR(128) ,  --  部署集群
+    `time`            VARCHAR(64) ,  --  接口访问结束时间 主键 来源为源数据endTime精确到分的值
+    `averageelapsed`  VARCHAR(64)  ,  --  接口平均响应时间
+    `total`           VARCHAR(64)  ,  --  接口访问总计
+    `suctotal`        VARCHAR(64)  ,  --  访问成功统计
+    `errortotal`      VARCHAR(64)  ,  --  访问失败统计
+    `createtime`      VARCHAR(64) ,      --  创建时间
+    log_time             VARCHAR(64)
+
+)
+;
\ No newline at end of file

RZ_CK/元数据/DETAIL_RUNSTATUS_URL.sql

+-- DETAIL_RUNSTATUS_URL 访问次数按地址统计
+
+create table DETAIL_RUNSTATUS_URL(
+    applicationname  VARCHAR(128) ,  --  部署集群
+    agentid          VARCHAR(128)  ,  --  应用系统
+    endpoint         VARCHAR(1024)  ,  --  服务地址
+    rpc              VARCHAR(1024)  ,  --  接口地址
+    time             VARCHAR(64)  ,  --  接口访问结束时间 主键 来源为源数据endTime精确到分的值 
+    averageelapsed   VARCHAR(64)  ,  --  接口平均响应时间
+    total            VARCHAR(64)  ,  --  接口访问总计
+    suctotal         VARCHAR(64)  ,  --  访问成功统计
+    errortotal       VARCHAR(64)  ,  --  访问失败统计
+    createtime       VARCHAR(64) ,    --  创建时间
+    log_time             VARCHAR(64)
+
+)
+;
\ No newline at end of file

RZ_CK/元数据/LXT_QUANTILE_AGENTID.sql

+-- LXT_QUANTILE_AGENTID 单位时间内访问时间排序按应用统计
+
+create table LXT_QUANTILE_AGENTID(
+    `applicationname`      VARCHAR(128) ,     -- 部署集群 tag
+    `agentid`              VARCHAR(128) ,     -- 应用系统
+    `time`                 VARCHAR(64) ,     -- 接口访问结束时间 主键 来源为源数据
+    `quantile50`           VARCHAR(64) ,     -- 分位值50 
+    `quantile75`           VARCHAR(64) ,     -- 分位值75 
+    `quantile95`           VARCHAR(64) ,     -- 分位值95 
+    `quantile99`           VARCHAR(64) ,     -- 分位值99 
+    `createtime`           VARCHAR(64) ,    --  创建时间
+    log_time             VARCHAR(64)
+
+)
\ No newline at end of file

RZ_CK/元数据/LXT_QUANTILE_APP.sql

+-- LXT_QUANTILE_APP 单位时间内访问时间排序按集群统计
+
+create table LXT_QUANTILE_APP(
+    `applicationname`      VARCHAR(128) ,     -- 部署集群 tag
+    `time`                 VARCHAR(64) ,     -- 接口访问结束时间 主键 来源为源数据
+    `quantile50`           VARCHAR(64)  ,     -- 分位值50 
+    `quantile75`           VARCHAR(64)  ,     -- 分位值75 
+    `quantile95`           VARCHAR(64)  ,     -- 分位值95 
+    `quantile99`           VARCHAR(64)  ,     -- 分位值99 
+    `createtime`           VARCHAR(64) ,    --  创建时间
+    log_time             VARCHAR(64)
+)
\ No newline at end of file

RZ_CK/元数据/LXT_RUNSTATUS_AGENTID.sql

+-- LXT_RUNSTATUS_AGENTID 访问次数按应用统计
+
+create table LXT_RUNSTATUS_AGENTID(
+
+    `applicationname` VARCHAR(128) ,  --  部署集群
+    `agentid`         VARCHAR(128) ,  --  应用系统
+    `time`            VARCHAR(64) ,  --  接口访问结束时间 主键 来源为源数据endTime精确到分的值
+    `averageelapsed`  VARCHAR(64) ,  --  接口平均响应时间
+    `total`           VARCHAR(64) ,  --  接口访问总计
+    `suctotal`        VARCHAR(64) ,  --  访问成功统计
+    `errortotal`      VARCHAR(64) ,  --  访问失败统计
+    `createtime`      VARCHAR(64) ,    --  创建时间
+    log_time             VARCHAR(64)
+
+)
+;
\ No newline at end of file

RZ_CK/元数据/LXT_RUNSTATUS_APP.sql

+-- LXT_RUNSTATUS_APP 访问次数按集群统计
+
+create table LXT_RUNSTATUS_APP(
+
+    `applicationname` VARCHAR(128) ,  --  部署集群
+    `time`            VARCHAR(64) ,  --  接口访问结束时间 主键 来源为源数据endTime精确到分的值
+    `averageelapsed`  VARCHAR(64)  ,  --  接口平均响应时间
+    `total`           VARCHAR(64)  ,  --  接口访问总计
+    `suctotal`        VARCHAR(64)  ,  --  访问成功统计
+    `errortotal`      VARCHAR(64)  ,  --  访问失败统计
+    `createtime`      VARCHAR(64) ,    --  创建时间
+    log_time             VARCHAR(64)
+
+)
+;
\ No newline at end of file

RZ_CK/元数据/LXT_RUNSTATUS_URL.sql

+-- LXT_RUNSTATUS_URL 访问次数按地址统计
+
+create table LXT_RUNSTATUS_URL(
+    applicationname  VARCHAR(128) ,  --  部署集群
+    agentid          VARCHAR(128)  ,  --  应用系统
+    endpoint         VARCHAR(1024)  ,  --  服务地址
+    rpc              VARCHAR(1024)  ,  --  接口地址
+    time             VARCHAR(64)  ,  --  接口访问结束时间 主键 来源为源数据endTime精确到分的值 
+    averageelapsed   VARCHAR(64)  ,  --  接口平均响应时间
+    total            VARCHAR(64)  ,  --  接口访问总计
+    suctotal         VARCHAR(64)  ,  --  访问成功统计
+    errortotal       VARCHAR(64)  ,  --  访问失败统计
+    createtime       VARCHAR(64) ,    --  创建时间
+    log_time             VARCHAR(64)
+
+)
+;
\ No newline at end of file

RZ_CK/数据同步/RZ_CK_DETAIL_QUANTILE.sql

+-- RZ_CK_DETAIL_QUANTILE RZ_CK_DETAIL_单位时间内访问时间排序
+
+
+-- DETAIL_QUANTILE_AGENTID 单位时间内访问时间排序按应用统计
+insert into RZ_CK.RZ_CK_MYSQL.DETAIL_QUANTILE_AGENTID
+SELECT
+     `applicationname`
+    ,`agentid`        
+    ,`time`           
+    ,`quantile50`  
+    ,`quantile75`  
+    ,`quantile95`  
+    ,`quantile99`  
+    ,`createtime`  
+    ,DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss')  as log_time
+from  RZ_CK.RZ_CK_KAFKA.DETAIL_QUANTILE_AGENTID   -- topic QUANTILE_AGENTID
+;
+
+
+-- DETAIL_QUANTILE_APP 单位时间内访问时间排序按集群统计
+insert into RZ_CK.RZ_CK_MYSQL.DETAIL_QUANTILE_APP
+SELECT
+     `applicationname`
+    ,`time`
+    ,`quantile50`
+    ,`quantile75`
+    ,`quantile95`
+    ,`quantile99`
+    ,`createtime`
+    ,DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss')  as log_time
+from RZ_CK.RZ_CK_KAFKA.DETAIL_QUANTILE_APP  -- topic QUANTILE_APP
+;
+
+
+
+
+
+
+

RZ_CK/数据同步/RZ_CK_DETAIL_RUNSTATUS.sql

+-- RZ_CK_DETAIL_RUNSTATUS RZ_CK_DETAIL_访问次数
+
+-- DETAIL_RUNSTATUS_URL RZ_DM_访问次数按地址统计
+insert into RZ_CK.RZ_CK_MYSQL.DETAIL_RUNSTATUS_URL
+select
+      `applicationname`
+     ,`agentid`
+     ,`endpoint`
+     ,`rpc`
+     ,`time`
+     ,`averageelapsed`
+     ,`total`
+     ,`suctotal`
+     ,`errortotal`
+     ,`createtime`
+     ,DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss')  as log_time
+from RZ_CK.RZ_CK_KAFKA.DETAIL_RUNSTATUS_URL  -- topic RUNSTATUS_URL
+;
+
+
+-- DETAIL_RUNSTATUS_AGENTID RZ_DM_访问次数按应用统计
+insert into RZ_CK.RZ_CK_MYSQL.DETAIL_RUNSTATUS_AGENTID
+select
+      `applicationname`
+     ,`agentid`
+     ,`time`
+     ,`averageelapsed`
+     ,`total`
+     ,`suctotal`
+     ,`errortotal`
+     ,`createtime`
+     ,DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss')  as log_time
+from RZ_CK.RZ_CK_KAFKA.DETAIL_RUNSTATUS_AGENTID   -- topic RUNSTATUS_AGENTID
+;
+
+
+-- RUNSTATUS_APP RZ_DM_访问次数按集群统计
+insert into RZ_CK.RZ_CK_MYSQL.DETAIL_RUNSTATUS_APP
+select
+      `applicationname`
+     ,`time`
+     ,`averageelapsed`
+     ,`total`
+     ,`suctotal`
+     ,`errortotal`
+     ,`createtime`
+     ,DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss')  as log_time
+from RZ_CK.RZ_CK_KAFKA.DETAIL_RUNSTATUS_APP  -- topic RUNSTATUS_APP
+;
+

RZ_CK/数据同步/RZ_CK_LXT_QUANTILE.sql

+-- RZ_CK_LXT_QUANTILE RZ_CK_LXT_单位时间内访问时间排序
+
+
+-- LXT_QUANTILE_AGENTID 单位时间内访问时间排序按应用统计
+insert into RZ_CK.RZ_CK_MYSQL.LXT_QUANTILE_AGENTID
+SELECT
+     `applicationname`
+    ,`agentid`        
+    ,`time`           
+    ,`quantile50`  
+    ,`quantile75`  
+    ,`quantile95`  
+    ,`quantile99`  
+    ,`createtime`
+    ,DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss')  as log_time
+from  RZ_CK.RZ_CK_KAFKA_LXT.LXT_QUANTILE_AGENTID   -- topic quantile_agentid
+;
+
+
+-- LXT_QUANTILE_APP 单位时间内访问时间排序按集群统计
+insert into RZ_CK.RZ_CK_MYSQL.LXT_QUANTILE_APP
+SELECT
+     `applicationname`
+    ,`time`
+    ,`quantile50`
+    ,`quantile75`
+    ,`quantile95`
+    ,`quantile99`
+    ,`createtime`
+    ,DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss')  as log_time
+from RZ_CK.RZ_CK_KAFKA_LXT.LXT_QUANTILE_APP  -- topic quantile_app
+;
+
+
+
+
+
+
+

RZ_CK/数据同步/RZ_CK_LXT_RUNSTATUS.sql

+-- RZ_CK_LXT_RUNSTATUS RZ_CK_LXT_访问次数
+
+-- LXT_RUNSTATUS_URL RZ_DM_访问次数按地址统计
+insert into RZ_CK.RZ_CK_MYSQL.LXT_RUNSTATUS_URL
+select
+      `applicationname`
+     ,`agentid`
+     ,`endpoint`
+     ,`rpc`
+     ,`time`
+     ,`averageelapsed`
+     ,`total`
+     ,`suctotal`
+     ,`errortotal`
+     ,`createtime`
+     ,DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss')  as log_time
+from RZ_CK.RZ_CK_KAFKA_LXT.LXT_RUNSTATUS_URL   -- topic runstatus_url
+;
+
+
+-- LXT_RUNSTATUS_AGENTID RZ_DM_访问次数按应用统计
+insert into RZ_CK.RZ_CK_MYSQL.LXT_RUNSTATUS_AGENTID
+select
+      `applicationname`
+     ,`agentid`
+     ,`time`
+     ,`averageelapsed`
+     ,`total`
+     ,`suctotal`
+     ,`errortotal`
+     ,`createtime`
+     ,DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss')  as log_time
+from RZ_CK.RZ_CK_KAFKA_LXT.LXT_RUNSTATUS_AGENTID   -- topic runstatus_agentid
+;
+
+
+-- RUNSTATUS_APP RZ_DM_访问次数按集群统计
+insert into RZ_CK.RZ_CK_MYSQL.LXT_RUNSTATUS_APP
+select
+      `applicationname`
+     ,`time`
+     ,`averageelapsed`
+     ,`total`
+     ,`suctotal`
+     ,`errortotal`
+     ,`createtime`
+     ,DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss')  as log_time
+from RZ_CK.RZ_CK_KAFKA_LXT.LXT_RUNSTATUS_APP -- topic runstatus_app
+;
+

RZ_DM/RZ_DM_QUANTILE.sql

@@ -14,10 +14,10 @@ SELECT
     ,s1.`createtime`                               as `createtime`
 from (
     select
-        d1.`applicationName`                                                                 as `applicationname`
-        ,d1.`agentId`                                                                        as `agentid`
-        ,DATE_FORMAT(tumble_end(d1.row_time, interval '1' minute) ,'yyyy-MM-dd HH:mm:ss')     as `time`
-        ,CastToTagIndexUDF(LISTAGG(d1.`elapsed`,';') )                                        as `quantile` -- 拼接
+        d1.`applicationName`                                                                   as `applicationname`
+        ,d1.`agentId`                                                                          as `agentid`
+        ,cast(DateTimeToLongUDF(tumble_end(d1.row_time, interval '1' minute)) as varchar)      as `time`
+        ,CastToTagIndexUDF(LISTAGG(d1.`elapsed`,';') )                                         as `quantile` -- 拼接
         ,cast(DateTimeToLongUDF(tumble_start(d1.row_time, interval '1' minute)) as varchar)    as `createtime`
     from RZ_ODS.RZ_SOURCE_KAFKA_RZ.RZDATA d1
     where
@@ -46,8 +46,8 @@ SELECT
 from (
     select
         d1.`applicationName`                                                    as `applicationname`
-        ,DATE_FORMAT(tumble_end(d1.row_time, interval '1' minute) ,'yyyy-MM-dd HH:mm:ss')     as `time`
-        ,CastToTagIndexUDF(LISTAGG(d1.`elapsed`,';') )                                        as `quantile` -- 拼接
+        ,cast(DateTimeToLongUDF(tumble_end(d1.row_time, interval '1' minute)) as varchar)      as `time`
+        ,CastToTagIndexUDF(LISTAGG(d1.`elapsed`,';') )                                         as `quantile` -- 拼接
         ,cast(DateTimeToLongUDF(tumble_start(d1.row_time, interval '1' minute)) as varchar)    as `createtime`
     from RZ_ODS.RZ_SOURCE_KAFKA_RZ.RZDATA d1
     where

RZ_DM/RZ_DM_RUNSTATUS.sql

@@ -7,12 +7,12 @@ select
      ,s1.agentId                                                              as `agentid`
      ,s1.endPoint                                                             as `endpoint`
      ,s1.rpc                                                                  as `rpc`
-     ,DATE_FORMAT(tumble_end(s1.row_time, interval '1' minute) ,'yyyy-MM-dd HH:mm:ss')     as `time`
+     ,cast(DateTimeToLongUDF(tumble_end(s1.row_time, interval '1' minute)) as varchar)     as `time`
      ,cast(AVG(cast(s1.elapsed as decimal(18,2)) )        as varchar)                      as `averageelapsed`
      ,cast(sum(1)                                         as varchar)                      as `total`
      ,cast(sum(if(s1.status = '200',1,0))                 as varchar)                      as `suctotal`
      ,cast(sum(if(s1.status = '200' is not true,1,0))     as varchar)                      as `errortotal`
-     ,cast(DateTimeToLongUDF(tumble_start(s1.row_time, interval '1' minute) ) as varchar)  as `createtime`
+     ,cast(DateTimeToLongUDF(tumble_start(s1.row_time, interval '1' minute)) as varchar)  as `createtime`
 from RZ_ODS.RZ_SOURCE_KAFKA_RZ.RZDATA s1
 where
     UPPER(RIGHT(s1.`rpc`,3)) not in ('.JS')
@@ -33,7 +33,7 @@ insert into RZ_DM.RZ_DM_KAFKA.RUNSTATUS_AGENTID
 select
     s1.applicationName                                                        as `applicationname`
      ,s1.agentId                                                              as `agentid`
-     ,DATE_FORMAT(tumble_end(s1.row_time, interval '1' minute) ,'yyyy-MM-dd HH:mm:ss')     as `time`
+     ,cast(DateTimeToLongUDF(tumble_end(s1.row_time, interval '1' minute)) as varchar)     as `time`
      ,cast(AVG(cast(s1.elapsed as decimal(18,2)) )        as varchar)                      as `averageelapsed`
      ,cast(sum(1)                                         as varchar)                      as `total`
      ,cast(sum(if(s1.status = '200',1,0))                 as varchar)                      as `suctotal`
@@ -51,7 +51,7 @@ group by
 insert into RZ_DM.RZ_DM_KAFKA.RUNSTATUS_APP
 select
     s1.applicationName                                                      as `applicationname`
-     ,DATE_FORMAT(tumble_end(s1.row_time, interval '1' minute) ,'yyyy-MM-dd HH:mm:ss')     as `time`
+     ,cast(DateTimeToLongUDF(tumble_end(s1.row_time, interval '1' minute)) as varchar)     as `time`
      ,cast(AVG(cast(s1.elapsed as decimal(18,2)) )        as varchar)                      as `averageelapsed`
      ,cast(sum(1)                                         as varchar)                      as `total`
      ,cast(sum(if(s1.status = '200',1,0))                 as varchar)                      as `suctotal`