Skip to content

D
dataquality_doc
Commit 3a849b8a authored by 王东's avatar 王东
Browse files
Options

指标计算承保字段调整

parent fd808715
Hide whitespace changes
Inline Side-by-side
Showing with 470 additions and 128 deletions
CK_DWD/DDL元数据/CKDWDENDOR.sql 0 → 100644
View file @ 3a849b8a
create table CKDWDENDOR (
endorseNo varchar(64), -- 保单号
businessNo varchar(64), -- 业务号
businessOffice varchar(64), -- 保单归属机构代码
productCode varchar(64), -- 险种代码
contendorseTypeCode varchar(64), -- 批改类型代码
clauseName varchar(256), -- 条款名称
endorseTypeCode varchar(64), -- 批改类型
endorseApplyTime varchar(64), -- 批改申请时间
endorseApplicantName varchar(64), -- 批改申请人名称
uwConclueDate varchar(64), -- 核批通过时间
log_time varchar(32)
ERRORMSG varchar(3000) ,
AERRORMSG varchar(1000) ,
BERRORMSG varchar(1000) ,
CERRORMSG varchar(1000) ,
DERRORMSG varchar(1000) ,
EERRORMSG varchar(1000) ,
RPTID varchar(32) ,
VALI_TIME varchar(32) ,
VALI_DATE varchar(32) ,
)
\ No newline at end of file
CK_DWD/DDL元数据/CKDWDPOLICY.sql 0 → 100644
View file @ 3a849b8a
-- 保单业务数据
create table CKDWDPOLICY(
policyNo varchar(64) , -- 保单号
businessNo varchar(64) , -- 业务号
businessOffice varchar(64) , -- 保单归属机构代码
productCode varchar(64) , -- 险种代码
netPremium varchar(64) , -- 保费（不含税）
premium varchar(64) , -- 保费（含税）
taxFee varchar(64) , -- 增值税税额
shortRateCoefficient varchar(64) , -- 短期费率
shortRateWay varchar(64) , -- 短期费率方式
discountRate varchar(64) , -- 车险费率交强险保费浮动比率
amount varchar(64) , -- 保额
appcustomerName varchar(64) , -- 投保人姓名
appidentifyNumber varchar(64) , -- 投保人统一社会信用代码
appidentifyType varchar(64) , -- 投保人证件类型
pubcustomerName varchar(64) , -- 被保人姓名
pubidentifyNumber varchar(64) , -- 被保人统一社会信用代码
pubidentifyType varchar(64) , -- 被保人证件类型
carcustomerName varchar(64) , -- 车主姓名
caridentifyNumber varchar(64) , -- 车主统一社会信用代码
caridentifyType varchar(64) , -- 车主证件类型
licensePlateNo varchar(64) , -- 车牌号
licenseType varchar(64) , -- 车牌种类
vehiclecode varchar(64) , -- 车辆车型
carKindCode varchar(64) , -- 车辆种类
carUserNatureCode varchar(64) , -- 车辆使用性质
energyTypesCode varchar(64) , -- 能源种类
tradeName varchar(64) , -- 车辆制造厂
seatcount varchar(64) , -- 座位数
exhaustscale varchar(64) , -- 排量
purchaseprice varchar(64) , -- 新车购置价格
vinNo varchar(64) , -- 标的车vin值
passengersNumber varchar(64) , -- 核定载客人数
brandName varchar(64) , -- 车辆品牌名称
actualvalue varchar(64) , -- 车辆实际价值
enrollDate varchar(64) , -- 车辆初次登记日期
startTime varchar(64) , -- 起保日期
endTime varchar(64) , -- 终保日期
conTerReasons varchar(64) , -- 保单终止原因代码
signDate varchar(64) , -- 签单日期
policyCreatDate varchar(64) , -- 保单生成时间
traffAdjVal varchar(64) , -- 交通违法系数
log_time varchar(32) ,
ERRORMSG varchar(3000) ,
AERRORMSG varchar(1000) ,
BERRORMSG varchar(1000) ,
CERRORMSG varchar(1000) ,
DERRORMSG varchar(1000) ,
EERRORMSG varchar(1000) ,
RPTID varchar(32) ,
VALI_TIME varchar(32) ,
VALI_DATE varchar(32) ,
)
\ No newline at end of file
CK_ODS/DDL元数据/CD_BUSINESSNATUR.sql 0 → 100644
View file @ 3a849b8a
CD_BUSINESSNATUR 承保业务来源码表
CK_ODS/DDL元数据/CD_CAR_KIND.sql 0 → 100644
View file @ 3a849b8a
-- CD_CAR_KIND 车辆种类码表
create table CD_CAR_KIND
(
CODE varchar(256) not null comment '代码'
primary key,
CODEDESC varchar(256) null comment '代码描述',
CATEGORYCODE varchar(256) null comment '大类代码',
CATEGORYDESC varchar(256) null comment '大类描述'
);
CK_ODS/DDL元数据/CD_CAR_MODEL.sql 0 → 100644
View file @ 3a849b8a
-- CD_CAR_MODEL 车辆车型码表
create table CD_CAR_MODEL
(
REMARK varchar(256) null comment '备注',
SEATMAX_TD decimal(38, 2) null comment '额定最大载客人数',
SEATCOUNT decimal(38, 2) null comment '座位数',
HORSEPOWER varchar(256) null comment '功率',
FACTORY varchar(256) null comment '生产厂家',
SERIESCODE varchar(256) null comment '车系代码',
SERIESNAME varchar(256) null comment '车系名称',
BRANDNAME varchar(256) null comment '品牌名称',
PURCHASEPRICE decimal(38, 2) null comment '新车购置价',
PURCHASEPRICETAX decimal(38, 2) null comment '新车购置价含税',
CARKIND varchar(256) null comment '种类名称',
COMPLETEMASSMAX_TD varchar(256) null comment 'COMPLETEMASSMAX_TD',
COMPLETEMASSMIN_TD varchar(256) null comment '整备质量最小',
SYXCLASSID varchar(256) null comment '商业险编码',
JQXCLASSID varchar(256) null comment '交强险编码',
SYXCLASSDESC varchar(256) null comment '商业险编码描述',
JQXCLASSDESC varchar(256) null comment '交强险编码描述',
AIRBAGCOUNT decimal(38, 2) null comment '安全气囊数量',
RISKTYPE varchar(256) null comment '风险类型',
TRANSMISSIONTYPE varchar(256) null comment '变速器类型',
MODELNAME varchar(256) null comment '车型名称',
MODELCODE varchar(256) not null comment '车型代码',
BRANDCODE varchar(256) not null comment '品牌代码',
SEATMIN_TD decimal(38, 2) null comment '额定最小载客人数',
CARSTYLE varchar(256) null comment '承保类型',
THEFTPROOF varchar(256) null comment '防盗装置',
VEHICLEALIAS varchar(256) null comment '车辆别名',
CARYEAR varchar(256) null comment '上市年份',
TONCOUNT varchar(256) null comment '核定载物质量',
EXHAUSTSCALE varchar(256) null comment '排量',
PRODUCTSTATUS varchar(256) null comment '生产状态',
ABSFLAG varchar(256) null comment 'ABS装置标志',
POWERTYPE varchar(256) null comment '燃料种类',
POWERTYPECODE varchar(256) null comment '燃料种类编码',
primary key (BRANDCODE, MODELCODE)
);
CK_ODS/DDL元数据/CD_CAR_USAGE.sql 0 → 100644
View file @ 3a849b8a
-- CD_CAR_USAGE 承保车辆使用性质码表
create table CD_CAR_USAGE
(
CODE varchar(256) not null comment '性质代码'
primary key,
CODEDESC varchar(256) null comment '性质描述'
);
CK_ODS/DDL元数据/CD_COM_ALL.sql 0 → 100644
View file @ 3a849b8a
-- CD_COM_ALL 承保机构信息表
create table CD_COM_ALL
(
COMCODE varchar(256) not null comment '机构代码'
primary key,
COMNAME varchar(256) null comment '机构名称',
LEVEL1COMCODE varchar(256) null comment '一级机构代码',
LEVEL2COMCODE varchar(256) null comment '二级机构代码',
LEVEL3COMCODE varchar(256) null comment '三级机构代码',
LEVEL4COMCODE varchar(256) null comment '四级机构代码',
LEVEL5COMCODE varchar(256) null comment '五级机构代码',
LEVEL1COMDESC varchar(256) null comment '一级机构描述',
LEVEL2COMDESC varchar(256) null comment '二级机构描述',
LEVEL3COMDESC varchar(256) null comment '三级机构描述',
LEVEL4COMDESC varchar(256) null comment '四级机构描述',
LEVEL5COMDESC varchar(256) null comment '五级机构描述',
COMLEVEL decimal(38,2) null comment '机构等级',
VALIDFLAG varchar(256) null comment '有效标志'
);
\ No newline at end of file
CK_ODS/DDL元数据/CD_EAST_CODE_MAPPING.sql 0 → 100644
View file @ 3a849b8a
-- CD_EAST_CODE_MAPPING 业务代码表
create table CD_EAST_CODE_MAPPING
(
BUSINESSCODE varchar(256) not null comment '代码业务编码',
BUSINESSNAME varchar(256) null comment '代码业务描述',
EASTITEMCODE varchar(256) null comment '监管数据项英文名',
EASTITEMNAME varchar(256) null comment '监管数据项中文名',
SOURCEITEMCODE varchar(256) null comment '源系统数据项英文名',
SOURCEITEMNAME varchar(256) null comment '源系统数据项中文名',
EASTNUMCODE varchar(256) null comment '监管标准数字代码',
EASTCODE varchar(256) not null comment '监管标准代码',
EASTNAME varchar(256) null comment '监管标准名称',
EASTREMARK varchar(256) null comment '监管说明',
SOURCECODE varchar(256) null comment '源系统代码',
SOURCENAME varchar(256) null comment '源系统名称',
SOURCEREMARK varchar(256) null comment '源系统说明',
SYSFLAG varchar(256) null comment '系统来源',
VALIDFLAG varchar(256) null comment '有效标志',
STANDARDFLAG varchar(256) null comment '监管标准标志',
REMARK varchar(256) null comment '备注',
OPERATOR varchar(256) null comment '操作人',
UPDATE_TIME datetime null comment '更新时间',
CREATE_TIME datetime null comment '创建时间',
primary key (BUSINESSCODE, EASTCODE)
);
CK_ODS/DDL元数据/CD_NEWCHNLTYPE.sql 0 → 100644
View file @ 3a849b8a
-- CD_NEWCHNLTYPE 承保分清后渠道码表
create table CD_NEWCHNLTYPE
(
NEWCHNLTYPE varchar(256) not null comment '渠道代码'
primary key,
NEWCHNLTYPEDESC varchar(256) null comment '渠道名称'
);
CK_ODS/DDL元数据/CD_REALTIME_RISK.sql 0 → 100644
View file @ 3a849b8a
-- CD_REALTIME_RISK 承保险种码表
create table CD_REALTIME_RISK
(
RISKCODE varchar(256) not null comment '险种代码'
primary key,
RISKNAME varchar(256) null comment '险种名称',
CLASSCODE varchar(256) null comment '险类代码',
CLASSNAME varchar(256) null comment '险类名称'
);
CK_ODS/DDL元数据/CKODSENDOR.sql 0 → 100644
View file @ 3a849b8a
-- 批单业务数据
create table CKODSENDOR (
endorseNo varchar(64), -- 保单号
businessNo varchar(64), -- 业务号
businessOffice varchar(64), -- 保单归属机构代码
productCode varchar(64), -- 险种代码
contendorseTypeCode varchar(64), -- 批改类型代码
clauseName varchar(256), -- 条款名称
endorseTypeCode varchar(64), -- 批改类型
endorseApplyTime varchar(64), -- 批改申请时间
endorseApplicantName varchar(64), -- 批改申请人名称
uwConclueDate varchar(64), -- 核批通过时间
log_time varchar(32)
)
\ No newline at end of file
CK_ODS/DDL元数据/CKODSPOLICY.sql 0 → 100644
View file @ 3a849b8a
-- 保单业务数据
create table CKODSPOLICY(
policyNo varchar(64) , -- 保单号
businessNo varchar(64) , -- 业务号
businessOffice varchar(64) , -- 保单归属机构代码
productCode varchar(64) , -- 险种代码
netPremium varchar(64) , -- 保费（不含税）
premium varchar(64) , -- 保费（含税）
taxFee varchar(64) , -- 增值税税额
shortRateCoefficient varchar(64) , -- 短期费率
shortRateWay varchar(64) , -- 短期费率方式
discountRate varchar(64) , -- 车险费率交强险保费浮动比率
amount varchar(64) , -- 保额
appcustomerName varchar(64) , -- 投保人姓名
appidentifyNumber varchar(64) , -- 投保人统一社会信用代码
appidentifyType varchar(64) , -- 投保人证件类型
pubcustomerName varchar(64) , -- 被保人姓名
pubidentifyNumber varchar(64) , -- 被保人统一社会信用代码
pubidentifyType varchar(64) , -- 被保人证件类型
carcustomerName varchar(64) , -- 车主姓名
caridentifyNumber varchar(64) , -- 车主统一社会信用代码
caridentifyType varchar(64) , -- 车主证件类型
licensePlateNo varchar(64) , -- 车牌号
licenseType varchar(64) , -- 车牌种类
vehiclecode varchar(64) , -- 车辆车型
carKindCode varchar(64) , -- 车辆种类
carUserNatureCode varchar(64) , -- 车辆使用性质
energyTypesCode varchar(64) , -- 能源种类
tradeName varchar(64) , -- 车辆制造厂
seatcount varchar(64) , -- 座位数
exhaustscale varchar(64) , -- 排量
purchaseprice varchar(64) , -- 新车购置价格
vinNo varchar(64) , -- 标的车vin值
passengersNumber varchar(64) , -- 核定载客人数
brandName varchar(64) , -- 车辆品牌名称
actualvalue varchar(64) , -- 车辆实际价值
enrollDate varchar(64) , -- 车辆初次登记日期
startTime varchar(64) , -- 起保日期
endTime varchar(64) , -- 终保日期
conTerReasons varchar(64) , -- 保单终止原因代码
signDate varchar(64) , -- 签单日期
policyCreatDate varchar(64) , -- 保单生成时间
traffAdjVal varchar(64) , -- 交通违法系数
log_time varchar(32)
)
\ No newline at end of file
CK_ODS/承保同步/CK_ODS_CKODSENDOR.sql 0 → 100644
View file @ 3a849b8a
-- CK_ODS_CKODSENDOR CK_ODS_批单业务数据
insert into CK_ODS.CK_ODS_KAFKA.CKODSENDOR -- topic CKODSENDOR
select
s1.endorseNo as endorseNo -- 保单号
, s1.businessNo as businessNo -- 业务号
, s1.businessOffice as businessOffice -- 保单归属机构代码
, s1.productCode as productCode -- 险种代码
, plpEndorse[1].plpEndorseContent[1].endorseTypeCode as contendorseTypeCode -- 批改类型代码
, plpEndorse[1].plpEndorseCommission[1].clauseName as clauseName -- 条款名称
, plpEndorse[1].endorseTypeCode as endorseTypeCode -- 批改类型
, plpEndorse[1].endorseApplyTime as endorseApplyTime -- 批改申请时间
, plpEndorse[1].endorseApplicantName as endorseApplicantName -- 批改申请人名称
, plpEndorse[1].uwConclueDate as uwConclueDate -- 核批通过时间
, DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss') as log_time -- 加工平台处理数据时间
from ODS.ODS_KAFKA.CKODSENDOR s1
;
CK_ODS/承保同步/CK_ODS_CKODSPOLICY.sql 0 → 100644
View file @ 3a849b8a
-- CK_ODS_CKODSPOLICY CK_ODS_保单业务数据
insert into CK_ODS.CK_ODS_KAFKA.CKODSPOLICY -- topic CKODSPOLICY
select
s1.policyNo as policyNo -- 保单号
, s1.businessNo as businessNo -- 业务号
, s1.businessOffice as businessOffice -- 保单归属机构代码
, s1.productCode as productCode -- 险种代码
, s1.netPremium as netPremium -- 保费（不含税）
, s1.premium as premium -- 保费（含税）
, s1.taxFee as taxFee -- 增值税税额
, s1.shortRateCoefficient as shortRateCoefficient -- 短期费率
, s1.shortRateWay as shortRateWay -- 短期费率方式
, s1.discountRate as discountRate -- 车险费率交强险保费浮动比率
, s1.amount as amount -- 保额
, u1.customerName as appcustomerName -- 投保人姓名
, u1.identifyNumber as appidentifyNumber -- 投保人统一社会信用代码
, u1.identifyType as appidentifyType -- 投保人证件类型
, s1.plcPublicInsurant[1].customerName as pubcustomerName -- 被保人姓名
, s1.plcPublicInsurant[1].identifyNumber as pubidentifyNumber -- 被保人统一社会信用代码
, s1.plcPublicInsurant[1].identifyType as pubidentifyType -- 被保人证件类型
, 's1.plcCarowners.customerName ' as carcustomerName -- 车主姓名
, 's1.plcCarowners.identifyNumber' as caridentifyNumber -- 车主统一社会信用代码
, 's1.plcCarowners.identifyType ' as caridentifyType -- 车主证件类型
, s1.plcCar05.licensePlateNo as licensePlateNo -- 车牌号
, s1.plcCar05.licenseType as licenseType -- 车牌种类
, s1.plcCar05.vehiclecode as vehiclecode -- 车辆车型
, s1.plcCar05.carKindCode as carKindCode -- 车辆种类
, s1.plcCar05.carUserNatureCode as carUserNatureCode -- 车辆使用性质
, s1.plcCar05.energyTypesCode as energyTypesCode -- 能源种类
, s1.plcCar05.tradeName as tradeName -- 车辆制造厂
, s1.plcCar05.seatcount as seatcount -- 座位数
, s1.plcCar05.exhaustscale as exhaustscale -- 排量
, s1.plcCar05.purchaseprice as purchaseprice -- 新车购置价格
, s1.plcCar05.vinNo as vinNo -- 标的车vin值
, s1.plcCar05.passengersNumber as passengersNumber -- 核定载客人数
, s1.plcCar05.brandName as brandName -- 车辆品牌名称
, s1.plcCar05.actualvalue as actualvalue -- 车辆实际价值
, s1.plcCar05.enrollDate as enrollDate -- 车辆初次登记日期
, s1.startTime as startTime -- 起保日期
, s1.endTime as endTime -- 起保日期
, s1.conTerReasons as conTerReasons -- 保单终止原因代码
, s1.signDate as signDate -- 签单日期
, s1.policyCreatDate as policyCreatDate -- 保单生成时间
, s1.plcSolution[1].PlcRation.traffAdjVal as traffAdjVal -- 交通违法系数
, DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss') as log_time -- 加工平台处理数据时间
from ODS.ODS_KAFKA.POLICY s1
cross join unnest(s1.plcApplicant) as u1 (customerName,identifyNumber,identifyType)
where left( s1.productCode ,2) = '05'
;
ODS/DDL元数据/ENDOR.sql
View file @ 3a849b8a
......@@ -3,6 +3,8 @@
ENDOR
ENDOR_PLPENDORSE
ENDOR_PLPENDORSE_PLPCOMMISSIONDETAIL
ENDOR_PLPENDORSE_PLPENDORSECONTENT
ENDOR_PLPENDORSE_PLPENDORSECOMMISSION
ENDOR_PLCSOLUTION
ENDOR_PLCSOLUTION_PLCCOINS
ENDOR_PLCSOLUTION_PLCCOINS_PLCCOINSBASICINFORMATION
......
ODS/DDL元数据/POLICY.sql
View file @ 3a849b8a
......@@ -10,6 +10,8 @@ POLICY_PLCSOLUTION_PLCCOINS
POLICY_PLCSOLUTION_PLCCOINS_PLCCOINSBASICINFORMATION
POLICY_PLCSOLUTION_PLCCOINS_PLCLINKBASICINFORMAT
POLICY_PLCSOLUTION_PLCCOMMISSIONDETAIL
POLICY_PLCCAROWNERS
POLICY_PLCCARSHIPTAX
-- 来源：
......@@ -37,17 +39,17 @@ POLICY_PLCSOLUTION_PLCCOMMISSIONDETAIL
carUserNature String , -- 32 车辆使用性质名称
vehicleId String , -- 新核心车险保单-车型
newVehicleFlag String , -- 新核心车险保单-新车标识
actualvalue String , -- 质量校验-实际价值
licenseType String , -- 质量校验-车牌种类
energyTypesCode String , -- 质量校验-能源种类
tradeName String , -- 质量校验-车辆制造厂
seatcount String , -- 质量校验-座位数
exhaustscale String , -- 质量校验-排量
purchaseprice String , -- 质量校验-新车购置价格
vinNo String , -- 质量校验-vin
passengersNumber String , -- 质量校验-核定载客人数
brandName String , -- 质量校验-车辆品牌名称
enrollDate String , -- 质量校验-车辆初次登记日期
actualvalue String , -- 质量校验_实际价值
licenseType String , -- 质量校验_车牌种类
energyTypesCode String , -- 质量校验_能源种类
tradeName String , -- 质量校验_车辆制造厂
seatcount String , -- 质量校验_座位数
exhaustscale String , -- 质量校验_排量
purchaseprice String , -- 质量校验_新车购置价格
vinNo String , -- 质量校验_vin
passengersNumber String , -- 质量校验_核定载客人数
brandName String , -- 质量校验_车辆品牌名称
enrollDate String , -- 质量校验_车辆初次登记日期
),
plcApplicant array<row(
customerName String , -- 18 投保人名称
......@@ -69,7 +71,7 @@ POLICY_PLCSOLUTION_PLCCOMMISSIONDETAIL
PlcRation row(
artifSelfPricesRat String , -- 24 自主定价系数
artifReviewPrem String , -- 新核心车险保单-总保费
traffAdjVal String -- 质量校验-交通违法系数
traffAdjVal String -- 质量校验_交通违法系数
),
plcCoins row(
plcCoinsBasicInformation array<row( -- 共保信息
......@@ -120,15 +122,13 @@ POLICY_PLCSOLUTION_PLCCOMMISSIONDETAIL
shortRateWay String , -- 质量校验_短期费率方式
discountRate String , -- 质量校验_交强险保费浮动比率
conTerReasons String , -- 质量校验_保单终止原因代码
plcCarowners row(
customerName String , -- 质量校验_车主姓名
identifyNumber String , -- 质量校验_车主统一社会信用代
identifyType String -- 质量校验_证件类型
) ,
-- plcCarowners row(
-- customerName String , -- 质量校验_车主姓名
-- identifyNumber String , -- 质量校验_车主统一社会信用代
-- identifyType String -- 质量校验_证件类型
-- ) ,
plcCarShipTax row(
delayPayTax String -- 质量校验_滞纳金总额
)
)
\ No newline at end of file
ODS/DDL元数据/POLICY原始数据2.sql 0 → 100644
View file @ 3a849b8a
This source diff could not be displayed because it is too large. You can view the blob instead.
ODS/DDL元数据/POLICY原始数据3.sql 0 → 100644
View file @ 3a849b8a
This source diff could not be displayed because it is too large. You can view the blob instead.
ODS/数据同步/ODS_ENDOR.sql
View file @ 3a849b8a
......@@ -45,20 +45,20 @@ from ODS.SOURCE_RMQ_ENDOR_PRD.ENDOR
;
-- 记录消费数据总量
insert into ODS.ODS_REDIS.SET_VARCHAR
select
CONCAT('MQ_ENDOR/', LEFT(DataAccEndorUDF( date_time,'get'),10)) as `key` ,
DataAccEndorUDF( date_time,'get') as val
from (
select
DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss') as date_time -- 批单累加器 yyyy-MM-dd:num
from ODS.SOURCE_RMQ_ENDOR_PRD.ENDOR
-- 在select与where条件中同时调用该参数 acc，会执行两次UDF函数 ,所以通过定义函数记录该参数 DataAccEndorLogUDF
where LEFT(DataAccEndorUDF( DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss'),'set'),10) <> 'xxxx-xx-xx' -- 将该参数保留
) s1
;
-- -- 记录消费数据总量
-- insert into ODS.ODS_REDIS.SET_VARCHAR
-- select
-- CONCAT('MQ_ENDOR/', LEFT(DataAccEndorUDF( date_time,'get'),10)) as `key` ,
-- DataAccEndorUDF( date_time,'get') as val
-- from (
-- select
-- DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss') as date_time -- 批单累加器 yyyy-MM-dd:num
-- from ODS.SOURCE_RMQ_ENDOR_PRD.ENDOR
-- -- 在select与where条件中同时调用该参数 acc，会执行两次UDF函数 ,所以通过定义函数记录该参数 DataAccEndorLogUDF
-- where LEFT(DataAccEndorUDF( DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss'),'set'),10) <> 'xxxx-xx-xx' -- 将该参数保留
-- ) s1
--
-- ;
ODS/数据同步/ODS_POLICY.sql
View file @ 3a849b8a
-- ODS_POLICY ODS_保单业务数据
insert into ODS.ODS_KAFKA_FIRSTHAND.POLICY -- topic MQPOLICY
select
policyNo , -- 2 保单号
businessNo , -- 3 业务号
uwConclueDate , -- 4 核保通过时间
businessOffice , -- 5 保单归属机构代码
businessOfficeName , -- 6 保单归属机构名称
productCode , -- 7 险种代码
businessNatureCode , -- 8 业务来源
startTime , -- 9 起保时间
endTime , -- 10 终保时间
netPremium , -- 11 不含税保费
premium , -- 12 含税保费
plcCar05 ,
plcApplicant ,
plcPublicInsurant ,
newPolicyFlag , -- 20 新保标识 1:是，0：否
autoTransrenewFlag , -- 21 自动续保标识 1:是，4：跨险种自动续保，0：否
transferPolicyFlag , -- 22 转保标识1:是，0：否
transrenewFlag , -- 23 续保标识 1:是，4：跨险种续保，0：否
plcSolution ,
saleaman , -- 25 代理机构代码
saleamanName , -- 26 代理机构名称
businessChannelCode , -- 27 业务渠道
businessChannelName , -- 28 业务渠道名
recordClerkCode , -- 34 归属业务员ID
recordClerkName , -- 35 归属业务员名称
staCurAmount , -- 38 保险金额
staCurTaxFee , -- 39 税
policyCreatDate , -- 保单创建时间
sigAndStaExchangeRate , -- 费率
policySort , -- 新核心车险保单-保单种类
businessType , -- 新核心车险保单-业务类型
DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss') as log_time , -- 加工平台处理数据时间
policyNo -- 2 保单号
, businessNo -- 3 业务号
, uwConclueDate -- 4 核保通过时间
, businessOffice -- 5 保单归属机构代码
, businessOfficeName -- 6 保单归属机构名称
, productCode -- 7 险种代码
, businessNatureCode -- 8 业务来源
, startTime -- 9 起保时间
, endTime -- 10 终保时间
, netPremium -- 11 不含税保费
, premium -- 12 含税保费
, plcCar05
, plcApplicant
, plcPublicInsurant
, newPolicyFlag -- 20 新保标识 1:是，0：否
, autoTransrenewFlag -- 21 自动续保标识 1:是，4：跨险种自动续保，0：否
, transferPolicyFlag -- 22 转保标识1:是，0：否
, transrenewFlag -- 23 续保标识 1:是，4：跨险种续保，0：否
, plcSolution
, saleaman -- 25 代理机构代码
, saleamanName -- 26 代理机构名称
, businessChannelCode -- 27 业务渠道
, businessChannelName -- 28 业务渠道名
, recordClerkCode -- 34 归属业务员ID
, recordClerkName -- 35 归属业务员名称
, staCurAmount -- 38 保险金额
, staCurTaxFee -- 39 税
, policyCreatDate -- 保单创建时间
, sigAndStaExchangeRate -- 费率
, policySort -- 新核心车险保单-保单种类
, businessType -- 新核心车险保单-业务类型
, DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss') as log_time -- 加工平台处理数据时间
channelType , -- 指标新增_渠道类型
signDate , -- 指标新增_保单统计日期
mainSalesmanCode , -- 指标新增_归属业务员ID
mainSalesmanName , -- 指标新增_归属业务员名称
coinsCode , -- 指标新增_共保标识代码 0 非共保 1，主共，2从共,车险无共保，仅有联保
coinsLinkCode , -- 指标新增_联保标志代码 0 非联保 3，主联，4从联
amount , -- 指标新增_保额
actualId -- 指标新增_唯一标识需验证
, channelType -- 指标新增_渠道类型
, signDate -- 指标新增_保单统计日期
, mainSalesmanCode -- 指标新增_归属业务员ID
, mainSalesmanName -- 指标新增_归属业务员名称
, coinsCode -- 指标新增_共保标识代码 0 非共保 1，主共，2从共,车险无共保，仅有联保
, coinsLinkCode -- 指标新增_联保标志代码 0 非联保 3，主联，4从联
, amount -- 指标新增_保额
, actualId -- 指标新增_唯一标识需验证
from ODS.SOURCE_RMQ_POLICY_PRD.POLICY
;
, taxFee -- 质量校验_增值税税额
, shortRateCoefficient -- 质量校验_短期费率
, shortRateWay -- 质量校验_短期费率方式
, discountRate -- 质量校验_交强险保费浮动比率
, conTerReasons -- 质量校验_保单终止原因代码
-- , plcCarowners
, plcCarShipTax
-- 记录消费数据总量
insert into ODS.ODS_REDIS.SET_VARCHAR
select
CONCAT('MQ_POLICY/', LEFT(DataAccPolicyUDF( date_time,'get'),10)) as `key` ,
DataAccPolicyUDF( date_time,'get') as val
from (
select
DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss') as date_time -- 批单累加器 yyyy-MM-dd:num
from ODS.SOURCE_RMQ_POLICY_PRD.POLICY
-- 在select与where条件中同时调用该参数 acc，会执行两次UDF函数 ,所以通过定义函数记录该参数 DataAccEndorLogUDF
where LEFT(DataAccPolicyUDF( DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss'),'set'),10) <> 'xxxx-xx-xx' -- 将该参数保留
) s1
from ODS.SOURCE_RMQ_POLICY_PRD.POLICY
;
--
-- -- 记录消费数据总量 重启flink后当天失效
-- insert into ODS.ODS_REDIS.SET_VARCHAR
-- select
-- CONCAT('MQ_POLICY/', LEFT(DataAccPolicyUDF( date_time,'get'),10)) as `key` ,
-- DataAccPolicyUDF( date_time,'get') as val
-- from (
-- select
-- DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss') as date_time -- 批单累加器 yyyy-MM-dd:num
-- from ODS.SOURCE_RMQ_POLICY_PRD.POLICY
-- -- 在select与where条件中同时调用该参数 acc，会执行两次UDF函数 ,所以通过定义函数记录该参数 DataAccEndorLogUDF
-- where LEFT(DataAccPolicyUDF( DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss'),'set'),10) <> 'xxxx-xx-xx' -- 将该参数保留
-- ) s1
-- ;
......
ODS/数据清洗/DUPLICK_POLICY.sql
View file @ 3a849b8a
-- DUPLICK_POLICY DUPLICK_保单业务数据
insert into ODS.ODS_KAFKA.POLICY -- topic POLICY
select
policyNo , -- 2 保单号
businessNo , -- 3 业务号
uwConclueDate , -- 4 核保通过时间
businessOffice , -- 5 保单归属机构代码
businessOfficeName , -- 6 保单归属机构名称
productCode , -- 7 险种代码
businessNatureCode , -- 8 业务来源
startTime , -- 9 起保时间
endTime , -- 10 终保时间
netPremium , -- 11 不含税保费
premium , -- 12 含税保费
plcCar05 ,
plcApplicant ,
plcPublicInsurant ,
newPolicyFlag , -- 20 新保标识 1:是，0：否
autoTransrenewFlag , -- 21 自动续保标识 1:是，4：跨险种自动续保，0：否
transferPolicyFlag , -- 22 转保标识1:是，0：否
transrenewFlag , -- 23 续保标识 1:是，4：跨险种续保，0：否
plcSolution ,
saleaman , -- 25 代理机构代码
saleamanName , -- 26 代理机构名称
businessChannelCode , -- 27 业务渠道
businessChannelName , -- 28 业务渠道名
recordClerkCode , -- 34 归属业务员ID
recordClerkName , -- 35 归属业务员名称
staCurAmount , -- 38 保险金额
staCurTaxFee , -- 39 税
policyCreatDate , -- 保单创建时间
sigAndStaExchangeRate , -- 费率
policySort , -- 新核心车险保单-保单种类
businessType , -- 新核心车险保单-业务类型
DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss') as log_time , -- 加工平台处理数据时间
policyNo -- 2 保单号
, businessNo -- 3 业务号
, uwConclueDate -- 4 核保通过时间
, businessOffice -- 5 保单归属机构代码
, businessOfficeName -- 6 保单归属机构名称
, productCode -- 7 险种代码
, businessNatureCode -- 8 业务来源
, startTime -- 9 起保时间
, endTime -- 10 终保时间
, netPremium -- 11 不含税保费
, premium -- 12 含税保费
, plcCar05
, plcApplicant
, plcPublicInsurant
, newPolicyFlag -- 20 新保标识 1:是，0：否
, autoTransrenewFlag -- 21 自动续保标识 1:是，4：跨险种自动续保，0：否
, transferPolicyFlag -- 22 转保标识1:是，0：否
, transrenewFlag -- 23 续保标识 1:是，4：跨险种续保，0：否
, plcSolution
, saleaman -- 25 代理机构代码
, saleamanName -- 26 代理机构名称
, businessChannelCode -- 27 业务渠道
, businessChannelName -- 28 业务渠道名
, recordClerkCode -- 34 归属业务员ID
, recordClerkName -- 35 归属业务员名称
, staCurAmount -- 38 保险金额
, staCurTaxFee -- 39 税
, policyCreatDate -- 保单创建时间
, sigAndStaExchangeRate -- 费率
, policySort -- 新核心车险保单-保单种类
, businessType -- 新核心车险保单-业务类型
, DATE_FORMAT(LOCALTIMESTAMP,'yyyy-MM-dd HH:mm:ss') as log_time -- 加工平台处理数据时间
channelType , -- 指标新增_渠道类型
signDate , -- 指标新增_保单统计日期
mainSalesmanCode , -- 指标新增_归属业务员ID
mainSalesmanName , -- 指标新增_归属业务员名称
coinsCode , -- 指标新增_共保标识代码 0 非共保 1，主共，2从共,车险无共保，仅有联保
coinsLinkCode , -- 指标新增_联保标志代码 0 非联保 3，主联，4从联
amount , -- 指标新增_保额
actualId -- 指标新增_唯一标识需验证
, channelType -- 指标新增_渠道类型
, signDate -- 指标新增_保单统计日期
, mainSalesmanCode -- 指标新增_归属业务员ID
, mainSalesmanName -- 指标新增_归属业务员名称
, coinsCode -- 指标新增_共保标识代码 0 非共保 1，主共，2从共,车险无共保，仅有联保
, coinsLinkCode -- 指标新增_联保标志代码 0 非联保 3，主联，4从联
, amount -- 指标新增_保额
, actualId -- 指标新增_唯一标识需验证
, taxFee -- 质量校验_增值税税额
, shortRateCoefficient -- 质量校验_短期费率
, shortRateWay -- 质量校验_短期费率方式
, discountRate -- 质量校验_交强险保费浮动比率
, conTerReasons -- 质量校验_保单终止原因代码
, plcCarowners
, plcCarShipTax
from ODS.ODS_KAFKA_FIRSTHAND.POLICY -- topic MQPOLICY
where DuplicateCheckingPolicyUDF(MD5(ConcatObjUDF(COALESCE(policyNo,businessNo),businessOffice,`netPremium`))) is not true
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment

版权所有@2016-2024 北京云端微服科技有限公司