(最佳)建立数据整合分析(GDIA)系统的探索与应用

摘 要

前言步入21世纪以来,企业信息化技术日新月异,网络通信手段更趋发达,各行各业纷纷加快企业信息化建设的步伐,燃气行业也紧随着全球信息化的潮流,信息化产品和技术应用覆盖燃气销售

前言
步入21世纪以来,企业信息化技术日新月异,网络通信手段更趋发达,各行各业纷纷加快企业信息化建设的步伐,燃气行业也紧随着全球信息化的潮流,信息化产品和技术应用覆盖燃气销售、计量、安全、服务、业务、输配、工程、管理等各个领域,各个应用系统已成为燃气企业日常运营过程中不可或缺的重要支撑。
1 燃气市北公司信息化建设概况
上海燃气市北销售有限公司成立于2000年10月26日,隶属于上海燃气集团,是专业从事燃气发展、销售服务、输配管理的国有独资企业。公司现有燃气用户205万,6000多km的高中低压燃气管网及附属设备,年销售燃气20亿元。公司主要设计划财务、销售服务、市场、物资、信息、输配管理等18个部门,以及分布于上海市北6个行政区的20余个服务站点。
公司设有唯一中心机房,凭借有线通VPN为骨干的公司城域网,运用各大应用系统支撑着公司的业务发展、工程管理、销售账务、输配等企业日常行作。在销售服务与输配管理领域内分布建立起的软件系统主要有:
(1) 《客户信息管理系统》,是使用部门、使用员工最多,贯穿公司民用业务、账务、安检、在线表务、安检、用户分类、气价体系、发票管理等业务流程的综合性信息管理系统,承担公司主营业务的日常运营和操作管理。
(2) 《IC卡燃气表充值管理系统》,承担了近23万用户的IC卡日常的预付费充值及相关管理操作,系统实现了读写设备与协议的兼容以及银行联网实时充值,并利用远传抄表数据与《客户信息管理系统》关联,实现了用户实际用量与预付金额间的比对控制与管理。
(3)《业务与工程管理信息系统》,该系统通过工作流引擎负担市场、工程管理、施工、输配、销售服务等部及各网点30多种不同的住宅配套、排管工人员数量控制在一个更为合理的域值。此外,可考虑建立淘汰退出机制。通过对员工的绩效考评,与那些无法胜任、懒散且不能融入正常管理轨道的员工解除劳动合同,既能减少企业的人力成本,提高员工的工作效率,反过来,对员工也是一种激励,使他们能够更好地、更塌实地工作。程、市场发展等业务处理,实现了工作流程规范化、管理过程中信息动态展现与报表字段自由配置功能。
(4) 《SCADA系统》,实现对包括储配站、各类调压站、大型用户、区域计量站的运行状态监测与报警查询,是输配管理部、销售服务部、计划财务部等相关部门保障供应、分析、预测的重要系统依托。
(5) 《物流管理系统》,该系统涵盖了公司全部物资采购供应管理流程,2009年引入了办事处二级仓库管理的流程,通过与《客户信息管理系统》的数据交互,实现了对燃气表生命周期的全过程管理。
(6) 《GIS系统》,对公司各级调压站、管网相关设备及用户空间信息、属性数据、拓扑关系实现一体化管理,支撑着公司输配部门管网规划、配套施工、急抢修、天然气转换等日常工作。
(7) 报修、投诉等系统。监督处理燃气客户来电报修、表务账务、投诉等信息,记录受理、处理、销根全过程状态及信息,在服务管理中起着重要作用。
(8) 还有OA办公自动化、短信息群发、用友财务、人力资源等其他软件系统。
以上系统长期以来虽然一直有效地保障着公司销售、服务、管理、运营等各项工作,积累了大量而又相对独立的用户、销售、账务、设备、管网等公司关心的数据信息,但随着管理要求的不断深入与细化,无论是决策层还是管理层,对数据进行深层次分析挖掘和提高信息综合应用水平的需求日益提高,这些系统数据间没有建立起有效的关联关系,多系统数据孤岛的问题日益显现。
为了解决数据分散独立的现状,公司于2009年初正式启动“GDIA系统项目”,旨在探究有效的技术方法和手段,在各系统间建立起数据纽带与交互机制,将各个数据库中公司关心却没能有效组织的数据信息整合展现到统一直观的GDIA系统平台中来,GDIA系统作为信息数据整合的试基石,在燃气市北公司整个信息化进程中起着承前启后的深远作用。
2 GDIA系统技术介绍
2.1 系统概述
GDIA平台是一套以GIS为基础,通过标准化接口整合各类与地理空间有关的业务数据,采用web化模式与标准化BI(商业智能)模板进行数据展示和分析的通用平台,该平台具有“集成化、web化、智能化、通用化”特点。
2.2 系统架构
GDIA平台主要由系统配置管理、GIS展示部分、商业智能处理部分与整合接口四部分组成。其中GIS数据导入接口部分支持主力GIS平台数据格式与CAD数据格式等,业务数据接口支持Web Service、XML等格式。总体结构如图1所示:
 
2.3 数据仓库与数据同步
数据仓库(Data warehouse)是指从多个数据源收集的信息,以一种一致的存储方式保存所得到的数据集合。数据仓库创始人之一W.H.Inmon的定义为:“数据仓库是一个面向主题的、集成的、稳定的、包含历史数据的数据集合,它用于支持管理中的决策制定过程”。在构造数据仓库时,要经过数据的清洗、数据的抽取转换、数据集成和数据加载等过程。面向不同的需求,对数据进行清洗以保证数据的正确性,然后对数据进行抽取,转换成数据仓库所需形式,并实现加载到数据仓库。
GDIA系统数据主要来源于《客户信息管理系统》、《业务与工程管理信息系统》、《SCADA系统》、《物流管理系统》、《IC卡燃气表充值管理系统》,通过中间接口将这些系统内的数据按照字段规则导入GDIA数据仓库之中,并根据不同系统数据的关心程度建立不同周期的同步机制。示意图见图2。
 
3 GDIA系统的主要功能
GDIA系统不同于公司原有应用功能较单一软件系统,它通过数据的整合、关联、分析,主要实现了用户基本分析、区域计量与产销差分析、业务发展与燃气销售关系分析、燃气表务管理、IC卡燃气表应用分析、BI多维展现等功能。下面举例说明与以往软件系统数据分析不同的几项功能:
3.1 表务跟踪分析
通过代表表具唯一身份的条码将《客户信息管理系统》的新装、调表、校表、拆表、销售数据与《物流管理系统》的表具采购入库、领用出库、退库等信息进行关联整合,使得公司从物资管理部门至基层办事处把燃气表具入库、领用出库、安装、在线、调表、使用、报废等情况严格地串联管理起来,将原来简单的数量、型号管理提升为单个表具的身份管理及定位管理,用系统数据替代了原先的手工台帐,让管理者详尽地了解各办事处仓库的燃气表入库、出库与上线安装情况。
如图3管理者按条码查询单个表具时,系统将表具的出产地、型号、生产日期、表能量、出入库、领用安装信息,用户的历史调表记录、调表原因信息等多系统数据展现在同一界面上,通过各个环节操作日期与用户调表记录的分析,管理者可直观从中发现表具管理过程中的问题与不足,以及用户气行为的情况。
 

3.2 业务发展分析
关联《业务与工程信息管理系统》中的计划用气量与《客户信息管理系统》的抄见量以及《SCADA系统》的远传遥测量进行对比分析,如图4显示,通过折线图、柱状图不同颜色展现时间段内计划用气量、抄见量、远传数据曲线,实现了设计、年度月度计划、实际用量的实时展现,形成遥测流量与实际抄见量之间的相互补充与相互监督,为管理部门对考核抄见量的准确性、监测SCADA流量仪的稳定性及设计表能量的科学性提供数据支撑与技术手段。
5则显示了按住宅配套项目编号查询对比通气计划数与安装户数的差异,计算各住宅配套项目燃气安装比例,并根据项目发单日期的长短分析安装比例高低,分析导致安装比例低的原因,发现潜在用户的违规用气行为。
 
3.3 区域计量产销差分析
GIS地理图层上标定区域流量计,通过GDIA系统将两数据源的数据进行整合,将《SCACA系统》流量计测点数与《客户信息管理系统》中该区域用户账本信息配对绑定,清晰的反映抄表月份区域内购入与实际销售量的差异,高效地获取区域产销差的准确数据,摆脱以往手工摘录事后拼揍的统计方式,为职能部门与管理者提供区域产销差分析基础数据(见图6)。
 
3.4 BI数据分析工具
传统的报表系统技术上已经相当成熟,大家熟悉的Excel、水晶报表、Reporting Service等都已经被广泛使用,但这些都只是低端的BI应用,往往存在着数据多信息少,难以交互分析、了解各种组合的问题。
GDIA系统发挥了BI技术的数据挖掘与下钻能力,将着重关心的抄见率与欠费指标按用气性质、年月、类别、办别等多维度层层分解,通过分解树或折线图的形式加以展现。以图7抄见率所示抄见率按不同用户性质的简号,不同颜色分类描绘每个月的抄见率指数,管理者可自行显示或隐藏每条曲线,对不同的用户性质进行对比分析,改变了传统报表的单一与死板,增加了管理者对这类指标的考核展示的自主性与灵活性。
 
传统的报表多以行列分布,很难实现数据层层展示,GDIA系统利用BI技术突破了传统报表的框架。如图8欠费分解树为例,以用户性质作为第一层、年份作为第二层、月份作为第三层、日期作为第四层,不仅将欠费情况分解到不同的用户性质,直观的展现出欠费用户的结构,同时还根据不同的年份、月份、日期让管理者清晰的了解不同用户性质欠费年趋势、月趋势、年对比、月对比,便于管理者及时调整对策,增强欠款催讨管理力度。
 
3.5 IC卡表
利用客户编号将《客户信息管理系统》中安检摘录数(机械、液晶余量)、定期采集到的无线远传数据与《IC卡燃气表充值管理系统》内充值数据进行比较,了解用户表具阀门状况、表具当前单价、表具总金额(使用金额、剩余金额)、系统购买量等数据,有效掌握表具的运行情况,及时发现表机械透支使用、表具使用总量超过购买量等异常情况,通过条件筛选列出异常用户的列表,代替传统管理者人工逐户比较费时费力的问题。同时能对无线远传表上的使用量及剩余量情况进行有效分析,为准确统计IC卡表区域产销差与用气单耗情况提供数据依据(见图9)。
 
4 GDIA平台在管理中的应用
4.1 多维度实现用户销售分析
GDIA通过抽取用户各类数据,整合了以册本为单位的民用销售数据和每个非民用销售数据,提供了多维度、不同层面的数据分析和评估。
其中对不同类别用户以燃气表主题、燃气销售量、欠费信息、注销信息、回收率、抄见率等销售属性为参数进行整合分析和关联比较,使原先各类孤立的、不易分解比较的销售数据在统一平台得以展现并实现综合分析和研究。
再者,GDIA系统对各类分析结果运用不同颜色呈现在地理坐标上,使得该系统使用者能够直观清晰地从用户属地、用气性质、用户状态、表具类型等多个角度了解到各类用户的销售情况,从而实现单一用户或一类用户的基本信息以及应收账款的分析。
4.2 方便大用户管理分析
GDIA系统实现了GIS大客户定位,并整合大用户SCADA数据,实现大客户基本信息、用气信息的展示,实现销售同比环比分析、同类型多用户比较分析、合同计划与实际用量的分析等多方面的功能。大用户管理的相关数据在一个平台以图表的形式展现,使得各类数据分析更直观和简洁,使应用者可以方便的了解大用户的生产用气状况和计量状况,确保大用户销售计量准确,遥测流量与实际抄见量之间的相互补充与相互监督,也使管理者实时监控大用户的计划用气和实际用气情况,及时掌握情况,及时分析和处理出现的相关问题。
4.3 协助市场发展分析,制定发展策略
GDIA整合业务发展信息、SCADA数据以及用户抄表数据,综合分析市场发展的计划销售量、实际实现销售量和SCADA数据,来评估市场发展过程中销售计量预测的准确性、合理性。通过分析,能够掌握用户实际用气情况、燃具负荷与设计的差异,及时发现计量表配置的问题,减少工程设计与实际差异导致的计量问题,同时也能为业务部门市场发展工作提供参考依据。
另外,通过整合住宅项目业务数据和客户系统的民用户发展数据,将每一个住宅发展项目的通气安装比例呈现在平台应用者面前,准确了解和掌握民用户发展的动态状况和空间,同时可根据楼市发展状态,为预测住宅项目发展周期和新发展民用户销售增量提供参考数据。
4.4 全新的数据挖掘工具
GDIA系统对数据挖据及BI展现作了有意义的尝试。BI展现技术可按使用者的不同管理思路和需要,进行多维度的自由分解展现,系统实现了抄见率、账款回收等指标的深层挖掘和分解下钻,为管理者提供了全新的分析角度,起到了抄表销售管理和账务管理的辅助决策工具的作用。该功能的实现也对使用者提出了很高要求,使用者不仅要熟练掌握各类业务流程及熟悉系统数据结构,同时需要具备相当广度与深度的管理分析能力。
4.5 其他管理成效
GDIA系统建立的过程中,特别是在初次数据导入整合后在GIS平台上分色展现时,我们及时发现了应用系统中的部分数据缺失和错误,也发现了一些数据输入的滞后导致数据整合后同界面展现时出现信息不对称不连贯的现象,这是在日常业务操作中,数据信息输入的及时准确不受管理者重视所导致,同时也反映出系统软件在部分管理控制功能上的缺失。因此,我们先后对部分业务操作流程做了调整,对数据输入时限也做了要求,同时对部分系统功能模块做了完善,从技术保障上减少信息错误,使公司部分业务管理流程更精细、严谨,有效。
5 GDIA系统建立的意见与发展
5.1 GDIA系统成功建立的意见
GDIA系统的开发应用弥补了燃气行业数据整合(ERP)领域的空白,跨出了企业信息化建设中重要一步,为企业系统集成工作提供了新的思路、新的途径,解决燃气企业在信息化建设中形成的数据分散、数据孤立、数据不一的问题。同时GDIA系统开发过程,亦是企业信息化系统数据梳理的过程,发现解决了日常不易发现的错误数据,规范了数据字段的类型定义,为信息化建设的进一步推进积累经验和提供指导。
5.2 GDIA系统今后的发展
GDIA作为一个新兴的系统与技术,在其完善与开发上将进一步扩大各应用系统的整合数据范围和数据周期,针对各个业务信息系统特点,抽取必要的历史数据并保证新增数据可以持续整合到该平台,提高数据分析的深度和广度,扩大每个业务系统的数据整合范围,为决策、支持、管理提供数基础与依据。逐步建立量化指标即制定企业的KPI(Key Performance Indication,关键性能指标),对KPI进行计算并以KPI状态(达标、良好、有问题、严重问题)的形式进行展现,为监控企业运营状态、科学决策提供直观的依据。
同时可考虑建立应用的分级机制,将整个整合与分析平台的应用层面划分为公司决策层与业务主管层,并根据不同权限使不同层面使用人员可以访问不同的数据范围。针对公司决策者建立整合面广、直观、关联性强的分析展示主题,针对某一单一业务领域的业务主管,建立粒度小、条件丰富、组合灵活的分析主题,以进一步满足企业各类需要。
 
(本文作者:厉戌吟 俞霆 上海燃气市北销售有限公司 200021)