CN103778066B - 数据处理方法和装置 - Google Patents
数据处理方法和装置 Download PDFInfo
- Publication number
- CN103778066B CN103778066B CN201410035027.4A CN201410035027A CN103778066B CN 103778066 B CN103778066 B CN 103778066B CN 201410035027 A CN201410035027 A CN 201410035027A CN 103778066 B CN103778066 B CN 103778066B
- Authority
- CN
- China
- Prior art keywords
- data
- updated
- communication area
- database systems
- sequence number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明提供了一种数据处理方法和装置,其中,该方法包括:获取待处理指令,其中,所述待处理指令中携带有:待处理数据和数据标识;读取基础信息通讯区中所述数据标识对应的基础数据,其中,所述基础数据是从数据库系统中读取并存储到所述基础信息通讯区中的;根据所述基础数据对所述待处理数据进行处理,将处理后得到的待更新数据登记到数据更新通讯区;在数据更新通讯区中的数据满足预设条件的情况下,将所述数据更新通讯区中的待更新数据更新到数据库系统中。本发明实施例解决了现有技术中需要频繁访问数据库系统而导致的数据库系统的数据处理效率低下的技术问题,达到了有效提高处理效率的技术效果。
Description
技术领域
本发明涉及计算机数据存储技术领域,特别是涉及一种数据处理方法和装置。
背景技术
随着企业信息系统使用越来越广泛,企业信息系统需要处理的数据也越来越多,系统内部的逻辑结构也越来越复杂。因此,如何提高系统效率成为了对企业信息系统研究的主要方向。数据库系统是企业信息系统的核心部位,许多的应用系统都需要访问数据库系统,然而,目前数据库系统是企业信息系统的瓶颈。例如:企业客户办理了一笔业务,在进行数据处理时,一般涉及许多个会计分录处理,而每个会计分录处理都会涉及到入账、登记明细、登记日志等操作,这样应用系统就需要反复不断地访问数据库系统,每次访问都涉及建立连接、数据传输、以及数据处理等过程。这样势必会导致应用系统与数据库系统之间的多次连接,数据库系统的资源消耗较大,大大降低了整个企业信息系统数据处理与运行的效率。
发明内容
本发明实施例提供了一种数据处理方法,以达到减少数据库系统的资源消耗,提高数据处理效率的目的,该方法包括:
获取待处理指令,其中,所述待处理指令中携带有:待处理数据和数据标识;
读取基础信息通讯区中所述数据标识对应的基础数据,其中,所述基础数据是从数据库系统中读取并存储到所述基础信息通讯区中的;
根据所述基础数据对所述待处理数据进行处理,将处理后得到的待更新数据登记到数据更新通讯区;
在数据更新通讯区中的数据满足预设条件的情况下,将所述数据更新通讯区中的待更新数据更新到数据库系统中。
在一个实施例中,在读取基础信息通讯区中所述数据标识对应的基础数据之前,所述方法还包括:
确定是否是第一次接收到携带有所述数据标识的待处理指令;
如果是,则连接到所述数据库系统;
读取所述数据库系统中所述数据标识的基础数据;
将从所述数据库系统中读取的所述数据标识的基础数据存储到所述基础信息通讯区中。
在一个实施例中,在数据更新通讯区中的数据满足预设条件的情况下,将所述数据更新通讯区中与所述数据标识对应的待更新数据更新到数据库系统中,包括:
当所述数据更新通讯区中的待更新数据达到预设的数据量,或者是待更新数据在所述数据更新通讯区中的时间达到预设时间阈值时,将所述数据更新通讯区中与所述数据标识对应的待更新数据更新到所述数据库系统中。
在一个实施例中,将处理后得到的待更新数据登记到数据更新通讯区,包括:
获取需要更新到数据库系统中的序号集,其中,所述序号集是所有与所述数据标识对应的待更新数据的序号的集合;
对所述序号集中的序号进行排序;
根据排序后的序号集从所述数据更新通讯区中逐个读取待更新数据;
将读取的待更新数据更新到所述数据库系统中。
在一个实施例中,在对所述待处理数据进行处理之后,将处理后得到的待更新数据登记到数据更新通讯区之前,所述方法包括:
调用序号发生器生成对应于该待更新数据的序号。
本发明实施例还提供了一种数据处理装置,以达到减少数据库系统的资源消耗,提高数据处理效率的目的,该装置包括:
获取模块,用于获取待处理指令,其中,所述待处理指令中携带有:待处理数据和数据标识;
第一读取模块,用于读取基础信息通讯区中所述数据标识对应的基础数据,其中,所述基础数据是从数据库系统中读取并存储到所述基础信息通讯区中的;
处理模块,用于根据所述基础数据对所述待处理数据进行处理,将处理后得到的待更新数据登记到数据更新通讯区;
更新模块,用于在数据更新通讯区中的数据满足预设条件的情况下,将所述数据更新通讯区中的待更新数据更新到数据库系统中。
在一个实施例中,上述数据处理装置还包括:
确定模块,用于在读取基础信息通讯区中所述数据标识对应的基础数据之前,确定是否是第一次接收到携带有所述数据标识的待处理指令;
连接模块,用于在所述确定模块确定是第一次的情况下,连接到所述数据库系统;
第二读取模块,用于读取所述数据库系统中所述数据标识的基础数据;
存储模块,用于将从所述数据库系统中读取的所述数据标识的基础数据存储到所述基础信息通讯区中。
在一个实施例中,所述更新模块具体用于当所述数据更新通讯区中的待更新数据达到预设的数据量,或者是待更新数据在所述数据更新通讯区中的时间达到预设时间阈值时,将所述数据更新通讯区中与所述数据标识对应的待更新数据更新到所述数据库系统中。
在一个实施例中,所述更新模块包括:
获取单元,用于获取需要更新到数据库系统中的序号集,其中,所述序号集是所有与所述数据标识对应的待更新数据的序号的集合;
排序单元,用于对所述序号集中的序号进行排序;
读取单元,用于根据排序后的序号集从所述数据更新通讯区中逐个读取待更新数据;
更新单元,用于将读取的待更新数据更新到所述数据库系统中。
在一个实施例中,上述数据处理装置还包括:
调用模块,用于在对所述待处理数据进行处理之后,将处理后得到的待更新数据登记到数据更新通讯区之前,调用序号发生器生成对应于该待更新数据的序号。
在本发明实施例中,将基础数据预先从数据库系统中存储到基础信息通讯区中,在需要获取基础数据的时候,直接从基础信息通讯区中获取即可,对于处理后得到的待更新数据先存储到数据更新通讯区中,然后再统一更新到数据库系统中,通过上述方式解决了现有技术中需要频繁访问数据库系统而导致的数据库系统的数据处理效率低下的技术问题,达到了有效提高处理效率的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。在附图中:
图1是本发明实施例的数据处理方法的流程图;
图2是本发明实施例的数据存储系统的结构示意图;
图3是本发明实施例的应用程序的流程图;
图4是本发明实施例的总控及接口单元的流程图;
图5是本发明实施例的总控及接口单元的流程图;
图6是本发明实施例的基础信息获取单元的流程图;
图7是本发明实施例的基础信息通讯区访问单元的流程图;
图8是本发明实施例的数据更新通讯区访问单元的流程图;
图9是本发明实施例的通讯区监控单元的流程图;
图10是本发明实施例的更新数据存入单元的流程图;
图11是本发明实施例的数据处理装置的结构框图。
具体实施方式
本发明实施例提供了一种数据处理方法,如图1所示,包括以下步骤:
步骤101:获取待处理指令,其中,所述待处理指令中携带有:待处理数据和数据标识;
步骤102:读取基础信息通讯区中所述数据标识对应的基础数据,其中,所述基础数据是被预先从数据库系统中读取并存储到所述基础信息通讯区中的;
步骤103:根据所述基础数据对对所述待处理数据进行处理,将处理后得到的待更新数据登记到数据更新通讯区;
步骤104:在数据更新通讯区中的数据满足预设条件的情况下,将所述数据更新通讯区中的待更新数据更新到数据库系统中。
在上述实施例中,将基础数据预先从数据库系统中存储到基础信息通讯区中,在需要获取基础数据的时候,直接从基础信息通讯区中获取即可,对于处理后得到的待更新数据先存储到数据更新通讯区中,然后再统一更新到数据库系统中,通过上述方式解决了现有技术中需要频繁访问数据库系统而导致的数据库系统的数据处理效率低下的技术问题,达到了有效提高处理效率的技术效果。
上述的基础信息通讯区可以是一种快速存储区域,例如:计算机系统的内存储器,上述的基础数据指代对待处理数据进行处理时,所依赖的公共数据,例如:对一个账户上的金额进行更新操作时,需要知道该账户的户名、地点等信息,这些信息就属于基础数据的范畴,这样如果需要多次对待处理数据进行处理,那么就可能需要多次用到相同的基础数据。
考虑到需要找一个将数据库系统中的数据存储到基础信息通讯区中的时间,在一个实施例中,可以在第一次接收到某个数据表示的待处理指令时,连接数据库系统,将数据存储到基础信息通讯区中,例如可以采用以下方式将基础数据预先从数据库系统中存储到所述基础信息通讯区中:在读取基础信息通讯区中所述数据标识对应的基础数据之前,确定是否是第一次接收到携带有所述数据标识的待处理指令;如果是,则连接到所述数据库系统;读取所述数据库系统中所述数据标识的基础数据;将从所述数据库系统中读取的所述数据标识的基础数据存储到所述基础信息通讯区中。
考虑到在将数据更新通讯区中的待更新数据更新到数据库系统中的更新频率的合理性,在一个实施例中,在数据更新通讯区中的数据满足预设条件的情况下,将所述数据更新通讯区中与所述数据标识对应的待更新数据更新到数据库系统中,可以包括:当所述数据更新通讯区中的待更新数据达到预设的数据量,或者是待更新数据在所述数据更新通讯区中的时间达到预设时间阈值时,将所述数据更新通讯区中与所述数据标识对应的待更新数据更新到所述数据库系统中。即,在数据更新通讯区中的数据量达到预定的值,或者是存储的时间达到预定值的情况下,就集中性一次将数据更新通讯区中的数据统一更新到数据库系统中。
在一个实施例中,登记到数据更新通讯区中的待更新数据的主键可以包括:数据标识和待更新数据的序号,通过序号来标识数据。具体的,该序号可以是在对所述待处理数据进行处理之后,将处理后得到的待更新数据登记到数据更新通讯区之前,调用序号发生器生成的。
在将数据更新通讯区中与所述数据标识对应的待更新数据更新到数据库系统中的过程中,为了保证数据可以按照顺序有效地更新到数据库系统,可以按照以下步骤进行:
步骤1:获取需要更新到数据库系统中的序号集,其中,所述序号集是所有所述数据标识对应的待更新数据的序号的集合,即,序号就是对待更新数据进行编号,以保证后续对其的处理不被遗漏或重复;
步骤2:对所述序号集中的序号进行排序;
步骤3:根据排序后的序号集从所述数据更新通讯区中逐个读取待更新数据;
步骤4:将读取的待更新数据更新到所述数据库系统中。
本发明实施例还提供了一个具体的实施例来对本发明进行具体描述,然而值得注意的是,该具体实施例仅是为了更好地描述本发明,并不构成对本发明的不当限定。
在本例中,提供了一种基于总线的数据存储系统和方法,运用数据总线对数据进行统一的存入、读取和传输操作。
有两类公用通讯区:
1)一类保存的是基础信息,即应用程序在进行数据处理时先要从数据库中获得基础信息,例如:客户信息,其主键是数据标识(ID),将该区域命名为基础信息通讯区;
2)另一类保存的是待处理数据信息,即应用系统要将这类数据更新到数据库系统中,例如:会计分录信息,主键是数据标识+序号,序号可以是待处理数据的流水号,将该区域命名为数据更新通讯区。
对于同一数据标识的待处理数据,第一笔待处理数据在处理的时候,可以先连接到数据库中,将该数据标识的基础信息读取到基础信息通讯区中,对于后续的对该数据标识的其它待处理数据(即除第一笔外的待处理数据)进行处理时,读取基础信息通讯区中的基础数据以替代连接数据库系统读取基础数据。
对于每个待处理数据,在经过处理之后,并不直接更新到数据库系统中,而是先登记到数据更新通讯区中,等到数据更新通讯区中的待更新数据达到一定数据量或者达到预定时间后,自动地将数据更新通讯区中的待更新数据统一更新到数据库系统中。从数据库系统读取数据到“基础信息通讯区”和将“数据更新通讯区”中的数据更新到数据库系统中可以是通过专门的数据总线处理装置完成的,应用程序仅需要与“基础信息通讯区”和“数据更新通讯区”进行数据交换即可。因此,“基础信息通讯区”和“数据更新通讯区”就形成了应用程序数据存取的总线,所谓总线就是在计算机系统中,负责与多个部件交换数据的单元,对各应用程序透明,应用程序不需要直接访问数据库系统,从而大大减少了数据库系统的连接次数,从而提高了数据库系统和企业信息系统的数据处理效率。
如图2所示是本例提供的数据总线存储系统结构图,该总线存储系统包括:应用程序1、数据管理装置2、数据存储装置3和数据库系统4。应用程序1将需要处理的指令和数据传送给数据管理装置2,实现对数据存储装置3的数据总线和数据库系统4的数据表存入、读取、传输和监控等数据操作。应用程序1将需要处理的指令和数据传送给数据管理装置2,实际是传送给数据管理装置2的总控及接口单元5,由总控及接口单元5根据指令内容调用基础信息获取单元6、基础信息通讯区访问单元7、数据更新通讯区访问单元8、通讯区监控单元9、以及更新数据存入单元10等不同单元实现相应的功能,每个处理单元可以是一个独立的模块,相互之间可以实现模块复用。在数据存储装置3中包括有基础信息通讯区11和数据更新通讯区12,在基础信息通讯区11中存储有多个基础信息13,在数据更新通讯区12中存储有多个待更新数据4,在数据库系统4中存储有多个数据表15。
下面对上述数据总线存储系统中的各个装置单元进行具体描述:
如表1所示是基础信息通讯区11中的数据结构,存储在数据存储装置3中,其中保存的是应用程序在进行数据处理时预先从数据库系统4中获得的基础数据,该基础数据的主键是数据标识。
表1
域名描述 | 用途 |
数据标识 | 标识数据的唯一ID |
基础信息 | 该数据标识的基础信息 |
如表2所示数据更新通讯区12中的数据结构,存储在数据存储装置3中,保存的是待更新数据,即应用系统需要将要将这类数据更新到数据库系统中,这些数据的主键是数据标识+序号,序号是该数据标识待更新数据的流水号。
表2
域名描述 | 用途 |
数据标识 | 标识数据的唯一ID |
序号 | 该数据标识待更新数据的流水号 |
待更新数据 | 应用系统要将这类数据更新到数据库系统中 |
如图3所示是应用程序1的处理流程图,包括以下步骤:
步骤301:应用程序1获取需要处理的指令和数据;
步骤302:将需要处理的指令和数据传输给总控及接口单元;
步骤303:等待总控及接口单元调用不同单元处理进行数据处理;
步骤304:获取总控及接口单元的处理结果,以结束整个流程。
如图4所示是总控及接口单元5与应用程序1交互的流程图,包括以下步骤:
步骤401:总控及接口单元5与应用程序交互,获取需要处理的指令和数据,数据的主键是数据标识,也就相当于获取到了需要处理的数据标识;
步骤402:判断是否是该数据标识的第一笔待处理数据,如果是,则执行步骤403,如果否,则转而执行步骤404;
步骤403:调用基础信息获取单元6;
步骤404:连接数据库读取该数据标识的基础数据到基础信息通讯区11中;
步骤405:调用基础信息通讯区访问单元7读取基础信息通讯区11中的基础数据以替代连接数据库系统读取基础信息;
步骤406:调用数据更新通讯区访问单元8,把待处理数据登记到数据更新通讯区12中,其中,主键是数据标识+序号,序号是该数据标识待更新数据的流水号,该序号可以是通过序号发生器生成的;
步骤407:判断是否还有待处理的数据标识,如果是,则转置步骤402继续下一数据标识的处理流程,如果否,则结束整个流程。
如图5所示是总控及接口单元5后台处理的流程图,如图5所示,包括以下步骤:
步骤501:当数据更新通讯区12中的数据达到一定数据量或者预定时间后,通讯区监控单元9监控到通知总控及接口单元5;
步骤502:由总控及接口单元5调用更新数据存入单元10将待更新数据统一更新到数据库系统中,结束整个流程。
如图6所示是基础信息获取单元6的流程图,总控及接口单元5判断如果是数据标识的第一笔待处理数据,则调用基础信息获取单元6连接数据库读取该数据标识的基础数据到基础信息通讯区11中,以后该同一数据标识的其它待处理数据(除第一笔外的其它待处理数据)再进行处理时,读取基础信息通讯区11中的基础数据以替代连接数据库系统读取基础数据,如图6所示,包括以下步骤:
步骤601:获取需要处理的数据标识;
步骤602:与数据库建立连接;
步骤603:获取数据标识的基础数据;
步骤604:与数据存储装置建立连接;
步骤605:将数据标识的基础数据存入到基础信息通讯区11中。
如图7所示是基础信息通讯区访问单元7的流程图,包括以下步骤:
步骤701:获取需要处理的数据标识;
步骤702:与数据存储装置建立连接;
步骤703:根据数据标识读取基础信息通讯区11获取基础数据;
步骤704:将获取的该数据标识的基础信息返回给总控及接口单元5。
如图8所示,是数据更新通讯区访问单元8的流程图,包括以下步骤:
步骤801:获取需要处理的数据标识;
步骤802:与数据存储装置建立连接;
步骤803:调用序号发生器生成序号,其中,序号是该数据标识待更新数据的流水号;
步骤804:将待处理数据登记到数据更新通讯区,其中,主键是数据标识+序号。
如图9所示是通讯区监控单元9的流程图,通讯区监控单元9是监控数据更新通讯区12的工作情况,判断是否数据满或者达到一定时间等入库条件,从而把满足入库条件的所有待更新数据统计出来。具体如图9所示,包括以下步骤:
步骤901:与数据存储装置建立连接;
步骤902:遍历数据更新通讯区;
步骤903:判断待处理数据是否满足入库条件,如果是,则把数据标识+序号保存起来,如果否,则跳过;
步骤904:判断是否还有待处理数据,如果有,则继续下一待处理数据的处理流程,如果没有,则退出待处理数据的处理流程;
步骤905:将保存起来的数据标识+序号集返回给总控及接口单元5。
如图10所示是更新数据存入单元10的流程图,更新数据存入单元10用于将满足入库条件的所有待更新数据统一更新到数据库系统中。如图10所示,包括以下步骤:
步骤1001:获取需要更新的数据标识+序号集;
步骤1002:对数据标识+序号集进行数据标识、序号升序排序;
步骤1003:与数据存储装置建立连接;
步骤1004:根据数据标识+序号读取数据更新通讯区获取所有待更新数据;
步骤1005:判断是否第一笔待更新数据,如果是则执行步骤1006,否则执行步骤1007;
步骤1006:与数据库系统建立本次数据标识连接;
步骤1007:判断本次待更新数据与上次待更新数据的数据标识是否相同,如果相同,则执行步骤1008,否则执行步骤1009,之所以增加这一步是因为考虑到,本次更新的标识如果与上次相同,那么就说明上次的数据还处在缓存区(即,待更新数据区)中,这时,需要先将上次的数据先存到数据库中,否则,本次的数据进入缓存区后,就会将上次的数据覆盖掉了,上次的数据也就丢失了,上次的数据后续就没有机会再更新到数据库中了;
步骤1008:将上次数据标识的所有待更新数据更新到数据库系统中;
步骤1009:与数据库建立本次数据标识连接;
步骤1010:判断是否还有待更新数据,如果是,则继续下一待更新数据存入数据库的处理流程,如果否,则执行步骤1011;
步骤1011:将上次数据标识的所有待更新数据更新到数据库中。
在本例中,提出了一种基于总线的数据存储系统和方法,运用数据总线对数据进行统一的存入、读取和传输操作,使用基础信息通讯区和数据更新通讯区保存应用程序需要访问的基础信息和需要更新到数据库的数据,应用程序访问基础信息通讯区和数据更新通讯区以替代连接访问数据库系统。在数据更新通讯区中的待更新数据被监测到达到一定数据或者达到预定时候后,自动统一更新到数据库系统中。由此可见,通过上述方式应用程序不需要直接访问数据库系统,大大减少了数据库系统的连接次数,从而提高了数据库系统和企业信息系统的数据处理效率。
具体而言,上述数据存储方式主要采用以下几方面的技术手段:
1)运用数据总线对数据进行统一保存,使用基础信息通讯区和数据更新通讯区保存应用程序需要访问的基础信息和需要更新到数据库的待更新的数据;
2)运用数据总线对数据进行统一访问,应用程序访问基础信息通讯区和数据更新通讯区以替代连接访问数据库系统;
3)数据存储标准化,数据统一存储在基础信息通讯区和数据更新通讯区,减少了通讯区过多且字段命名不同带来的问题,简化了系统结构,减少了维护难度;
通过上述方式减少了应用系统与数据库系统的连接次数,减少了数据库系统的资源消耗,提高了数据库系统和企业信息系统的数据处理效率,降低了管理成本,提高了整体的经济效益。
基于同一发明构思,本发明实施例中还提供了一种数据处理装置,如下面的实施例所述。由于数据处理装置解决问题的原理与数据处理方法相似,因此数据处理装置的实施可以参见数据处理方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。图11是本发明实施例的数据处理装置的一种结构框图,如图11所示,包括:获取模块1101、第一读取模块1102、处理模块1103和更新模块1104,下面对该结构进行说明。
获取模块1101,用于获取待处理指令,其中,所述待处理指令中携带有:待处理数据和数据标识;
第一读取模块1102,用于读取基础信息通讯区中所述数据标识对应的基础数据,其中,所述基础数据是从数据库系统中读取并存储到所述基础信息通讯区中的;
处理模块1103,用于根据所述基础数据对所述待处理数据进行处理,将处理后得到的待更新数据登记到数据更新通讯区;
更新模块1104,用于在数据更新通讯区中的数据满足预设条件的情况下,将所述数据更新通讯区中的待更新数据更新到数据库系统中。
在一个实施例中,上述数据处理装置还包括:确定模块,用于在读取基础信息通讯区中所述数据标识对应的基础数据之前,确定是否是第一次接收到携带有所述数据标识的待处理指令;连接模块,用于在所述确定模块确定是第一次的情况下,连接到所述数据库系统;第二读取模块,用于读取所述数据库系统中所述数据标识的基础数据;存储模块,用于将从所述数据库系统中读取的所述数据标识的基础数据存储到所述基础信息通讯区中。
在一个实施例中,更新模块1104具体用于当所述数据更新通讯区中的待更新数据达到预设的数据量,或者是待更新数据在所述数据更新通讯区中的时间达到预设时间阈值时,将所述数据更新通讯区中与所述数据标识对应的待更新数据更新到所述数据库系统中。
在一个实施例中,更新模块1104包括:获取单元,用于获取需要更新到数据库系统中的序号集,其中,所述序号集是所有与所述数据标识对应的待更新数据的序号的集合;排序单元,用于对所述序号集中的序号进行排序;读取单元,用于根据排序后的序号集从所述数据更新通讯区中逐个读取待更新数据;更新单元,用于将读取的待更新数据更新到所述数据库系统中。
在一个实施例中,上述数据处理装置还包括:调用模块,用于在对所述待处理数据进行处理之后,将处理后得到的待更新数据登记到数据更新通讯区之前,调用序号发生器生成对应于该待更新数据的序号。
在另外一个实施例中,还提供了一种软件,该软件用于执行上述实施例及优选实施方式中描述的技术方案。
在另外一个实施例中,还提供了一种存储介质,该存储介质中存储有上述软件,该存储介质包括但不限于:光盘、软盘、硬盘、可擦写存储器等。
从以上的描述中,可以看出,本发明实施例实现了如下技术效果:将基础数据预先从数据库系统中存储到基础信息通讯区中,在需要获取基础数据的时候,直接从基础信息通讯区中获取即可,对于处理后得到的待更新数据先存储到数据更新通讯区中,然后再统一更新到数据库系统中,通过上述方式解决了现有技术中需要频繁访问数据库系统而导致的数据库系统的数据处理效率低下的技术问题,达到了有效提高处理效率的技术效果。
显然,本领域的技术人员应该明白,上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明实施例不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种数据处理方法,其特征在于,包括:
获取待处理指令,其中,所述待处理指令中携带有:待处理数据和数据标识;
读取基础信息通讯区中所述数据标识对应的基础数据,其中,所述基础数据是从数据库系统中读取并存储到所述基础信息通讯区中的;
根据所述基础数据对所述待处理数据进行处理,将处理后得到的待更新数据登记到数据更新通讯区;
在数据更新通讯区中的数据满足预设条件的情况下,将所述数据更新通讯区中的待更新数据更新到数据库系统中;
其中,在数据更新通讯区中的数据满足预设条件的情况下,将所述数据更新通讯区中与所述数据标识对应的待更新数据更新到数据库系统中,包括:当所述数据更新通讯区中的待更新数据达到预设的数据量,或者是待更新数据在所述数据更新通讯区中的时间达到预设时间阈值时,将所述数据更新通讯区中与所述数据标识对应的待更新数据更新到所述数据库系统中;
其中,将所述数据更新通讯区中的待更新数据更新到数据库系统中,包括:获取需要更新到数据库系统中的序号集,其中,所述序号集是所有与所述数据标识对应的待更新数据的序号的集合;对所述序号集中的序号进行排序;根据排序后的序号集从所述数据更新通讯区中逐个读取待更新数据;将读取的待更新数据更新到所述数据库系统中;
其中,在对所述待处理数据进行处理之后,将处理后得到的待更新数据登记到数据更新通讯区之前,所述方法包括:调用序号发生器生成对应于该待更新数据的序号。
2.如权利要求1所述的方法,其特征在于,在读取基础信息通讯区中所述数据标识对应的基础数据之前,所述方法还包括:
确定是否是第一次接收到携带有所述数据标识的待处理指令;
如果是,则连接到所述数据库系统;
读取所述数据库系统中所述数据标识的基础数据;
将从所述数据库系统中读取的所述数据标识的基础数据存储到所述基础信息通讯区中。
3.一种数据处理装置,其特征在于,包括:
获取模块,用于获取待处理指令,其中,所述待处理指令中携带有:待处理数据和数据标识;
第一读取模块,用于读取基础信息通讯区中所述数据标识对应的基础数据,其中,所述基础数据是从数据库系统中读取并存储到所述基础信息通讯区中的;
处理模块,用于根据所述基础数据对所述待处理数据进行处理,将处理后得到的待更新数据登记到数据更新通讯区;
更新模块,用于在数据更新通讯区中的数据满足预设条件的情况下,将所述数据更新通讯区中的待更新数据更新到数据库系统中;
其中,所述更新模块具体用于当所述数据更新通讯区中的待更新数据达到预设的数据量,或者是待更新数据在所述数据更新通讯区中的时间达到预设时间阈值时,将所述数据更新通讯区中与所述数据标识对应的待更新数据更新到所述数据库系统中;
其中,所述更新模块包括:获取单元,用于获取需要更新到数据库系统中的序号集,其中,所述序号集是所有与所述数据标识对应的待更新数据的序号的集合;排序单元,用于对所述序号集中的序号进行排序;读取单元,用于根据排序后的序号集从所述数据更新通讯区中逐个读取待更新数据;更新单元,用于将读取的待更新数据更新到所述数据库系统中;
其中,数据处理装置还包括:调用模块,用于在对所述待处理数据进行处理之后,将处理后得到的待更新数据登记到数据更新通讯区之前,调用序号发生器生成对应于该待更新数据的序号。
4.如权利要求3所述的装置,其特征在于,还包括:
确定模块,用于在读取基础信息通讯区中所述数据标识对应的基础数据之前,确定是否是第一次接收到携带有所述数据标识的待处理指令;
连接模块,用于在所述确定模块确定是第一次的情况下,连接到所述数据库系统;
第二读取模块,用于读取所述数据库系统中所述数据标识的基础数据;
存储模块,用于将从所述数据库系统中读取的所述数据标识的基础数据存储到所述基础信息通讯区中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410035027.4A CN103778066B (zh) | 2014-01-24 | 2014-01-24 | 数据处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410035027.4A CN103778066B (zh) | 2014-01-24 | 2014-01-24 | 数据处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103778066A CN103778066A (zh) | 2014-05-07 |
CN103778066B true CN103778066B (zh) | 2017-02-01 |
Family
ID=50570327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410035027.4A Active CN103778066B (zh) | 2014-01-24 | 2014-01-24 | 数据处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103778066B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104317749B (zh) * | 2014-10-31 | 2017-12-05 | 小米科技有限责任公司 | 信息写入方法和装置 |
CN104750774A (zh) * | 2014-12-15 | 2015-07-01 | 北京星网锐捷网络技术有限公司 | 数据库升级方法及装置 |
CN105912486B (zh) * | 2016-04-27 | 2019-03-29 | 联想(北京)有限公司 | 信息处理方法及处理器 |
CN107239306A (zh) * | 2017-05-26 | 2017-10-10 | 黄晓咏 | 一种游戏通讯数据处理系统 |
CN108829732B (zh) * | 2018-05-16 | 2021-10-19 | 创新先进技术有限公司 | 一种数据处理方法和装置 |
CN110162563B (zh) * | 2019-05-28 | 2023-11-17 | 深圳市网心科技有限公司 | 一种数据入库方法、系统及电子设备和存储介质 |
CN110209654A (zh) * | 2019-06-05 | 2019-09-06 | 深圳市网心科技有限公司 | 一种文本文件数据入库方法、系统及电子设备和存储介质 |
CN112801825A (zh) * | 2020-02-25 | 2021-05-14 | 丁玲 | 一种基于多因素的酒店数据更新系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6516312B1 (en) * | 2000-04-04 | 2003-02-04 | International Business Machine Corporation | System and method for dynamically associating keywords with domain-specific search engine queries |
CN1834942A (zh) * | 2005-03-17 | 2006-09-20 | 富士通株式会社 | 信息处理设备和信息处理设备的数据控制方法 |
CN1858814A (zh) * | 2005-04-29 | 2006-11-08 | 邓斌涛 | 快速支付方法与系统 |
CN101576918A (zh) * | 2009-06-19 | 2009-11-11 | 用友软件股份有限公司 | 具备负载均衡功能的数据缓存系统 |
-
2014
- 2014-01-24 CN CN201410035027.4A patent/CN103778066B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6516312B1 (en) * | 2000-04-04 | 2003-02-04 | International Business Machine Corporation | System and method for dynamically associating keywords with domain-specific search engine queries |
CN1834942A (zh) * | 2005-03-17 | 2006-09-20 | 富士通株式会社 | 信息处理设备和信息处理设备的数据控制方法 |
CN1858814A (zh) * | 2005-04-29 | 2006-11-08 | 邓斌涛 | 快速支付方法与系统 |
CN101576918A (zh) * | 2009-06-19 | 2009-11-11 | 用友软件股份有限公司 | 具备负载均衡功能的数据缓存系统 |
Non-Patent Citations (1)
Title |
---|
"实时数据仓库关键技术的研究与实现";肖裕洪;《中国优秀硕士学位论文全文数据库 信息科技辑》;20111231(第12期);第13-15页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103778066A (zh) | 2014-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103778066B (zh) | 数据处理方法和装置 | |
CN109241191B (zh) | 一种分布式数据源异构同步平台及同步方法 | |
CN108683818B (zh) | 呼叫中心分配坐席的方法、系统、设备及存储介质 | |
US9038068B2 (en) | Capacity reclamation and resource adjustment | |
CN108737325A (zh) | 一种多租户数据隔离方法、装置及系统 | |
CN108667725A (zh) | 一种基于多种接入及边缘计算的工业软网关以及实现方法 | |
CN108183947A (zh) | 分布式缓存方法及系统 | |
CN103095758B (zh) | 一种分布式文件系统及该系统中处理文件数据的方法 | |
CN101557427A (zh) | 提供分流信息、实现客户端分流的方法、系统及服务器 | |
CN101071434B (zh) | 一种分布式数据库系统中用户分布的方法、装置及系统 | |
CN107909486A (zh) | 佣金管理方法、应用服务器及计算机可读存储介质 | |
CN105933408A (zh) | 一种Redis通用中间件的实现方法及装置 | |
CN106155811A (zh) | 图形处理装置、资源服务装置、资源调度方法和装置 | |
CN107071036A (zh) | 一种下载驱动文件的方法、网络服务器及系统 | |
CN108052569A (zh) | 数据库访问方法、装置、计算机可读存储介质和计算设备 | |
CN109981757A (zh) | 一种面向小规模微服务架构的api网关负载均衡算法 | |
CN109492856A (zh) | 业务请求处理方法、装置、计算机设备以及存储介质 | |
CN102760073B (zh) | 一种任务调度方法、系统及装置 | |
CN113419856A (zh) | 智能限流方法、装置、电子设备及存储介质 | |
CN108563776A (zh) | 离线数据获取方法及系统、服务器及存储介质 | |
CN108564345A (zh) | 保险平台数据处理方法、电子装置及计算机可读存储介质 | |
CN108763963A (zh) | 基于数据访问权限的分布式处理方法、装置及系统 | |
CN108255467A (zh) | 按照工作流顺序执行服务的方法、装置及系统 | |
CN110247807A (zh) | 一种端口管理方法及装置 | |
CN108810183A (zh) | 冲突mac地址的处理方法、装置和机器可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |