[IBM]构徏轻量�U?Batch 框架处理 DB2 Content Manager 8.3 大量数据导入

�D�|�� — Wed, 28 Dec 2011 09:16:00 GMT

【来源�?a >http://www.ibm.com/developerworks/cn/data/library/techarticles/dm-0908luyx/

本文介绍了如何��用多�U�程来构��量�� Batch 框架�Q�将大量的数据迁�U�d�� IBM DB2 Content Manager 8.3 中。通过本文的学习，读者可以了解如何通过使用多线�E�调�?IBM DB2 Content Manager API 构徏的框架来启动�Q�暂停，恢复�Q�停止，攄��{�操作�?/p>

在用 API 导入大量数据的过�E�中�Q�如果没有框架很难有效的�Ҏ��个过�E�控�Ӟ��仅仅通过日志来分析解决问题��L��很浪�Ҏ��_��q�且效率不太理想�?/p>

本文的内�Ҏ��在了如何使用多线�E�和配置文�g来构�?Batch 框架来处理大数量导入的问题�?/p>

随着 IBM DB2 Content Manager�Q�简�U?IBM CM�Q��品的不断成熟�Q�越来越多的内容��理�pȝ��需要迁�U�d�� IBM CM 中来�Q�这些需要迁�Uȝ��数据通常首先把结构化的内容导到文本文件中�Q�与之相对应的图像和 pdf 文�g通常攑֜�对应的文件夹中，囑փ��?pdf 对应的文件夹路径也通常存放在文本文件中�Q�然后迁�Uȝ��序遍历文本文�Ӟ��把对应的 Item �q�移�?IBM CM 中。这些需要迁�Uȝ��数据通常都有几百 G�Q�如何有效的控制�q�移�q�程是一个很大的挑战�Q�因此我们必��L��Z��个轻量��?batch 处理框架来控制整个数据的�q�移周期�Q�记录处理过�E�中的错误，保证数据的一致性�?/p>

同时�Q�在�?API 导入数据的过�E�中�Q�被导入数据��L��千边万化�Q�无效的映射导入数据�?DB2 Content Manager 的项�Q�导致工作变得复杂，同时使的设计和代码冗余，�q�且佉K��用，�l�护和扩展��步�ؓ艰难�?/p>

��Z��克服所提到的挑战，�q�个 batch 框架必须要有以下功能�Q?

用户��Z��不媄响生产环境性能的考虑�Q�可以暂时停止数据的�q�移�Q�或者减�~�迁�U�d��理的频率�Q�即框架必须��h�� suspend �?slowdown 功能�?/li>
用户可以让暂停处理的�pȝ��l�箋处理�Q�即框架必须��h�� resume 功能�?/li>
用户可以让系�l�停止处理，修改某些配置�Q�然后��l�处理，��x��架必��L�� re-start 功能�?/li>
处理�q�程中发生的错误�Q�警告系�l�必��记录下来，用户可以�Ҏ��q�些记录来修正数据�?/li>
通过配置文�g建立规则来解��x��据千边万化的问题�?/li>

构徏框架

构徏交互�?/span>

要��框架有交互性，我们必须有三个个�U�程�Q�客��L��U�程�Q�服务端�U�程�Q�工作线�E�。客��L��U�程负责发出工作指��o�Q�服务端�U�程接受�q�些指��o�q�调用工作线�E�来做实际的工作。对于客��L��和服务器交互�Q�在没有 web 服务器支持的情况下，我们可以采用一�U�古老但是很有效的做法：socket �~�程�?Java socket 对象�?accept �Ҏ��会一直阻塞直到客��L��有程序输入，当客��L��有新的命令输入的时候，服务器端�?socket 中读出命令，然后执行命��o。下面是�C�Z��E�序�Q�Client.java 代表客户端程序，Server.java 代表服务器端�E�序�Q�Worker.java 代表工作�E�序 ,Config.java 代表�pȝ��中一些参数配�|��?/p>
清单 1. 客户端程�?/strong>

package com.ibm.batch.sample;

import java.io.BufferedWriter;
import java.io.IOException;
import java.io.OutputStream;
import java.io.OutputStreamWriter;
import java.net.Socket;
import org.apache.log4j.Logger;

public class Client {
	private Config config = null;
	public void setConfig(Config config) {
		this.config = config;
	}
	private Logger logger = Logger.getLogger(Client.class);
	public void sendCommand(String command) {
		Socket socket = null;
		OutputStream out = null;
		BufferedWriter writer = null;
		try {
			// establish the connection with server.
			socket = new Socket(config.getHost(), config.getSocketPort());
			out = socket.getOutputStream();
			writer = new BufferedWriter(new OutputStreamWriter(out));
			// send the command to server
			writer.write(command);
			writer.flush();
		} catch (IOException e) {
			logger.error(e.getMessage(), e);
			throw new RuntimeException(e);
		}
	}
}

清单 2. 服务器端�E�序

package com.ibm.batch.sample; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.net.ServerSocket; import java.net.Socket; import com.ibm.batch.sample.util.ResourceUtils; public class Server { private Config config = null; private boolean processing = true; private Worker worker = null; public void setConfig(Config config) { this.config = config; } public static void main(String[] args) { Server server = new Server(); // create the work thread Worker worker = server.createWorker(args); worker.start(); server.receiveAndExecuteCommand(); } private Worker createWorker(String[] args) { Worker worker = new Worker(); this.worker = worker; return worker; } /** * receive the command from client and execute the command. the method is * keeping running until client send the 'stop' command. * * @throws Exception */ public void receiveAndExecuteCommand() { ServerSocket serverSocket = buildSocketConnection(); // loop until client send 'stop' command while (processing) { Socket socket = null; try { socket = serverSocket.accept(); String commandLine = readCommandFromSocket(socket); executeCommand(commandLine); } catch (Exception e) { throw new RuntimeException(e); } finally { ResourceUtils.closeSocket(socket); } } } private void executeCommand(String commandLine) { // TODO Auto-generated method stub } /** * read the command from the socket * * @param socket * @return */ private String readCommandFromSocket(Socket socket) { InputStream in = null; BufferedReader bufferedReader = null; String commandLine = null; try { in = socket.getInputStream(); bufferedReader = new BufferedReader(new InputStreamReader(in)); commandLine = bufferedReader.readLine(); } catch (IOException e) { throw new RuntimeException(e); } finally { ResourceUtils.closeInputStream(in); ResourceUtils.closeReader(bufferedReader); } return commandLine; } /** * build the socket. * * @return */ private ServerSocket buildSocketConnection() { // prepare the socket for client to connect. ServerSocket serverSocket; try { serverSocket = new ServerSocket(config.getSocketPort()); } catch (java.net.BindException e1) { throw new RuntimeException("Socket port already in use.", e1); } catch (IOException ioe) { throw new RuntimeException(ioe); } return serverSocket; } }

清单 3. 工作�E�序

package com.ibm.batch.sample; import org.apache.log4j.Logger; public class Worker extends Thread { Logger logger = Logger.getLogger(Worker.class); /** * the main method for create item function. */ public void run() { createItem(); } /** * do the real job */ private void createItem() { } }

��d�� suspend �?slowdown 处理命��o

大数量的数据�q�移一般是在周末或者晚上进行，但是如果客户的历史数据太大，在周末或者晚上数据可能处理不完，��Z��不媄响生产环境的性能�Q�我们必��能够在客户的工作时间暂�~�处理或者降低处理的频率�Q�把 cpu �{�资源让�l�客��L��序，也就是说处理�U�程 worker 的工作可�?suspend 或�?slowdow 。�ؓ了让 worker �U�程知道需�?suspend 当前处理�Q�我们可以在 worker 内部讄��一个布��变�?isSuspend�Q�当�E�序在��@环创�?CM item 的时候，我们每次都判断一下这个布��变�?isSuspend�Q�当其�ؓ ture 的时候，�E�序��p��用线�E�的 wait �Ҏ��中断当前�U�程的处理，wait �Ҏ��q�可以接受一个以微秒为单位的旉��参数�Q�当旉��到达 wait 指定的时间的时候，�E�序�l�箋创徏 CM Item 。�ؓ了多�U�程之间的变量可见性，我们必须�?worker �?isSuspend 变量�?suspendTime 讄��?volatile 。同理我们设�|�一个布��变�?isSlowdown 以及 slowdowTime 。示例程序如下：

清单 4. 工作�E�序

package com.ibm.batch.sample; import java.io.BufferedReader; import java.io.File; import java.io.FileNotFoundException; import java.io.FileReader; import java.io.IOException; import org.apache.log4j.Logger; import com.ibm.batch.sample.util.ResourceUtils; public class Worker extends Thread { Logger logger = Logger.getLogger(Worker.class); private volatile boolean isSlowdown = false; private volatile Double slowdownTime; private volatile boolean isSuspend; private volatile Double suspendTime; public void setSlowdown(boolean isSlowdown) { this.isSlowdown = isSlowdown; } public void setSlowdownTime(Double slowdownTime) { this.slowdownTime = slowdownTime; } public void setSuspend(boolean isSuspend) { this.isSuspend = isSuspend; } public void setSuspendTime(Double suspendTime) { this.suspendTime = suspendTime; } public boolean isSlowdown() { return isSlowdown; } public Double getSlowdownTime() { return slowdownTime; } public boolean isSuspend() { return isSuspend; } public Double getSuspendTime() { return suspendTime; } protected Object semaphore = new Object(); private Config config; public void setConfig(Config config) { this.config = config; }

清单 5. ��L��?/strong>

/** * the main method for create item function. */ public void run() { BufferedReader reader = null; try { reader = getFileReader(); String oneLine = null; while ((oneLine = reader.readLine()) != null) { if (isSlowdown()) { sleep4GivenTime(); } if (isSuspend()) { suspend4SomeTime(); } createItem(oneLine); } } catch (Exception e) { throw new RuntimeException(e); } finally { ResourceUtils.closeReader(reader); } } /** * current thread sleep for some time,the unit is minute. */ protected void sleep4GivenTime() { try { Thread.sleep((long) (slowdownTime.doubleValue() * 1000)); } catch (InterruptedException e) { // do nothing } }

清单 6.Suspend �Ҏ��

/** * suspend working for given time. */ protected void suspend4SomeTime() { synchronized (semaphore) { try { Double suspendTime = getSuspendTime(); if (suspendTime != null) { double suspendTimeDouble = suspendTime.doubleValue() * 60 * 1000; semaphore.wait((long) suspendTimeDouble); } else { semaphore.wait(); } } catch (InterruptedException e) { // tell user that the processing started logger.info("suspend is over,system is continue processing ."); } } } /** * do the real job * * @throws Exception */ private void createItem(String oneLine) throws Exception { } private BufferedReader getFileReader() throws FileNotFoundException { String fileName = config.getFileName(); File processingFile = new File(fileName); BufferedReader reader = new BufferedReader(new FileReader( processingFile)); return reader; } }

��d�� resume 功能

在程序暂停处理以后，我们可以提前�l�止 suspend�Q�让框架�l�箋处理�Q�也��是框架必须�?resume 功能。我们调�?Worker.java 对象上的 notify �Ҏ��来实现这个功能，�C�Z��如下�Q?/p>
清单 7.Resume

public class Worker extends Thread { /** * resume the working. */ public void continueWorking() { cleanSuspend(); synchronized (semaphore) { semaphore.notify(); } } }

��d�� stop �?re-start 功能

有时候用户因��Z��些原因（例如修改配置文�g�Q�想停止�E�序的执行，所以框架必��L�� stop 的功能，但是 stop 的时候我们必��L��意记录程序处理到的行敎ͼ��q�样客户再开始执行的时候能够从上次执行的断点��l�执行，也就是框架具备了 re-start 功能�Q�这�?batch �E�序必须具备的一�U�很重要的功能，re-start 功能有多�U�实现方法，我们�q�里采取一�U�简单的�Ҏ��Q�在 stop 的时候，把当前处理的记录��C��个文本文件中去，下次启动的时候从上次最后处理的对象开始进行处理。所以我们在 Worker.java 中增加一�?keepProcessing 布尔变量�Q�在循环创徏 CM Item 的时�?, 我们每次都判断一下这个值是否�ؓ true�Q�如果�ؓ false 的话�Q�我们就停止循环处理�Q�在 Worker.java 中还要增加一�?moveReaderToLastProcess �Ҏ��Q�把 reader 重新定向��C��ơ处理点�?/p>
清单 8. 停止和重�?/strong>

public class Worker extends Thread { private volatile boolean keepProcessing; public boolean isKeepProcessing() { return keepProcessing; } public void setKeepProcessing(boolean keepProcessing) { this.keepProcessing = keepProcessing; } /** * the main method for create item function. */ public void run() { BufferedReader reader = null; try { long lastProcessedRow = config.getLastProcessedRow(); reader = moveReaderToLastProcess(lastProcessedRow); String oneLine = null; connectToCM(); while (((oneLine = reader.readLine()) != null) && isKeepProcessing()) { if (isSlowdown()) { sleep4GivenTime(); } if (isSuspend()) { suspend4SomeTime(); } createItem(oneLine); lastProcessedRow++; } logCurrentProcessingLine(lastProcessedRow); } catch (Exception e) { throw new RuntimeException(e); } finally { ResourceUtils.closeReader(reader); } } private void logCurrentProcessingLine(long lastProcessedRow) { config.setLastProcessedRow(lastProcessedRow); } /** * move current reader position to last process postion * @return * @throws IOException */ private BufferedReader moveReaderToLastProcess(long lastProcessedRow) throws IOException { // get the file reader BufferedReader reader = getFileReader(); // move the reader to the start row -1. int count = 0; while (count < lastProcessedRow-1) { reader.readLine(); count++; } return reader; } }

��d��错误处理功能

刚才我们调用�?createItem �Ҏ��是直接抛出异常的�Q�但是这��L��处理实际上是错误的，因�ؓ�?batch 处理�q�程中，我们不希望在处理某一�?item 出错��D��剩余�?item 不再处理�Q�所以我们在 catch 里面对异常进行分�c�d��理，我们 catch 住非��查异常（runtime exception�Q�，通常非检查异常是不可以恢复的�Q�所以我们直接抛出，让程序结束处理。对于其余的异常�Q�我们只是在日志中记录下来，�q�不抛出。在全部处理�l�束以后�Q�用户可以检查日志来�q�行相应的处理。示例代码如下：

清单 9. 错误处理

public class Worker extends Thread { /** * do the real job * * @throws Exception */ private void createItem(String oneLine) throws Exception { try { //create the item from one line }catch (RuntimeException e) { throw e; }catch (Exception e) { logger.error(e.getMessage(),e); } } }

��d��创徏 CM item 功能

下面的内�Ҏ��在了如何使用配置文�g来处理导入的问题�?/p>
通过调用和运�?API 来处理数据的导入�Q�我们首先定义一个基本信息的配置文�g�Q�用来制定连接的信息�Q�其他配�|�文件的目录�Q�工作的目录�{�有兛_��入需要的参数。然后定义导入数据和 DB2 Content Manager 的项的映��配�|�文件。配�|�文件定义结束后�Q�我们就可以调用�Q�Ｐ�Q�来启动相应的导入流�E�，在程序运行过�E�中�Q�可以动态的更改配置�Q�从而有效的处理导入的�Q务�?/p>
在开发过�E�中�Q�您可以灉|��地定义各�U�配�|�文件以便实现多�U�导入规则，同时在程序运行中�q�行数据校验�Q�以防止冗余和非法数据被错误导入�?/p>
下面的一些配�|�和代码�C�Z��Q�以此介�l�了如何定义配置文�g�Q�然后管�?API 来完成导入的��d��?/p>
定义基本信息配置文�g�Q�在该文件中�Q�须先设�?IBM DB2 Content Manager 的一些连接参敎ͼ� 如：

contentManagerDatabase=iCMnlsdb // 定义调用的数据库名字 contentManagerUsername=iCMadmin // 定义用户�? contentManagerPassword= password // 定义�q�接密码 contentManagerSchema=ICMADMIN // 定义具体�?schema

您可以在代码中用以上参数来实现对 IBM DB2 Content Manager 的连接，代码�C�Z��Q?/p>

DKDatastoreICM dsICM = new DKDatastoreICM(); // 创徏�q�接 dsICM.connect("iCMnlsdb", "iCMadmin", "password", "SCHEMA=ICMADMIN");

�q�需指定哪个文�g夹存放映��文�Ӟ��以及需导入的数据文�Ӟ��如：

mappingFilePath=config/rapid/mapping // 映射文�g路径 dataFileFolder=config/rapid/data // 数据文�g路径

也可定义一些参数来增强该导入的��程控制�Q�如�Q?/p>

runPhase=2 // 指定是第二阶�D�导入，在导入时需更新已有的数�?/pre>

定义映射文�g�Q�该配置文�g主要用于��用��h��要导入的数据映射�?IBM DB2 Content Manager �?Item Type 中，您可自由定制该文�Ӟ��使用户遵循您定义的规范顺利完成数据迁�U�R��如�Q?/p>

C001.del=c01 C002.del=c01

该定义中 C001.del �?C002.del 是需要导入的数据文�g�Q�c01 是对应的 Item Type 名字。这�U�定义方法可实现��多个数据文件导入同一�?Item Type 中�?/p>
具体的对应关�p�d��下：

position=1|name=COMPANYNAME position=2|name=COMPANYID position=3|name=INPUTVALUE position=-1|name=SPECIALVALUE|value=C1

�q�个映射关系反映了数据文件中列数�?Item Type �?attribute 的关�p�，如第一列在 Item Type 中代表了名字�?COMPANYNAME �?attribute 。您也可定义一些特�D�规则，如将 position 设�ؓ负数�Q�以便反映该列是一个特�D�的 attribute, 它的值是固定的�?比如��?position 设�ؓ -1 �Ӟ��名�ؓ SPECIALVALUE �?attribute 的值��L��?C1 �?/p>
若您惛_��现将一个数据文件导入多�?Item Type 中，可在数据文�g中加入一个特�D�列�Q�在映射文�g中指定该列的列数�Q�以及当该列的值和多种 Item Type 的映��关�p�R��如�Q?/p>

C003.del(position:3)

�q�样�Q�C003.del ��׃��是单一的对应一�?Item Type�Q�而是先去取第三列 INPUTVALUE 的��|��再去对应表中查找到关联的 Item Type 。该对应表可设成�Q?/p>

Value1=c01 Value2=c02

若第三列 INPUTDOCID 的��gؓ Value1 �Ӟ��其对应的 Item Type �?c01�Q�同��L��当��gؓ Value2 �Ӟ��会将该行数据导入�?c02 �?Item Type 中�?/p>
调用 API 完成操作的代码示例：在编写代码过�E�中�Q�需要调�?DB2 Content Manager �?API 来完�?Item Type 以及它包含的 attribute 的创建。上文已�l�出了通过参数来连�?Content Manager 的方法，下面的示例代码用得到�?DKDatastoreICM 来实现具体的操作�Q?/p>
清单 10. API 调用

// Create an item / DDO / Root Component DKDDO ddo = dsICM.createDDO("S_withChild", itemPropertyOrSemanticType); //createDDO(, ); // Adding Multivalue Attributes to DDOs, multiple type can be used, //here just give some example ddo.setData(ddo.dataId(DKConstant.DK_CM_NAMESPACE_ATTR,"S_varchar"), "this is a string value"); //string ddo.setData(ddo.dataId(DKConstant.DK_CM_NAMESPACE_ATTR,"S_date"), java.sql.Date.valueOf("2001-08-12")); //date ddo.setData(ddo.dataId(DKConstant.DK_CM_NAMESPACE_ATTR,"S_double"), new Double("123")); //double

�l�束�?/font>

通过本文的介�l�，�怿�您对多线�E�构建的 Batch 框架实现大量数据�q�移的过�E�，和通过配置文�g的管理的 API 实现数据导入的过�E�也有了一定的了解和学习。您可灵�z�d��实现一对一�Q�一对多�Q�多对多�{�各�U�映��关�p�，您也可以利用多线�E�来实现其他的功能的开发，�~�写出更加富有创造性的软�g�?/p>

参考资�?

学习

通过 developerWorks Information Management 专区�Q�在�q�里可以学到更多关于 Information Management 的知识。还可以扑ֈ�技术文档、how-to 文章、培训、下载、��品信息等�?br />
�?IBM DB2 Content Manager Enterprise Edition Version 8.3 publication library 可以扑ֈ�更多文档�?br />
参�?#8220;IBM DB2 Content Manager 信息中心”�Q�了解更�?Content Manager 的相兛_��宏V�?br />
通过 Information Management 专区 CM 专题�Q�了解更多有�?CM 的��品和技术资源�?br />

获得产品和技�?/strong>

使用可直接从 developerWorks 下蝲�?IBM 试用软�g 构徏您的下一�?Linux 开发项目�?br />

�D�|�� 2011-12-28 17:16 发表评论

久久亚洲精品国产精品,亚洲精品午夜国产va久久,亚洲精品国产国语

[IBM]构徏轻量�U?Batch 框架处理 DB2 Content Manager 8.3 大量数据导入