使用Script Component源处理不规则平面文件

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

微软 BI 系列随笔 - SSIS 2012 高级应用 - Script Component处理不规则平面文件

场景介绍

在使用SSIS从平面文件导入源数据时，最常遇到的是以下两种情况：

导入规则的平面文件，这种文件的每一行数据的解析规则都是一样的
导入不规则的平面文件，这种文件可能包含多种数据结构，比如某些行是头（Head），某些行是内容（Content），某些行是尾（Tail），三种数据的解析格式都不一样
源文件的字符编码集不一样，例如文件是来自于不同的系统（或区域），这些文件的编码有可能是ANSI，Unicode或者UTF-8中的任何一种。

对于第一种情况，可以使用平面文件连接器（FlatFile Connection）来解析，通过配置他的字符集，格式，分隔符等就能做到。

对于第二种情况，要是使用平面文件连接器（FlatFile Connection）的话，需要使用临时文件，即使用平面文件连接器从源文件中中将每一行的数据读为一个类型，然后根据内容使用条件分离（Conditional Split）将内容分离，重新组织新的文件。然后正对新生成的文件做常规处理实现数据导入。

对于第三种情况，比较复杂，目前是不能使用平面文件连接器来解析的。平面文件连接器虽然支持表达式设置CodePage和是否是Unicode，以及其他的设置，但是具体操作起来比较麻烦。设计时有严重的干扰，经常常常导致编译不通过。

本文将针对第二种情况和第三种情况给读者一个思路，即使用Script Component作为数据源解析文件，输出数据，同时结合处理第二种情况。

实施步骤

分析平面文件格式

假设我们有如下格式的平面文件：

首先这个文件的编码是不规则的，他含有西班牙文（还有其他的文件，是不含这个文字集的）。

第二，他有02H和02D两种内容格式，姑且认为是Header和Detail。

所以说这种类型的文件使用平面文件连接器根本无法解析。

那么我们怎么办呢？看下面。

Script Component源

定义输入与输出

SSIS中支持使用Script Component作为数据源，你可以使用C#或者VB代码去做任何事情，然后将构造一个或多个数据集作为输出。如下所示：

本例中我定义了一个EDCOrder的输出用来放Header的内容，OrderDetail的内容我不需要所以没有定义。

我另外定义了一个FailedRows来放Header解析失败的的内容。没有输入。

编写脚本

在脚本页选择要使用的变量和脚本语言。

点击编辑脚本（Edit Script...）

这时候会打开一个Vsta project的脚本编辑项目。

这个项目包含三个文件

ComponentWrapper.cs - 包含变量类，连接类和用户控件类
BufferWrapper.cs - 定义了输出类
main.cs - 脚本文件的入口函数，继承自用户控件类。

main.cs这个文件有三个方法

PreExecute - 执行之前
PostExecute - 执行之后
CreateNewOutputRows 创建输出行

为了解析平面文件，我们定义了如下参数，主要是一个StreamReader来读文件，时间记录和行号：

System.IO.StreamReader sr;
DateTime now;
int rowNumber,failedRows;
Guid fileId;
string ContentLengthError;
string CoposIdNullError;
string errorMsg;

在PreExecute中这么写，根据传进来的文件名打开文件，定义错误消息，初始化变量

/// <summary>
/// This method is called once, before rows begin to be processed in the data flow.
///
/// You can remove this method if you don't need to do anything here.
/// </summary>
public override void PreExecute()
{
base.PreExecute(); now = DateTime.Now;
rowNumber = ;
failedRows = ;
fileId = Guid.Parse(Variables.pvFileID.ToString());
ContentLengthError = "Line content validation failed. Line content length is not equal to 1141.";
CoposIdNullError = "Line content validation failed. Copos id is required.";
errorMsg = "Filename: " + Variables.pvLoadFile + System.Environment.NewLine;
sr = new System.IO.StreamReader(Variables.pvLoadFile);
}

在PostExecute中这么写，关闭文件，返回错误信息给脚本调用的变量

/// <summary>
/// This method is called after all the rows have passed through this component.
///
/// You can delete this method if you don't need to do anything here.
/// </summary>
public override void PostExecute()
{
base.PostExecute(); sr.Close();
Variables.pvFailedRows = failedRows;
if (errorMsg != "Filename: " + Variables.pvLoadFile + System.Environment.NewLine)
Variables.pvErrorMessage += System.Environment.NewLine + errorMsg;
}

在CreateNewOutputRows这么写，根据每一行的内容判断消息类型，验证消息内容，生成输出行。

public override void CreateNewOutputRows()
{
/*
Add rows by calling the AddRow method on the member variable named "<Output Name>Buffer".
For example, call MyOutputBuffer.AddRow() if your output was named "MyOutput".
*/
while (!sr.EndOfStream)
{
string line = sr.ReadLine();
if (line.StartsWith("02H"))
{
if (line.Length != )
{
FailedRowsBuffer.AddRow();
FailedRowsBuffer.RowNumber = rowNumber;
FailedRowsBuffer.ErrorDescription = ContentLengthError;
FailedRowsBuffer.Content = line;
failedRows++;
errorMsg += "At Row: " + rowNumber.ToString() + System.Environment.NewLine + "Error Description: " + ContentLengthError + System.Environment.NewLine;
}
else
{
if (!string.IsNullOrEmpty(line.Substring(, )) && !string.IsNullOrWhiteSpace(line.Substring(, ))) //Coposid is required
{
EDCOrderBuffer.AddRow();
EDCOrderBuffer.Coposid = line.Substring(, );
EDCOrderBuffer.Custname = line.Substring(, );
EDCOrderBuffer.Custtel = line.Substring(, );
EDCOrderBuffer.Dlvytitle = line.Substring(, );
EDCOrderBuffer.Dlvyinitial = line.Substring(, );
EDCOrderBuffer.Dlvyname = line.Substring(, );
EDCOrderBuffer.Dlvyhouse = line.Substring(, );
EDCOrderBuffer.Dlvytel = line.Substring(, );
EDCOrderBuffer.Dsptchsrvc = line.Substring(, );
EDCOrderBuffer.Dlvydate = line.Substring(, );
EDCOrderBuffer.Dmworder = line.Substring(, );
EDCOrderBuffer.Dsptchemail = line.Substring(, );
EDCOrderBuffer.OrderDate = line.Substring(, );
EDCOrderBuffer.FileId = fileId;
EDCOrderBuffer.CreatedOn = now;
}
else
{
FailedRowsBuffer.AddRow();
FailedRowsBuffer.RowNumber = rowNumber;
FailedRowsBuffer.ErrorDescription = CoposIdNullError;
FailedRowsBuffer.Content = line;
failedRows++;
errorMsg += "At Row: " + rowNumber.ToString() + System.Environment.NewLine + "Error Description: " + CoposIdNullError + System.Environment.NewLine;
}
}
}
rowNumber++;
}
}