Компонент сценария SSIS, считывающий веб-данные, но не создающий объект Output0Buffer - PullRequest
Новая
       60

Компонент сценария SSIS, считывающий веб-данные, но не создающий объект Output0Buffer

2 голосов
/ 14 июня 2019

Я использую SSIS с компонентом сценария для извлечения данных из веб-службы и помещения их в SQL Server. Однако в выходных данных объект Output0 (имя по умолчанию) отображается во время разработки, но не является объектом во время выполнения. 

#region Namespaces
using System;
using System.Data;
using Microsoft.SqlServer.Dts.Pipeline.Wrapper;
using Microsoft.SqlServer.Dts.Runtime.Wrapper;
using System.Collections.Generic;
using System.Text;
using System.Web.Script.Serialization;
using System.IO;
using System.Net;
using System.Diagnostics; // For trace         
///6102786/kak-otlazhivat-komponent-skripta-v-ssis    
component-in-ssis
using smsnamespace;
#endregion

[Microsoft.SqlServer.Dts.Pipeline.SSISScriptComponentEntryPointAttribute]
public class ScriptMain : UserComponent
{

/// Started with this:
/// https://www.mssqltips.com/sqlservertip/3495/extracting-api-data- 
using-powershell-and-loading-into-sql-server/
/// continued with this, being more flexible
/// 
https://gist.github.com/danieljarolim/1b6e2c2575f17d8a477f3135d36f99c9
/// 

public String downloadURL = "https://web.mywebsite.com/api/query? 
entity=sms&api_key=c652414a6&take=100";
String jsonFileContent;

public static string DownloadJson(string downloadURL)
{
    using (WebClient client = new WebClient())
    {
        return client.DownloadString(downloadURL);
    }
}


public override void PreExecute()
{  // This works fine
    base.PreExecute();
    Trace.WriteLine("SSIS download!");
    jsonFileContent = DownloadJson(downloadURL);
    Trace.WriteLine("SSIS download done!");
}


public override void PostExecute()
{
    base.PostExecute();
    Trace.WriteLine("SSIS " + downloadURL);
    JavaScriptSerializer js = new JavaScriptSerializer();
    js.MaxJsonLength = 500 * 1000000;

    Trace.WriteLine("SSIS downloaded");

    dynamic sfResult = js.DeserializeObject(jsonFileContent);

    int i = 0;
    foreach (var therecord in sfResult)
        i++;
    Trace.WriteLine("SSIS lines:"+i);  //<< this works fine!

    CreateNewOutputRows(); // <<just a try

    foreach (var therecord in sfResult)

    {
        Trace.WriteLine("SSIS Id");
        //Trace.WriteLine("SSIS " + therecord.Id);            
        Output0Buffer.AddRow(); // << *******  THIS FAILS! ^*****
                                // but is recognized by Intellisense.
        Trace.WriteLine("SSIS Ia");
        // 
        Output0Buffer.Id = (uint)therecord ["Id"];
        //.....
    }
    Trace.WriteLine("SSIS PE finished!");
}

public override void CreateNewOutputRows()
{    // NOTE Allegedly this method is never invoked if there is no Input 
       source
    /*
      Add rows by calling the AddRow method on the member variable named 
 "<Output Name>Buffer".
      For example, call MyOutputBuffer.AddRow() if your output was named 
 "MyOutput".
    */

    // 
    Trace.WriteLine("SSIS outputrows A");
    Output0Buffer.AddRow(); // <<<< *********** THIS FAILS! **********
    Trace.WriteLine("SSIS outputrows B");
}
}

Сбой программы на Output0Buffer.AddRow(). Output0 действительно является объектом Output с 20 столбцами. Есть предложения?

Ответы [ 2 ]

0 голосов
/ 15 июня 2019

Основная проблема в том, что вы вызываете CreateNewOutputRows в методе PostExecute, так как этот метод будет вызываться автоматически. Я предлагаю прочитать следующую инструкцию, предоставленную Microsoft, чтобы узнать больше о каждой функции:

0 голосов
/ 14 июня 2019

Попробуйте исключить вызов base.PreExecute() внутри метода PreExecute.Кроме того, не звоните CreateNewOutputRows внутри PostExecute;он должен вызываться автоматически низшими классами, не вызывая его.Дайте этот код выстрел: 

private readonly string _downloadUrl = "https://web.mywebsite.com/api/query?entity=sms&api_key=c652414a6&take=100";
private dynamic _sfResult;

public static string DownloadJson(string downloadURL)
{
    using (WebClient client = new WebClient())
    {
        return client.DownloadString(downloadURL);
    }
}    

public override void PreExecute()
{  
    Trace.WriteLine("SSIS download!");
    var jsonFileContent = DownloadJson(_downloadUrl);
    Trace.WriteLine("SSIS download done!");

    JavaScriptSerializer js = new JavaScriptSerializer();
    js.MaxJsonLength = 500 * 1000000;
    _sfResult = js.DeserializeObject(jsonFileContent);
}

public override void CreateNewOutputRows()
{    
    foreach (var therecord in _sfResult)
    {
        Trace.WriteLine("SSIS Id");        
        Output0Buffer.AddRow();        // 
        Output0Buffer.Id = (uint)therecord ["Id"];
        //.....
    }
}
...