Skip to main content

[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index] [List Home]
[smila-dev] Calling a crawler in a BPEL Pipeline!?

 

            Hi,

 

I would like to use Smila for the following purpose:

 

  1. Send a request to Google’s search engine
  2. Grab the result page
  3. Parse the result page to extract information about each individual hit
  4. Save the resulting records in a Lucene index
  5. Search the Lucene index for some information

 

What would be the best setting of Smila components for this goal!? Could I use the WebCrawler

for (1.+ 2.) embedded in a BPEL pipeline!? Should I create the records (3.) within the WebCrawler or

should I do that within the Connectivity component using the Router!?

 

Kind regards,

   Bogdan.

 

#######################################################################

Bogdan Eugen Sacaleanu, Researcher & Software Engineer

LT-Lab DFKI

Stuhlsatzenhausweg 3

66123 Saarbruecken, Germany

bogdan@xxxxxxx Phone: +49 681 302 5261

http://www.dfki.de/~bogdan Fax : +49 681 302 5338

#######################################################################

Deutsches Forschungszentrum fuer Kuenstliche Intelligenz GmbH Trippstadter Strasse 122,

D-67663 Kaiserslautern, Germany

Geschaeftsfuehrung:

Prof. Dr. Dr. h.c. mult. Wolfgang Wahlster (Vorsitzender) Dr. Walter´Olthoff

Vorsitzender des Aufsichtsrats:

Prof. Dr. h.c. Hans A. Aukes

Amtsgericht Kaiserslautern, HRB 2313

#######################################################################

 


Back to the top