crawler update

crawler/crawler.php

@@ -1,7 +1,10 @@
 <?php 
 
-//$ergebnisse = file_get_contents('https://www.dognow.at/ergebnisse/');
-//file_put_contents('tmp/ergebnisse.html', $ergebnisse);
+if(!file_exists('tmp/ergebnisse.html'))
+{
+    $ergebnisse = file_get_contents('https://www.dognow.at/ergebnisse/');
+    file_put_contents('tmp/ergebnisse.html', $ergebnisse);
+}
 
 $GLOBALS['db'] = new SQLite3('data.db');
 if(!$GLOBALS['db']) exit("Error loading database");
@@ -177,6 +180,7 @@ function getResults($run,$event)
 
 function analyzeResultCSV($csvfile,$run,$event)
 {
+    if(!file_exists($csvfile)) die(" ERR: File $csvfile not found");
     $csv = array_map('str_getcsv', file($csvfile));
 
     //prepare header for database
@@ -229,8 +233,10 @@ function convertPDFtoCSV($pdf,$targetname)
 }
 
 function analyze($pdf) {
+    echo "    [i] Analyzing $pdf\n";
     $cmd = "java -jar tabula-1.0.5-jar-with-dependencies.jar -f CSV $pdf";
     $output = shell_exec($cmd);
+    //var_dump($output);
     return $output;
 }
 

crawler/tmp/.gitignore

@@ -1,2 +1,2 @@
-*
+*.html
 !.gitignore

crawler/tmp/csv/.gitignore

@@ -0,0 +1,2 @@
+*
+!.gitignore

crawler/tmp/results/.gitignore

@@ -0,0 +1,2 @@
+*
+!.gitignore