Aller chercher un peu plus d'articles dans les Lodel
authorEric Mc Sween <eric.mcsween@gmail.com>
Wed, 1 Dec 2010 15:31:13 +0000 (10:31 -0500)
committerEric Mc Sween <eric.mcsween@gmail.com>
Thu, 2 Dec 2010 20:37:42 +0000 (15:37 -0500)
auf_savoirs_en_partage/savoirs/lib/harvesters/lodel/html.py

index c18f56f..889ce90 100644 (file)
@@ -49,7 +49,6 @@ def harvest(options):
     def get_page(path):
         try:
             url = urljoin(BASE_URL, path)
-            print "Récupération de la page:", url
             f = urlopen(url)
             page = f.read()
             f.close()
@@ -95,7 +94,12 @@ def harvest(options):
             return meta
 
     nodes = []
-    sommaire_ids = set(chain(get_sommaire_ids('/'), get_sommaire_ids('/index.php?format=numero')))
+    meta = get_meta('/')
+    if meta:
+        nodes.append(meta)
+
+    sommaire_ids = set(chain(get_sommaire_ids('/'), get_sommaire_ids('/index.php?format=numero'),
+                             get_sommaire_ids('/index.php?format=numeros')))
     auteur_ids = get_auteur_ids('/personnes.php?type=auteur')
 
     entree_types = get_entree_types('/')