list2form.py : correction du bogue url-name
[progfou.git] / wcs / wcs-extract
index e082f74..5276b42 100755 (executable)
@@ -14,41 +14,34 @@ import os
 import os.path
 import shutil
 import logging
 import os.path
 import shutil
 import logging
-from time import gmtime, strftime
+from time import gmtime, strftime, struct_time
 import simplejson as json
 import magic
 import mimetypes
 import simplejson as json
 import magic
 import mimetypes
+import unicodedata
 
 from wcs import publisher
 from wcs.formdef import FormDef
 from wcs.fields import TitleField, CommentField, TextField, \
                        StringField, ItemField, ItemsField, EmailField, \
 
 from wcs import publisher
 from wcs.formdef import FormDef
 from wcs.fields import TitleField, CommentField, TextField, \
                        StringField, ItemField, ItemsField, EmailField, \
-                       DateField, FileField, BoolField
+                       DateField, FileField, BoolField, TableField
 
 
 def reduce_to_alnum(s, replacement_char='-'):
     """réduction d'une chaîne de caractères à de l'alpha-numérique"""
 
 
 
 def reduce_to_alnum(s, replacement_char='-'):
     """réduction d'une chaîne de caractères à de l'alpha-numérique"""
 
-    avec_accent = u'çÇáàâÁÀÂéèêëÉÈÊËíìîïÍÌÎÏóòôöÓÒÔÖúùûüÚÙÛÜýỳyÿÝỲYŸ'
-    sans_accent = u'cCaaaAAAeeeeEEEEiiiiIIIIooooOOOOuuuuUUUUyyyyYYYY'
     if type(s) is not unicode:
         s = unicode(s, 'utf-8')
     if type(s) is not unicode:
         s = unicode(s, 'utf-8')
-        u  = False
+    s = unicodedata.normalize('NFKD', s).encode('ASCII', 'ignore')
     r = ''
     for c in s:
     r = ''
     for c in s:
-        index = avec_accent.find(c)
-        if index >= 0:
-            r += sans_accent[index]
-        elif ('a' <= c.lower() <= 'z') or ('0' <= c <= '9'):
+        if ('a' <= c.lower() <= 'z') or ('0' <= c <= '9'):
             r += c
         elif len(r) > 0 and r[-1] != replacement_char:
             r += replacement_char
         else: # r == '' or r[-1] == replacement_char
             pass
             r += c
         elif len(r) > 0 and r[-1] != replacement_char:
             r += replacement_char
         else: # r == '' or r[-1] == replacement_char
             pass
-    r = r.strip(replacement_char)
-    if not u:
-        r = r.encode('utf-8')
-    return r
+    return r.strip(replacement_char)
 
 
 def extract_fields(formdef, output_directory):
 
 
 def extract_fields(formdef, output_directory):
@@ -101,11 +94,16 @@ def extract_data(formdef, output_directory):
                             " On ignore...", object.id)
             continue
 
                             " On ignore...", object.id)
             continue
 
+        try:
+            workflow_status = object.status.startswith('wf-') and \
+                            object.get_workflow_status().name or None
+        except:
+            workflow_status = None
+
         result = {
             'num_dossier': object.id,
             'wcs_status': object.status,
         result = {
             'num_dossier': object.id,
             'wcs_status': object.status,
-            'wcs_workflow_status': (object.status.startswith('wf-') and \
-                                object.get_workflow_status().name or None),
+            'wcs_workflow_status': workflow_status,
             'wcs_user_email': object.user.email,
             'wcs_user_display_name': object.user.display_name,
            #'wcs_last_modified': strftime('%Y-%m-%d %H:%M:%S', gmtime(object.last_modified())),
             'wcs_user_email': object.user.email,
             'wcs_user_display_name': object.user.display_name,
            #'wcs_last_modified': strftime('%Y-%m-%d %H:%M:%S', gmtime(object.last_modified())),
@@ -135,13 +133,16 @@ def extract_data(formdef, output_directory):
             if isinstance(field, StringField) or isinstance(field, TextField) \
             or isinstance(field, EmailField) or isinstance(field, ItemField):
                 result[field_name] = data
             if isinstance(field, StringField) or isinstance(field, TextField) \
             or isinstance(field, EmailField) or isinstance(field, ItemField):
                 result[field_name] = data
-            elif isinstance(field, ItemsField):
+            elif isinstance(field, ItemsField) or isinstance(field, TableField):
                 result[field_name] = data # liste => peux-être joindre sur ';'
             elif isinstance(field, BoolField):
                 result[field_name] = (data == 'True')
             elif isinstance(field, DateField):
                 result[field_name] = data # liste => peux-être joindre sur ';'
             elif isinstance(field, BoolField):
                 result[field_name] = (data == 'True')
             elif isinstance(field, DateField):
-                result[field_name] = '%04d-%02d-%02d' % (data.tm_year,
+                if isinstance(data, struct_time):
+                    result[field_name] = '%04d-%02d-%02d' % (data.tm_year,
                                                     data.tm_mon, data.tm_mday)
                                                     data.tm_mon, data.tm_mday)
+                else:
+                    result[field_name] = data
             elif isinstance(field, FileField):
                 if '.' in data.orig_filename:
                     extension = data.orig_filename.rpartition('.')[2].lower()
             elif isinstance(field, FileField):
                 if '.' in data.orig_filename:
                     extension = data.orig_filename.rpartition('.')[2].lower()
@@ -161,9 +162,8 @@ def extract_data(formdef, output_directory):
                 result[field_name] = "%s.%s" % (field_name, extension)
                 qfiles[field_name] = data.qfilename
             else:
                 result[field_name] = "%s.%s" % (field_name, extension)
                 qfiles[field_name] = data.qfilename
             else:
-                logging.error("Type de champ inconnu '%s' pour '%s' (%s).",
-                            field.__class__.__name__, field.name, field.label)
-                raise RuntimeError
+                logging.warning("Type de champ inconnu '%s' pour '%s' (%s).",
+                            field.__class__.__name__, field_name, field.label)
 
         num_dossier = result['num_dossier']
         nom = reduce_to_alnum(result.get('nom','sans-nom')).upper()
 
         num_dossier = result['num_dossier']
         nom = reduce_to_alnum(result.get('nom','sans-nom')).upper()
@@ -173,17 +173,22 @@ def extract_data(formdef, output_directory):
         filename = "%04d-%s-%s-%s" % (num_dossier, nom, prenom, adel)
         liste_dossiers.append(filename + '.json')
 
         filename = "%04d-%s-%s-%s" % (num_dossier, nom, prenom, adel)
         liste_dossiers.append(filename + '.json')
 
+        # création du sous-dossier destination, au besoin
+        dstdir = os.path.join(output_directory, 'data', result['wcs_status'])
+        if not os.path.isdir(dstdir):
+            os.mkdir(dstdir)
+
         # copie des fichiers joints
         for f in qfiles:
             result[f] = filename + '_' + result[f]
             src = os.path.join(pub.app_dir, 'uploads', qfiles[f])
         # copie des fichiers joints
         for f in qfiles:
             result[f] = filename + '_' + result[f]
             src = os.path.join(pub.app_dir, 'uploads', qfiles[f])
-            dst = os.path.join(output_directory, 'data', result[f])
+            dst = os.path.join(dstdir, result[f])
             if not os.path.exists(dst) or os.path.getmtime(src) > os.path.getmtime(dst):
                 shutil.copy2(src, dst)
                 os.chmod(dst, 0644)
 
         # génération du fichier JSON
             if not os.path.exists(dst) or os.path.getmtime(src) > os.path.getmtime(dst):
                 shutil.copy2(src, dst)
                 os.chmod(dst, 0644)
 
         # génération du fichier JSON
-        jsonname = os.path.join(output_directory, 'data', filename + '.json')
+        jsonname = os.path.join(dstdir, filename + '.json')
         f = open(jsonname, 'wb')
         f.write(json.dumps(result, ensure_ascii=False).encode('utf-8'))
         f.close()
         f = open(jsonname, 'wb')
         f.write(json.dumps(result, ensure_ascii=False).encode('utf-8'))
         f.close()