Purge_Registres_D-c-s_INSEE/purge-registres-deces-insee/trouver_decedes.py

"""
Copyright (c) 2020 Sdj Geek

Voir le fichier LICENSE
------------------------------------------------------------------------------------------------------------------------

Ce programme permet de comparer le fichier des personnes décédées établi par l'INSEE avec les registre de membres de
l'Église, afin de déterminer si figurent dans nos registre des personnes décédées.

L'INSEE reçoit des communes les décès enregistrés. Le fichier des personnes décédées établi par l'INSEE est en accès
libre sur le site https://www.data.gouv.fr.

Comment utilise ce programme :
1) Demander le ficher de l'INSEE à cette adresse : sdjgeek@protonmail.com
2) Installer les dépendance du programme : "pip install requests peewee"
3) Configurer les paramètres du programme (fichier settings.py)
  - chemin_base_donnees : Le chemin vers [le fichier téléchargé ici](https://git.roflcopter.fr/sdjgeek/purge-registres-deces-insee/-/wikis/home#t%C3%A9l%C3%A9charger-la-base-de-donn%C3%A9e)
  - numeros_unites : La liste des unités que le programme doit tester. La liste commence par le caractère '['. Les
  numéros d'unités sont séparés par des virgules. La liste se termine par le caractère ']'. Par exemple
  [47823, 67745, 31456]
  - cookie : Les cookies de la session au compte SDJ. Pour obtenir ces cookies il faut
    1- Ouvrir Firefox
    2- Ouvrir les outils de développement : CTRL + MAJ + E
    3- Aller sur le site des outils pour greffiers : https://lds.org/lcr
    4- Entrer identifiant et mot de passe SDJ
    5- Aller dans la liste des membres
    6- Dans l'outil de développement, cliquer sur la dernière ligne
    7- Dans le paneau de droite, dans la section "En-tête de la requête", rechercher le champ "cookie"
    8- Copier la valeur contenue dans ce champ
  - chemin_repertoire_sortie : Le chemin vers le répertoire qui contiendra la fichiers de sortie
4) Exécuter le programme : "python3.6 trouver_decedes.py"

------------------------------------------------------------------------------------------------------------------------

Auteur : SDJ GeeK <sdjgeek@protonmail.com>
Date : 16 juin 2020
Version : 4.0

"""

import argparse
import os
import peewee
import requests

from bdd_insee import BddInsee
from site_eglise import SiteEglise


def trouver_decedes(chemin_base_donnees, numeros_unites, chemin_repertoire_sortie, cookie_path=None):
    """Recherche les personnes décédées dans les registres

    :param chemin_base_donnees: chemin vers le fichier SQLite
    :param numeros_unites: liste des numéros d'unités à analyser
    :param chemin_repertoire_sortie: chemin vers le répertoire où inscrire les fichiers de sortie
    :param cookie_path: chemin vers la base de donnée des cookies

    """
    base_insee = BddInsee(chemin_base_donnees)
    site_eglise = SiteEglise(cookie_path)
    # Boucler sur la liste des unités
    for unite in numeros_unites:
        print(f"Unité {unite}")
        # Récupérer la liste des membres
        members = site_eglise.get_member_list(unite)

        # Préparer le fichier de sortie
        output_file = os.path.join(chemin_repertoire_sortie, f"liste_membres_decedes_unite_{unite}.txt")
        with open(output_file, 'w') as out_file:
            out_file.write("Les lieux dans le fichier de l'INSEE sont donnés en Code Officiel Géographique en vigueur au moment de la prise en compte du décès\n")
            # Boucler sur la liste des membres
            for member in members:
                # Lire les noms et date de naissance
                name_registre = member['nameListPreferredLocal']
                full_birthdate = member['birth']['date']['date']
                maiden_name = None
                ville_registre = None
                # S'il s'agit d'une femme mariée, trouver son nom de jeune fille
                if member['isSpouse']:
                    member_profile = site_eglise.get_member_profile(member['legacyCmisId'])
                    maiden_name = member_profile['individual']['maidenNameGroup']['name1']['family']
                    ville_registre = member_profile['individual']['birthPlace']
                try:
                    last_name, first_name = name_registre.split(',')
                    annee_registre, mois_registre, jour_registre = full_birthdate.split('-')
                except ValueError:
                    print(f"Error with member [{name_registre}, {full_birthdate}]")
                    continue
                first_name = first_name.strip().split(' ')[0]
                last_name = last_name.strip().split(' ')[0]
                query = base_insee.find_person(first_name, last_name, maiden_name, annee_registre, mois_registre, jour_registre)
                name_registre = name_registre.upper()
                if maiden_name:
                    name_registre = f"{name_registre} née {maiden_name.upper()}"
                if member['sex'] == "F":
                    feminin = "e"
                else:
                    feminin = ""
                for person in query:
                    if not ville_registre:
                        member_profile = site_eglise.get_member_profile(member['legacyCmisId'])
                        ville_registre = member_profile['individual']['birthPlace']
                        if not ville_registre:
                            ville_registre = "<VIDE>"
                    text = f"""
Le membre {name_registre},
né{feminin} le {jour_registre:0>2}/{mois_registre:0>2}/{annee_registre:0>4} à {ville_registre.upper()} 
semble être décédé{feminin}.
Dans le fichier de l'INSEE on peut trouver {person.last_name}, {person.first_name}
né{feminin} le {person.jour_naissance:0>2}/{person.mois_naissance:0>2}/{person.annee_naissance:0>4} à {person.code_lieu_naissance}
décédé{feminin} le {person.jour_deces:0>2}/{person.mois_deces:0>2}/{person.annee_deces:0>4} à {person.code_lieu_deces}
"""
                    print(text)
                    out_file.write(text)


if __name__ == "__main__":
    parser = argparse.ArgumentParser(description='Recherche des personnes décédées dans les registres.')
    parser.add_argument('chemin_base_donnees', type=str, help="chemin vers la base de données")
    parser.add_argument('chemin_repertoire_sortie', type=str, help="chemin vers le répertoire de sortie")
    parser.add_argument('numeros_unites', type=str, help="numéros des l'unités à traiter, séparés par des virgules (ex: 123,753,469)")
    parser.add_argument('--cookie', '-c', type=str, help='chemin vers la base de donnée des cookies de Firefox')
    args = parser.parse_args()
    trouver_decedes(args.chemin_base_donnees, args.numeros_unites.split(','), args.chemin_repertoire_sortie, args.cookie)