Première release
This commit is contained in:
parent
89d6e40a54
commit
a27c46f062
|
|
@ -0,0 +1,10 @@
|
|||
# Byte-compiled / optimized / DLL files
|
||||
__pycache__/
|
||||
*.py[cod]
|
||||
*$py.class
|
||||
|
||||
# Environments
|
||||
localenv
|
||||
|
||||
# Temporary files
|
||||
*~
|
||||
|
|
@ -0,0 +1,21 @@
|
|||
MIT License
|
||||
|
||||
Copyright (c) 2020 Sdj Geek
|
||||
|
||||
Permission is hereby granted, free of charge, to any person obtaining a copy
|
||||
of this software and associated documentation files (the "Software"), to deal
|
||||
in the Software without restriction, including without limitation the rights
|
||||
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
|
||||
copies of the Software, and to permit persons to whom the Software is
|
||||
furnished to do so, subject to the following conditions:
|
||||
|
||||
The above copyright notice and this permission notice shall be included in all
|
||||
copies or substantial portions of the Software.
|
||||
|
||||
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
|
||||
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
|
||||
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
|
||||
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
|
||||
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
|
||||
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
|
||||
SOFTWARE.
|
||||
104
README.md
104
README.md
|
|
@ -1,2 +1,104 @@
|
|||
# Purge Registres Décés INSEE
|
||||
# Purge Registres Décès INSEE
|
||||
|
||||
Ce programme s'adresse essentiellement aux greffiers des pieux, paroisse et
|
||||
branches de France, de l'Église de Jésus Christ des Saints des Derniers Jours.
|
||||
|
||||
## Objectif
|
||||
|
||||
La tenue à jour des registres de l'Église n'est pas une tache aisée. Une des
|
||||
difficultés est liée au fait que lorsqu'un membre s'éloigne de l'Église, ses
|
||||
informations personnelles (adresse, téléphone, etc) ne sont plus mises à jour.
|
||||
|
||||
L'INSEE tient un fichier des personnes décédées en France de 1970 à
|
||||
aujourd'hui. Ce fichier est disponible en [données
|
||||
ouvertes](https://fr.wikipedia.org/wiki/Donn%C3%A9es_ouvertes) sur [le site du
|
||||
gouvernement](https://www.data.gouv.fr/fr/datasets/fichier-des-personnes-decedees/).
|
||||
Ce fichier est une aubaine, car il permet de savoir si un membre de l'Église
|
||||
est décédé sans que nous le sachions. Si une personne figure à la fois dans
|
||||
les registres de l'Église et dans le fichier de l'INSEE, alors une mise à jour
|
||||
du registre de l'Église est nécessaire.
|
||||
|
||||
Parcourir à la main le registre de membres de paroisse est une tache longue et
|
||||
fastidieuse. Ce programme permet de comparer automatiquement le registre de
|
||||
paroisse avec le fichier de l'INSEE, et donne la liste des membres trouvés
|
||||
dans le fichier de l'INSEE.
|
||||
|
||||
Le fichier de l'INSEE est actualisé de façon mensuelle. Il semble intéressant
|
||||
d'utiliser ce programme régulièrement (une fois par an par exemple) pour
|
||||
s'assurer que les registres restent à jour.
|
||||
|
||||
## Pré-requis
|
||||
|
||||
### Logiciels
|
||||
- Git
|
||||
- Python 3.6
|
||||
- Virtualenv
|
||||
|
||||
Testé uniquement sur GNU/Linux (Ubuntu 18.4)
|
||||
|
||||
### Données
|
||||
|
||||
Le fichier de l'INSEE tel qu'il est présenté n'est pas facile à exploiter. Je
|
||||
l'ai donc converti en base de donnée SQLite, plus pratique d'utilisation. Je
|
||||
n'ai pas encore uploadé ce fichier, mais vous pouvez me le demander par
|
||||
courriel.
|
||||
|
||||
## Installation
|
||||
|
||||
- Cloner le code
|
||||
|
||||
```bash
|
||||
git clone -b latest-release https://git.roflcopter.fr/sdjgeek/purge-registres-deces-insee.git
|
||||
cd purge-registres-deces-insee
|
||||
```
|
||||
|
||||
- Mettre en place l'environnement virtuel Python
|
||||
|
||||
```bash
|
||||
python3 -m venv localenv
|
||||
. localenv/bin/activate
|
||||
pip install -r requirements.txt
|
||||
```
|
||||
|
||||
## Utilisation
|
||||
|
||||
Le début du fichier ```trouver_deces.py``` contient les paramètres à configurer :
|
||||
|
||||
- chemin_base_donnees : Le chemin vers le fichier téléchargé (me contacter)
|
||||
- numeros_unites : La liste des unités que le programme doit tester. La liste commence par le caractère '['. Les
|
||||
numéros d'unités sont séparés par des virgules. La liste se termine par le caractère ']'. Par exemple
|
||||
[47823, 67745, 31456]
|
||||
- cookie : Les cookies de la session au compte SDJ. Pour obtenir ces cookies il faut
|
||||
1- Ouvrir Firefox
|
||||
2- Ouvrir les outils de développement : CTRL + MAJ + E
|
||||
3- Aller sur le site des outils pour greffiers : https://lds.org/lcr
|
||||
4- Entrer identifiant et mot de passe SDJ
|
||||
5- Aller dans la liste des membres
|
||||
6- Dans l'outil de développement, cliquer sur la dernière ligne
|
||||
7- Dans le panneau de droite, dans la section "En-tête de la requête", rechercher le champ "cookie"
|
||||
8- Copier la valeur contenue dans ce champ
|
||||
- chemin_repertoire_sortie : Le chemin vers le répertoire qui contiendra la fichiers de sortie
|
||||
|
||||
Une fois la configuration effectuée, lancer le script :
|
||||
|
||||
```bash
|
||||
. localenv/bin/activate
|
||||
python trouver_deces.py
|
||||
```
|
||||
|
||||
Le script mettra un peu de temps à s'exécuter. En fin d'exécution, le fichier
|
||||
liste_membres_decedes_unite_{unite}.txt contiendra la liste des membres
|
||||
trouvés dans le fichier de l'INSEE. Il est recommandé de contrôler les
|
||||
informations du membres avant de le déclarer comme décédé dans les registres
|
||||
de l'Église.
|
||||
|
||||
## Licence
|
||||
|
||||
Copyright (c) 2020 Sdj Geek
|
||||
|
||||
Ce logiciel est sous licence MIT/X Consortium. Elle donne à toute personne
|
||||
recevant le logiciel (et ses fichiers) le droit illimité de l'utiliser, le
|
||||
copier, le modifier, le fusionner, le publier, le distribuer, le vendre et le
|
||||
"sous-licencier" (l'incorporer dans une autre licence). La seule obligation
|
||||
est d'incorporer la notice de licence et de copyright dans toutes les
|
||||
copies. Voir le fichier [LICENSE](LICENSE) pour le texte complet.
|
||||
|
|
@ -0,0 +1,2 @@
|
|||
peewee
|
||||
requests
|
||||
|
|
@ -0,0 +1,191 @@
|
|||
"""
|
||||
Copyright (c) 2020 Sdj Geek
|
||||
|
||||
Voir le fichier LICENSE
|
||||
------------------------------------------------------------------------------------------------------------------------
|
||||
|
||||
Ce programme permet de comparer le fichier des personnes décédées établi par l'INSEE avec les registre de membres de
|
||||
l'Église, afin de déterminer si figurent dans nos registre des personnes décédées.
|
||||
|
||||
L'INSEE reçoit des communes les décès enregistrés. Le fichier des personnes décédées établi par l'INSEE est en accès
|
||||
libre sur le site https://www.data.gouv.fr.
|
||||
|
||||
Comment utilise ce programme :
|
||||
1) Demander le ficher de l'INSEE à cette adresse : sdjgeek@protonmail.com
|
||||
2) Installer les dépendance du programme : "pip install requests peewee"
|
||||
3) Configurer les paramètres du programme (un peu plus bas)
|
||||
- chemin_base_donnees : Le chemin vers le fichier téléchargé sur le site data.gouv.fr
|
||||
- numeros_unites : La liste des unités que le programme doit tester. La liste commence par le caractère '['. Les
|
||||
numéros d'unités sont séparés par des virgules. La liste se termine par le caractère ']'. Par exemple
|
||||
[47823, 67745, 31456]
|
||||
- cookie : Les cookies de la session au compte SDJ. Pour obtenir ces cookies il faut
|
||||
1- Ouvrir Firefox
|
||||
2- Ouvrir les outils de développement : CTRL + MAJ + E
|
||||
3- Aller sur le site des outils pour greffiers : https://lds.org/lcr
|
||||
4- Entrer identifiant et mot de passe SDJ
|
||||
5- Aller dans la liste des membres
|
||||
6- Dans l'outil de développement, cliquer sur la dernière ligne
|
||||
7- Dans le paneau de droite, dans la section "En-tête de la requête", rechercher le champ "cookie"
|
||||
8- Copier la valeur contenue dans ce champ
|
||||
- chemin_repertoire_sortie : Le chemin vers le répertoire qui contiendra la fichiers de sortie
|
||||
4) Exécuter le programme : "python3.6 trouver_decedes.py"
|
||||
|
||||
------------------------------------------------------------------------------------------------------------------------
|
||||
|
||||
Auteur : SDJ GeeK <sdjgeek@protonmail.com>
|
||||
Date : 16 mai 2020
|
||||
Version : 1.0
|
||||
|
||||
------------------------------------------------------------------------------------------------------------------------
|
||||
|
||||
Journal des versions
|
||||
|
||||
v1.0 (2020/05/16)
|
||||
Première publication
|
||||
|
||||
"""
|
||||
|
||||
###
|
||||
# Paramètres
|
||||
|
||||
# Chemin complet vers le fichier contenant les registres de l'INSEE
|
||||
chemin_base_donnees = "/chemin/vers/fichier-des-personnes-decedees.sqlite"
|
||||
|
||||
# Numéro des l'unités à contrôler (par exemple [47823, 67745, 31456])
|
||||
# Beziers 63789, Carcassonne 85774, Montauban 226122, Montpellier 83895, Nimes 72850, Perpignan 75698, Rodez 333824, Tarbes 65471, Capitole 111848, Concorde 263923
|
||||
numeros_unites = [63789, 111848]
|
||||
|
||||
# Cookie de session compte SDJ
|
||||
cookie = ""
|
||||
|
||||
# Chemin vers le répertoire de sortie
|
||||
chemin_repertoire_sortie = "/chemin/vers/repertoire-de-sortie"
|
||||
|
||||
# Fin des paramètres. Ne pas modifier plus loin.
|
||||
###
|
||||
|
||||
import os
|
||||
import peewee
|
||||
import requests
|
||||
|
||||
##
|
||||
# Texte inscrit dans le fichier de sortie
|
||||
output_template = """
|
||||
{full_name} dans nos registres
|
||||
{last_name}, {first_name} dans la liste des décés
|
||||
né{feminin} le {jour_naissance:0>2}/{mois_naissance:0>2}/{annee_naissance:0>4}
|
||||
décédé{feminin} le {jour_deces:0>2}/{mois_deces:0>2}/{annee_deces:0>4}
|
||||
"""
|
||||
|
||||
###
|
||||
# Base de donnée INSEE
|
||||
database = peewee.SqliteDatabase(chemin_base_donnees)
|
||||
|
||||
|
||||
class Person(peewee.Model):
|
||||
last_name = peewee.CharField()
|
||||
first_name = peewee.CharField()
|
||||
is_woman = peewee.BooleanField()
|
||||
annee_naissance = peewee.IntegerField()
|
||||
mois_naissance = peewee.IntegerField()
|
||||
jour_naissance = peewee.IntegerField()
|
||||
code_lieu_naissance = peewee.CharField()
|
||||
commune_naissance = peewee.CharField()
|
||||
pays_naissance = peewee.CharField()
|
||||
annee_deces = peewee.IntegerField()
|
||||
mois_deces = peewee.IntegerField()
|
||||
jour_deces = peewee.IntegerField()
|
||||
code_lieu_deces = peewee.CharField()
|
||||
numero_act_deces = peewee.CharField()
|
||||
|
||||
class Meta:
|
||||
database = database
|
||||
|
||||
|
||||
def find_person(first_name, last_name, maiden_name, annee_naissance, mois_naissance, jour_naissance):
|
||||
if maiden_name:
|
||||
return Person.select().where((Person.annee_naissance == int(annee_naissance))
|
||||
& (Person.mois_naissance == int(mois_naissance))
|
||||
& (Person.jour_naissance == int(jour_naissance))
|
||||
& (Person.first_name.contains(first_name.upper()))
|
||||
& ((Person.last_name.contains(last_name.upper()))
|
||||
| Person.last_name.contains(maiden_name.upper())))
|
||||
else:
|
||||
return Person.select().where((Person.annee_naissance == int(annee_naissance))
|
||||
& (Person.mois_naissance == int(mois_naissance))
|
||||
& (Person.jour_naissance == int(jour_naissance))
|
||||
& (Person.first_name.contains(first_name.upper()))
|
||||
& (Person.last_name.contains(last_name.upper())))
|
||||
|
||||
|
||||
###
|
||||
# Registres de l'Église
|
||||
def get_member_list(unit_number, cookie):
|
||||
r = requests.get('https://lcr.churchofjesuschrist.org/services/umlu/report/member-list',
|
||||
params={'lang': "fra", 'unitNumber': unit_number},
|
||||
headers={'Accept': "application/json",
|
||||
'Cookie': cookie})
|
||||
r.raise_for_status()
|
||||
return r.json()
|
||||
|
||||
|
||||
def get_member_profile(member_id, cookie):
|
||||
r = requests.get(f'https://lcr.churchofjesuschrist.org/records/member-profile/service/{member_id}',
|
||||
params={'lang': "fra"},
|
||||
headers={'Accept': "application/json",
|
||||
'Cookie': cookie,
|
||||
'Referer': f"https://lcr.churchofjesuschrist.org/records/member-profile/{member_id}?lang=fra"})
|
||||
r.raise_for_status()
|
||||
return r.json()
|
||||
|
||||
|
||||
###
|
||||
# Programme principal
|
||||
|
||||
# Boucler sur la liste des unités
|
||||
for unite in numeros_unites:
|
||||
print(f"Unité {unite}")
|
||||
# Récupérer la liste des membres
|
||||
members = get_member_list(111848, cookie=cookie)
|
||||
|
||||
# Préparer le fichier de sortie
|
||||
output_file = os.path.join(chemin_repertoire_sortie, f"liste_membres_decedes_unite_{unite}.txt")
|
||||
with open(output_file, 'w') as out_file:
|
||||
# Boucler sur la liste des membres
|
||||
for member in members:
|
||||
# Lire les noms et date de naissance
|
||||
full_name = member['nameListPreferredLocal']
|
||||
full_birthdate = member['birth']['date']['date']
|
||||
maiden_name = None
|
||||
# S'il s'agit d'une femme mariée, trouver son nom de jeune fille
|
||||
if member['isSpouse']:
|
||||
member_profile = get_member_profile(member['legacyCmisId'], cookie=cookie)
|
||||
maiden_name = member_profile['individual']['maidenNameGroup']['name1']['family']
|
||||
try:
|
||||
last_name, first_name = full_name.split(',')
|
||||
annee_naissance, mois_naissance, jour_naissance = full_birthdate.split('-')
|
||||
except ValueError:
|
||||
print(f"Error with member [{full_name}, {full_birthdate}]")
|
||||
continue
|
||||
first_name = first_name.strip().split(' ')[0]
|
||||
last_name = last_name.strip().split(' ')[0]
|
||||
query = find_person(first_name, last_name, maiden_name, annee_naissance, mois_naissance, jour_naissance)
|
||||
if maiden_name:
|
||||
full_name = f"{full_name} née {maiden_name}"
|
||||
if member['sex'] == "F":
|
||||
feminin = "e"
|
||||
else:
|
||||
feminin = ""
|
||||
for person in query:
|
||||
text = output_template.format(full_name=full_name,
|
||||
last_name=person.last_name.capitalize(),
|
||||
first_name=person.first_name.capitalize(),
|
||||
jour_naissance=person.jour_naissance,
|
||||
mois_naissance=person.mois_naissance,
|
||||
annee_naissance=person.annee_naissance,
|
||||
jour_deces=person.jour_deces,
|
||||
mois_deces=person.mois_deces,
|
||||
annee_deces=person.annee_deces,
|
||||
feminin=feminin)
|
||||
print(text)
|
||||
out_file.write(text)
|
||||
Loading…
Reference in New Issue