Commit Graph

167 Commits

Author SHA1 Message Date
489524ac38 import_ips_from_qualys: enleve suffixe /32 inet 2026-04-14 20:15:52 +02:00
154faceaff Fix: qualys_assets.ip_address est inet pas text, cast en text 2026-04-14 20:15:05 +02:00
e072adb717 Add import_ips_from_qualys: fallback IPs depuis Qualys pour serveurs sans IP iTop 2026-04-14 20:13:11 +02:00
c8a5f73616 import_sanef_ips: csv.reader par indice (evite conflit Nom/Nom duplique) 2026-04-14 20:10:51 +02:00
a66e0d853e Fix schema server_ips: ip_type au lieu de is_primary, VRF/GW/MASK dans description 2026-04-14 19:55:42 +02:00
c905ab6db3 import_sanef_ips: CAST inet + hostname multi-source + skip doublons 2026-04-14 19:50:40 +02:00
b66ef0a122 Fix SQLAlchemy: CAST(:ip AS inet) au lieu de :ip::inet (conflit avec bind marker) 2026-04-14 19:48:42 +02:00
e2f61af818 Add import_ips_from_assets: lit colonne IP directe des CSV VM/physical
Contourne l'export Interface Réseau (souvent incomplet). Utilise la
colonne IP directe du CSV VMs (attribut iTop sur la VM) + VRF si
present. Gère plusieurs IPs separees par virgule.
2026-04-14 19:47:37 +02:00
78ad32045e import_databases: lire Systeme->Nom en priorite (Serveur->Nom vide pour VM) 2026-04-14 19:39:35 +02:00
7c56725f6e Add import_sanef_databases: table server_databases + import CSV iTop
Cree server_databases (FK servers.id, UNIQUE hostname+instance_name).
Pour chaque instance BDD iTop: match hostname via Serveur->Nom, store
type (SAP Hana/Oracle/PostgreSQL/SQL Server/MySQL), version, edition,
cluster, environnement, etat.
2026-04-14 19:36:11 +02:00
2379a2fdc0 align_from_ayoub: dedoublonne les domaines case/accent-insensitive
Fusionne 'Flux Libre'/'flux libre', 'Péage'/'peage'/'PeagE' en gardant la
forme propre (avec accents et capitale). Update domain_environments.domain_id
vers le keeper et supprime les doublons.
2026-04-14 19:32:28 +02:00
991f4dd6dc align_from_ayoub: dry-run affiche les domains/envs/paires a creer 2026-04-14 19:26:26 +02:00
331e6b2946 align_from_ayoub: normalise Environnement (production->Production, Test 1->Test) 2026-04-14 19:25:10 +02:00
b6bb7e2edd align_from_ayoub: switch vers jointure (auto-cree domains/envs/de)
Auto-cree les domains / environments / domain_environments absents en
utilisant les valeurs iTop verbatim (domains.name='BI', etc.), avec codes
slug auto-generes (evite collision).

Pour chaque serveur:
 - set servers.domain_env_id vers la paire (domaine, env)
 - sync servers.environnement plain-text (pour filtre/affichage existant)
 - populate domain_environments.responsable_nom / referent_nom si NULL

Preserve les valeurs existantes non-NULL dans domain_environments.
2026-04-14 19:20:36 +02:00
c16a360cdd Add align_from_ayoub: alignement servers depuis Excel Planning Patching
Lit la sheet 'Serveurs patchables 2026' et met a jour pour chaque hostname :
 - domaine (nouvelle colonne text iTop verbatim, ajoutee si absente)
 - environnement (override si non vide)
 - responsable_nom (Responsable Domaine DTS)
 - referent_nom (Referent technique)

Pas de jointure via domain_env_id: stockage plain-text aligne sur iTop.
Dry-run affiche les diff avant/apres.
2026-04-14 19:17:25 +02:00
9048a87397 Drop NOT NULL sur servers.etat pour accepter les physiques non-lifecycle 2026-04-14 19:06:05 +02:00
a366427daf Fix: iTop exporte 2 colonnes Etat (lifecycle+condition), prendre la 1ere
Python csv.DictReader ne garde que le dernier quand 2 colonnes ont le
meme nom: le Nouveau (condition) ecrasait le Production (lifecycle).
Switch vers csv.reader + lecture par indice de colonne (1ere occurrence
de Etat = lifecycle).
2026-04-14 19:05:08 +02:00
3c6e10944e Servers list: SELECT s.environnement (colonne iTop) au lieu de e.name legacy 2026-04-14 18:58:24 +02:00
56fc1eaa7c Servers filters: option (Sans etat)/(Sans env) pour NULL 2026-04-14 18:53:51 +02:00
ce2ac219db Fix: lire Etat en priorite (Status toujours Production, inutile) + condition -> NULL 2026-04-14 18:51:57 +02:00
56f91ca9a8 Add list_csv_etats: liste valeurs distinctes Etat/Status/Environnement 2026-04-14 18:49:29 +02:00
1c2d0b958e Etat/Environnement dropdowns alignes strict iTop SANEF
Etat: 6 valeurs lifecycle uniquement (Production, Implémentation,
Stock, Obsolète, prêt, tests). Suppression des valeurs condition
(Nouveau, Cassé, En panne, etc.) et de EOL qui n'existent pas
dans iTop SANEF.

Environnement: 7 valeurs iTop (Développement, Intégration, Pré-Prod,
Production, Recette, Test, Formation). Filtre env bascule de
e.code (legacy) vers s.environnement.

tools/import_etat_itop.py:
- CHECK 6 valeurs lifecycle + NULL
- Migration mappe les anciennes condition/EOL -> NULL
- Lit Status en priorite dans le CSV (lifecycle), fallback Etat
- Fix format print pour None

tools/import_sanef_*.py: ITOP_ETATS reduit a 6 valeurs
2026-04-14 18:48:30 +02:00
753d4076c9 Migre etat vers labels iTop verbatim (Production, Nouveau, etc.)
Aligne la colonne servers.etat sur les valeurs iTop exactes au lieu
des codes lowercase internes.

Impact:
- servers.etat stocke: Production, Implémentation, Stock, Obsolète,
  EOL, prêt, tests, Nouveau, A récupérer, Cassé, Cédé, En panne,
  Perdu, Recyclé, Occasion, A détruire, Volé
- Remplace tous les 'production'/'obsolete'/'stock'/'eol'/'implementation'
  en WHERE/comparisons par les labels iTop verbatim (~10 fichiers)
- Templates badges/filtres: valeurs + labels iTop
- itop_service: maintient mapping iTop API internal code <-> DB label
- import_sanef_*: norm_etat retourne la valeur iTop verbatim ou None
  (plus de fallback silencieux sur 'production')

Ajoute:
- tools/import_etat_itop.py : migration lowercase -> iTop + re-import CSV
- tools/import_environnement.py : fix dry-run pour ADD COLUMN idempotent

Supprime:
- tools/fix_etat_extend.py (obsolete par import_etat_itop.py)
2026-04-14 18:40:56 +02:00
242641a085 Add import_environnement: colonne environnement + import CSV iTop verbatim 2026-04-14 18:33:40 +02:00
0f031b2150 fix_etat_extend: ajoute pret et tests au mapping iTop 2026-04-14 18:32:00 +02:00
fd748ce3fd Add fix_etat_extend: extend etat CHECK + remap from iTop CSV
Ajoute les 11 etats 'condition physique' iTop (nouveau, casse, en_panne,
cede, perdu, recycle, occasion, a_recuperer, a_detruire, vole) au CHECK
constraint servers.etat. Relit les CSV pour mettre a jour uniquement
la colonne etat sans tout reimporter.

Fix bug: norm_etat() precedent defaultait tout non-reconnu sur 'production',
masquant les serveurs 'Nouveau' ou 'En panne' qui ne doivent pas etre patches.
2026-04-14 18:15:25 +02:00
987e21377b Add move_esxi_extras + move_chassis scripts
move_esxi_extras: identifie ESXi par description (patch_owner_details
contient ESXi/hebergeant/hyperviseur) pour les PDP BAC_* et autres
hyperviseurs non presents dans le CSV Hyperviseur iTop. Deplace vers
hypervisors (kind=hypervisor).

move_chassis: deplace les chassis (CPEM*) vers une table chassis dediee
(non patchables, pas d'agent Qualys).
2026-04-14 18:09:26 +02:00
d3b7fc2e22 Add move_vcenters script + kind column on hypervisors 2026-04-14 17:48:46 +02:00
0a00c401d7 Add hypervisors table + move script (preserves VM->hypervisor link via vcenter_vm_name) 2026-04-14 17:40:24 +02:00
683a86346d Add SANEF physical/hypervisor import script 2026-04-14 17:34:33 +02:00
7b87074faa Qualys page size 100 2026-04-14 16:58:03 +02:00
d15db654d4 Qualys: activation keys lazy (no API on page load if cache empty) 2026-04-14 16:24:45 +02:00
49b1865d13 Qualys page size 250 (lower timeout risk) 2026-04-14 16:19:29 +02:00
67287b8256 Qualys: cancel button for ongoing refresh 2026-04-14 16:12:44 +02:00
69aeb0e77a Qualys agents page: sync route + drop LOWER (citext is case-insensitive) 2026-04-14 16:09:56 +02:00
1bfdb16bfb Qualys: actkeys cache 24h + refresh timeout 600s 2026-04-14 16:07:25 +02:00
07775a385f Qualys activation keys: short timeout (5s) 2026-04-14 16:07:03 +02:00
347ea53c27 Qualys skip threshold: 5 min -> 40 min 2026-04-14 15:56:41 +02:00
ec90a4a9d1 Qualys: reduce refresh page size to 500 2026-04-14 15:55:35 +02:00
6db58952ec Qualys refresh: early exit if no stale assets (< 5 min) 2026-04-14 15:48:41 +02:00
f66d728d2d Qualys timeout 300s for bulk hostasset search 2026-04-14 15:37:50 +02:00
d24afa37b2 Qualys refresh: skip assets updated within last 5 minutes 2026-04-14 15:32:01 +02:00
d779426118 Bump Qualys page size back to 1000 2026-04-14 15:21:04 +02:00
71f83d5d4f Qualys refresh: threading lock + 409 if already running 2026-04-14 15:20:17 +02:00
e3bcf8fcc1 Qualys refresh: sync route so blocking requests run in threadpool 2026-04-14 15:18:16 +02:00
67f123e9f5 Qualys refresh: pagination + per-row savepoint to isolate errors 2026-04-14 15:13:48 +02:00
a422894f83 Sync Qualys FQDN to servers + use fqdn first for DNS resolution 2026-04-14 15:00:40 +02:00
92175992f8 Qualys: tagName + CONTAINS (API field, not UI syntax) 2026-04-14 14:53:54 +02:00
a19281a771 Qualys filter: CONTAINS instead of EQUALS for tag 2026-04-14 14:48:29 +02:00
a331d16a12 Qualys filter: tags.name instead of tagName 2026-04-14 14:47:48 +02:00