From 5b7d7861aa60d57de4c2148fad195e57102d1c62 Mon Sep 17 00:00:00 2001
From: Samuele Mancuso <s.mancuso95@gmail.com>
Date: Mon, 8 Jun 2026 11:41:00 +0200
Subject: [PATCH 1/5] perf(import): read each CSV batch in a single pass; add
 getTotalRows()

getRows() called league/csv fetchOne($offset+$i) in a loop, and fetchOne re-scans the file from the start on every call, making imports O(n^2) (~12.5M line-parses for 5000 rows). Read each batch once via Statement::offset()->limit(). Add getTotalRows() so the UI can compute import progress.
---
 src/Importer/CSVImporter.php | 26 ++++++++++++++++++--------
 1 file changed, 18 insertions(+), 8 deletions(-)

diff --git a/src/Importer/CSVImporter.php b/src/Importer/CSVImporter.php
index b98496869..904464f54 100644
--- a/src/Importer/CSVImporter.php
+++ b/src/Importer/CSVImporter.php
@@ -21,6 +21,7 @@
 namespace Importer;
 
 use League\Csv\Reader;
+use League\Csv\Statement;
 
 /**
  * Classe dedicata alla gestione dell'importazione da file CSV.
@@ -96,17 +97,24 @@ public function getHeader()
         return array_shift($first_row);
     }
 
+    /**
+     * Numero totale di record presenti nel file CSV (intestazione inclusa).
+     * Usato dalla UI per calcolare la percentuale di avanzamento dell'importazione.
+     */
+    public function getTotalRows()
+    {
+        return count($this->csv);
+    }
+
     public function getRows($offset, $length)
     {
         $rows = [];
-        for ($i = 0; $i < $length; ++$i) {
-            // Lettura di una singola riga alla volta
-            $row = $this->csv->fetchOne($offset + $i);
-            if (empty($row)) {
-                break;
-            }
 
-            // Aggiunta all'insieme dei record
+        // Lettura del blocco in un'unica passata sequenziale.
+        // NB: chiamare fetchOne($offset + $i) in un ciclo è O(n²), perché league/csv
+        // ri-scorre il file dall'inizio ad ogni chiamata; Statement lo scorre una sola volta.
+        $statement = Statement::create()->offset((int) $offset)->limit((int) $length);
+        foreach ($statement->process($this->csv) as $row) {
             $rows[] = \Filter::parse($row);
         }
 
@@ -170,8 +178,10 @@ public function importRows($offset, $length, $update_record = true, $add_record
             $validated_records[] = $record;
         }
 
-        $batch_size = 100;
         $import_failed = 0;
+
+        // Autocommit per riga (volutamente NON in un'unica transazione per batch): così i lock
+        // restano brevissimi e un import lento/abbandonato non blocca l'intera applicazione.
         foreach ($validated_records as $index => $record) {
             $row = $validated_rows[$index];
 

From e515ba2d4d7ce0510209b859edef8da2d67aa00b Mon Sep 17 00:00:00 2001
From: Samuele Mancuso <s.mancuso95@gmail.com>
Date: Mon, 8 Jun 2026 11:41:00 +0200
Subject: [PATCH 2/5] perf(import): reduce import batch size from 500 to 100
 rows

Shorter per-request work (less risk of proxy/PHP timeouts on large files) and more frequent progress updates.
---
 modules/import/actions.php | 3 ++-
 1 file changed, 2 insertions(+), 1 deletion(-)

diff --git a/modules/import/actions.php b/modules/import/actions.php
index 8304e25c5..a60ecf83c 100755
--- a/modules/import/actions.php
+++ b/modules/import/actions.php
@@ -88,7 +88,8 @@
             $fields = (array) post('fields');
             $page = post('page');
 
-            $limit = 500;
+            // Batch piccolo: richieste brevi (margine sui timeout/504) e progress più fluida
+            $limit = 100;
 
             // Inizializzazione del lettore CSV
             $filepath = base_dir().'/files/'.$record->directory.'/'.$record->filename;

From bd828c9557042046f4be6642a57e8ee25a254410 Mon Sep 17 00:00:00 2001
From: Samuele Mancuso <s.mancuso95@gmail.com>
Date: Mon, 8 Jun 2026 11:41:00 +0200
Subject: [PATCH 3/5] feat(import): progress bar overlay and human-readable
 error messages

Replace the full-screen spinner with a progress overlay that updates after each batch (processed/total rows + percentage). Show the actual server error instead of '[object Object]' when an import request fails.
---
 modules/import/edit.php | 54 ++++++++++++++++++++++++++++++++++++-----
 1 file changed, 48 insertions(+), 6 deletions(-)

diff --git a/modules/import/edit.php b/modules/import/edit.php
index ad9a7b874..05ca9fd33 100755
--- a/modules/import/edit.php
+++ b/modules/import/edit.php
@@ -234,10 +234,34 @@
     </div>
 </form>';
 
+    // Totale record del CSV (intestazione inclusa): serve alla progress bar lato client
+    $totale_record = $csv->getTotalRows();
+
+    echo '
+<div id="import-progress-overlay" style="display:none; position:fixed; top:0; left:0; right:0; bottom:0; z-index:99999; background:rgba(255,255,255,0.92); flex-direction:column; justify-content:center; align-items:center;">
+    <div style="width:60%; max-width:600px;">
+        <h4 class="text-center" style="margin-bottom:15px;">'.tr('Importazione in corso...').'</h4>
+        <div class="progress" style="height:28px;">
+            <div id="import-progress-bar" class="progress-bar progress-bar-striped progress-bar-animated bg-primary" role="progressbar" style="width:0%; line-height:28px;">0%</div>
+        </div>
+        <div id="import-progress-label" class="text-center text-muted" style="margin-top:8px;"></div>
+    </div>
+</div>';
+
     echo '
 <script>
 var count = 0;
 var failed_records_filename = null;  // Variabile globale per mantener il nome del file di errore tra batch
+var importTotalRecords = '.$totale_record.';  // record totali nel CSV (intestazione inclusa)
+var importTotalRows = 0;                       // righe dati effettive da importare
+var importProcessed = 0;                       // righe processate finora (importate + fallite)
+
+function updateImportProgress() {
+    var pct = importTotalRows > 0 ? Math.min(100, Math.round(importProcessed / importTotalRows * 100)) : 0;
+    var done = Math.min(importProcessed, importTotalRows);
+    $("#import-progress-bar").css("width", pct + "%").text(pct + "%");
+    $("#import-progress-label").text(done + " / " + importTotalRows + " '.tr('righe').'");
+}
 
 $(document).ready(function() {';
 
@@ -256,6 +280,12 @@
     save.on("click", function() {
         count = 0;
         failed_records_filename = null;  // Reset della variabile
+
+        // Avanzamento: se la prima riga non viene importata è l\'intestazione, quindi va esclusa dal totale
+        importProcessed = 0;
+        importTotalRows = $("#include_first_row").is(":checked") ? importTotalRecords : Math.max(0, importTotalRecords - 1);
+        updateImportProgress();
+
         importPage(0);
     });
 });
@@ -279,7 +309,7 @@ function importPage(page) {
         }
     }
 
-    $("#main_loading").show();
+    $("#import-progress-overlay").css("display", "flex");
 
     let data = {
         id_module: "'.$id_module.'",
@@ -302,7 +332,7 @@ function importPage(page) {
 
             // Gestione errori di validazione
             if (data.error) {
-                $("#main_loading").fadeOut();
+                $("#import-progress-overlay").hide();
 
                 Swal.fire({
                     title: "'.tr('Errore').'",
@@ -321,11 +351,17 @@ function importPage(page) {
             // Aggiorna i contatori
             count += data.imported;
 
+            // Avanzamento: somma le righe processate in questo batch (importate + fallite)
+            importProcessed += data.total;
+            updateImportProgress();
+
             // Se ci sono altre pagine da importare
             if(data.more) {
                 importPage(page + 1);
             } else {
-                $("#main_loading").fadeOut();
+                importProcessed = importTotalRows;
+                updateImportProgress();
+                $("#import-progress-overlay").hide();
 
                 // Prepara il messaggio di completamento
                 let title = "'.tr('Importazione completata').'";
@@ -399,10 +435,16 @@ function importPage(page) {
                 }
             }
         },
-        error: function(data) {
-            $("#main_loading").fadeOut();
+        error: function(xhr) {
+            $("#import-progress-overlay").hide();
+
+            var message = (xhr && xhr.responseJSON && xhr.responseJSON.message) || (xhr && xhr.responseText) || (xhr && xhr.statusText) || "'.tr('Errore sconosciuto').'";
 
-            alert("'.tr('Errore').': " + data);
+            Swal.fire({
+                title: "'.tr('Errore').'",
+                text: message,
+                icon: "error",
+            });
         }
     });
 };

From 3faed8ccd57ec69ae0fe85e80c0fa6fdad5a156a Mon Sep 17 00:00:00 2001
From: Samuele Mancuso <s.mancuso95@gmail.com>
Date: Mon, 8 Jun 2026 11:46:23 +0200
Subject: [PATCH 4/5] feat(import): warn users not to close the page during
 import

---
 modules/import/edit.php | 3 +++
 1 file changed, 3 insertions(+)

diff --git a/modules/import/edit.php b/modules/import/edit.php
index 05ca9fd33..4accc7fb4 100755
--- a/modules/import/edit.php
+++ b/modules/import/edit.php
@@ -245,6 +245,9 @@
             <div id="import-progress-bar" class="progress-bar progress-bar-striped progress-bar-animated bg-primary" role="progressbar" style="width:0%; line-height:28px;">0%</div>
         </div>
         <div id="import-progress-label" class="text-center text-muted" style="margin-top:8px;"></div>
+        <div class="text-center" style="margin-top:18px; color:#b8860b; font-weight:600;">
+            <i class="fa fa-exclamation-triangle"></i> '.tr('Non chiudere né ricaricare questa pagina finché l\'importazione non è completata: interrompendola, alcune righe potrebbero non essere importate.').'
+        </div>
     </div>
 </div>';
 

From 7bf5e06dd24ae5a77de242e236845db5055d7048 Mon Sep 17 00:00:00 2001
From: Samuele Mancuso <s.mancuso95@gmail.com>
Date: Mon, 8 Jun 2026 12:00:48 +0200
Subject: [PATCH 5/5] feat(import): warn about slower import when
 auto-geolocation is on

Anagrafiche imports geolocate each row via an online service when 'Geolocalizzazione automatica' is enabled, which slows the import. Show a dynamic notice in the progress overlay only when the setting is active for an anagrafiche import.
---
 modules/import/edit.php | 9 ++++++++-
 1 file changed, 8 insertions(+), 1 deletion(-)

diff --git a/modules/import/edit.php b/modules/import/edit.php
index 4accc7fb4..a26a9b3e7 100755
--- a/modules/import/edit.php
+++ b/modules/import/edit.php
@@ -237,6 +237,10 @@
     // Totale record del CSV (intestazione inclusa): serve alla progress bar lato client
     $totale_record = $csv->getTotalRows();
 
+    // La geolocalizzazione automatica (solo anagrafiche) fa una chiamata online per ogni riga:
+    // se attiva, l'importazione è più lenta e lo segnaliamo nell'overlay di avanzamento.
+    $geoloc_attiva = $import_selezionato === CSV::class && setting('Geolocalizzazione automatica');
+
     echo '
 <div id="import-progress-overlay" style="display:none; position:fixed; top:0; left:0; right:0; bottom:0; z-index:99999; background:rgba(255,255,255,0.92); flex-direction:column; justify-content:center; align-items:center;">
     <div style="width:60%; max-width:600px;">
@@ -247,7 +251,10 @@
         <div id="import-progress-label" class="text-center text-muted" style="margin-top:8px;"></div>
         <div class="text-center" style="margin-top:18px; color:#b8860b; font-weight:600;">
             <i class="fa fa-exclamation-triangle"></i> '.tr('Non chiudere né ricaricare questa pagina finché l\'importazione non è completata: interrompendola, alcune righe potrebbero non essere importate.').'
-        </div>
+        </div>'.($geoloc_attiva ? '
+        <div class="text-center" style="margin-top:12px; color:#6c757d;">
+            <i class="fa fa-clock-o"></i> '.tr('La geolocalizzazione automatica delle anagrafiche è attiva: ogni riga viene geolocalizzata tramite un servizio online, perciò l\'importazione può richiedere molto più tempo del normale.').'
+        </div>' : '').'
     </div>
 </div>';