Pārlūkot izejas kodu

Fix deduplication within each section processing

master
JustAnotherArchivist pirms 4 gadiem
vecāks
revīzija
256a94443e
1 mainītis faili ar 5 papildinājumiem un 0 dzēšanām
  1. +5
    -0
      wiki-recursive-extract-normalise

+ 5
- 0
wiki-recursive-extract-normalise Parādīt failu

@@ -51,6 +51,11 @@ do
url="${url%% | *}"
fi

if [[ "${sectionUrls[${url}]}" ]]
then
# Processed already, skip
continue
fi
sectionUrls["${url}"]=1
toProcess=("${url}")
while [[ ${#toProcess[@]} -gt 0 ]]


Notiek ielāde…
Atcelt
Saglabāt