Ottimizzazione

[ottengel]

Buonasera a tutti,

sono in possesso di un elenco di link, ognuno dei quali mi porta a una pagina con tasto da cliccare per scaricare un file pdf. I link in totale sono 408 e io ho bisogno di scaricare tutti i pdf.
Vi prego, ditemi che esiste un modo per non fare 3x408 click per completare la missione

Per completezza allego il file che contiene l'elenco di link.
Sono ottimi testi universitari/divulgativi in inglese della Springer, che la casa editrice ha messo a disposizione gratuitamente per il periodo della quarantena. Prendetelo come un enorme "grazie" per tutte quelle volte che una discussione tra altri utenti del forum mi ha indirettamente aiutato a risolvere un problema

Vi ringrazio in anticipo per risposte e suggerimenti

[faxus]

Benvenuto.

Se vuoi presentarti alla comunità puoi farlo da
http://www.imaccanici.org/forum/viewforum.php?f=30
Saremo in tanti a salutarti.

So che esite un modo, forse anche due.
Ci sono applicazioni o funzioni, che possono far scaricare tutti i link sulla pagina di un sito.
O di un elenco predefinito.

Forse anche un gestore di download.

Non ho però appuntato nulla in proposito.
Vediamo se qualcuno può darti una soluzione subito.
Altrimenti domattina farò una ricerca per rinfrescarmi la memoria

[kato]

Ciao ottengel, secondo me dovresti
1. selezionare tutto il contenuto del pdf e copiarlo
2. incollarlo in qualche text editor e ripulirlo lasciando solo gli URL
3. trasformarli con un foglio di calcolo ad esempio da
http://link.springer.com/openurl?genre= ... 939-1151-6
a
https://link.springer.com/content/pdf/1 ... 1151-6.pdf
(che pare essere il formato del link del pulsante Download in ogni pagina)
4. usare o un gestore di download o un qualche trucco tipo trascinare la lista su qualche browser per un download di massa

Il punto 4. funzionava su vari browser ma ora non mi viene al volo con Safari o Firefox. Comunque innanzitutto va creata una lista pulita che punti ai singoli pdf.

Saluti e a domani,

Giulio


Aggiungo: pare che in diversi la sintassi cambi tra URL della pagina e URL del pulsante... bisogna controllare meglio. Intanto ecco la lista pulita
https://drive.google.com/file/d/119jXvI ... UWrYrbKCwh

[faxus]

Ah, ecco...

Un'estensione di Firefox, DownThemAll
https://addons.mozilla.org/it/firefox/a ... wnthemall/

Poi, cercando quella ho visto che ce n'è un'altra.
Sempre per Firefox, Simple Mass Downloader
https://addons.mozilla.org/it/firefox/a ... ownloader/

Che ha una versione anche per Chrome
https://chrome.google.com/webstore/deta ... flgehfffed

Ma Chrome ne ha altri
uSelect iDownload
https://chrome.google.com/webstore/deta ... gejc?hl=it
Batch Link Downloader
https://chrome.google.com/webstore/deta ... boebmmolnn
Eccetera

Insomma ce ne sono anche altri.
Tutti gratuiti.

Uno di questi indicati dovrebbe fare al caso tuo

[kato]

Un'estensione di Firefox, DownThemAll
https://addons.mozilla.org/it/firefox/a ... wnthemall/

Sì. giusto ieri mi ricordavo che alla fine già qualche tempo fa avevo trascinato una lista sulla finestra di DownThemAll.

Come detto, il problema è che alcuni URL reindirizzano ad altre pagine quindi non basta modificarne la sintassi per puntare al pdf... Non lo uso da anni ma pare il lavoro ideale per iMacros per Firefox
https://addons.mozilla.org/it/firefox/a ... r-firefox/
Ci si potevano fare anche robette articolate.

[faxus]

C'era poi, anche un gestore di download (o un servizio online, non ricordo).

Insomma, ci deve essere un javascript su cui si basano tutti.
Quindi è possibile.

Avranno più o meno tutti lo stesso funzionamento, con qualche piccola differenza.
Non è che gli smanettatori di app ed estensioni si sprechino più di tanto.
Scopiazzano il codice e poi, con qualche piccola differenza, gli cambiano nome e lo spacciano a destra e a manca.
È già tanto che qualcuno non provi a farne uno commerciale

[ottengel]

Grazie a entrambi per le risposte.

Ho aperto la lista pulita di kato (gentilissimo) e ho provato con tutte le estensioni che faxus mi ha indicato. Il problema sembra essere che nessuna di queste riconosce i link all'interno di un documento, ma solo quelli del sito aperto...

Consigli?

[faxus]

Hai provato con Jdownloader?

Copia la lista e buttala dentro, dovrebbe funzionare.

Potresti provare anche con Terminale e wget (ma lo devi implementare, in genere con Homebrew).
Devi fare qualche prova.

Se il link portano alla pagina dove risiede il file, non c'è bisogno di cliccare nulla

Altro metodo, un po' esperto.
Vedendo nel codice della pagina trova il link all'archivio del sito.
Se non richiede login con password al sito, trovi i documenti in lista.
Trova e scarica il db che ti interessa, per intero.

In genere si può fare, se per scaricare non si richiede password o pagamento nella pagina d'origine.
Anche se non è detto

[Giobatta]

Ho trovato questo:

https://github.com/alexgand/springer_free_books

Cosa è in pratica e come funziona?
Fa al caso nostro?

[ottengel]

Ottimo!
Con JDownloader funziona.

Grazie ancora a tutti!

[faxus]

Ottimo!
Con JDownloader funziona...

Grazie a te.

Adesso lo sappiamo tutti, dovesse servire

[kato]

Il problema sembra essere che nessuna di queste riconosce i link all'interno di un documento, ma solo quelli del sito aperto...

Curioso. Si poteva anche provare a selezionare come testo tutti gli URL e poi trascinarli sulla finestra di DownThemAll.

Come detto, occhio perché vari link non funzionano e vanno pescati e scaricati a mano (o con uno script ad hoc di iMacros se ancora funzionante).

Saluti