Cum se folosește Wget pentru a descărca orice de pe Internet

Wget este un utilitar de linie de comandă care poate fi folosit pentru a descărca aproape orice este disponibil pe internet. Captura este că ar trebui să fie disponibilă prin protocoale HTTP, HTTPS sau FTP; în caz contrar, Wget nu îl va putea descărca. Există o serie de moduri în care Wget poate fi utilizat, de exemplu, puteți utiliza Wget pentru a descărca fiecare imagine de pe un site web sau puteți descărca și un singur fișier. Wget este chiar capabil să reia descărcările, atunci când este posibil. Deci, dacă vă întrebați cum funcționează Wget și ce poate face pentru dvs., iată cum să utilizați Wget:

Instalarea Wget

1. Instalarea Wget pe macOS Sierra

Înainte de a începe să folosim Wget, va trebui să îl instalăm pe sistemul nostru. Acum, din fericire, majoritatea distribuțiilor Linux vin cu Wget preinstalat, deci nu va trebui să faceți nicio lucrare suplimentară. Cu toate acestea, dacă sunteți pe un Mac, va trebui să instalați Wget. Acest lucru se poate face cu ușurință utilizând Homebrew (descărcare). Dacă aveți nevoie de ajutor, iată pașii pe care trebuie să îi urmați:

• Mai întâi, va trebui să instalați Homebrew pe Mac, pentru a putea descărca Wget. Pentru a face acest lucru, doar lansați Terminalul, și tastați următoarea comandă:

/ usr / bin / ruby ​​-e "$ (curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

• După finalizarea comenzii, Homebrew va fi instalat pe sistemul dvs. Acum puteți utiliza Homebrew pentru a instala pachete, cum ar fi Wget. În terminal, rulați următoarea comandă:

instalare brew wget

• Homebrew va porni automat descărcarea, despachetarea și instalarea Wget pe sistemul dvs. Acest pas ar putea dura ceva timp, în funcție de viteza rețelei, deci aveți răbdare. După finalizarea comenzii, ar trebui să puteți utiliza Wget pe Mac. Pentru a verifica dacă a fost instalat, utilizați doar comanda:

wget -V

2. Instalarea Wget pe Windows

Instalarea Wget pe Windows necesită ceva mai mult efort, dar se poate face cu ușurință. Dacă doriți să instalați Wget pe computerul dvs. Windows, urmați pașii de mai jos:

• Mai întâi, descărcați Cygwin și apoi rulați fișierul de configurare descărcat.

• Când solicită sursa de descărcare implicită, alegeți opțiunea care spune „Instalați de pe Internet„, Și faceți clic pe "Următorul".

• Alegeți un director de instalare pentru Cygwin, precum și un director în care va salva fișierele de pachete pentru instalarea utilitarelor.

• În ecranul următor, trebuie să vă selectați conexiunea la internet. Dacă utilizați un proxy, alegeți tipul de proxy și completați detaliile. Pentru majoritatea utilizatorilor, însă, alegerea ar fi „Conexiune directa„.

• Vi se va arăta apoi un lista oglinzilor, alegeți oricare dintre acestea pentru a descărca Cygwin. Dacă descărcarea eșuează, puteți încerca din nou cu o altă oglindă.

• În fereastra următoare, căutați „Wget”, și faceți clic pe plus lângă "web" în lista care apare. Aici, caseta de selectare de lângă „wget”Va fi selectat automat. Pur și simplu faceți clic pe "Următorul".

• Următorul ecran vă va arăta pachetele pe care trebuie să le descărcați. Doar click "Următorul".

• După finalizarea instalării, veți fi întrebat dacă doriți creeaza o iconita pe desktop, și / sau adăugați un intrarea în meniul Start. Aceasta este complet o chestiune de preferință personală, dar v-aș sugera măcar să o adăugați la meniul Start, astfel încât să o puteți găsi cu ușurință.

Asta este. Wget este acum instalat pe computerul dvs. Windows. Cu toate acestea, nu îl veți putea rula din promptul de comandă. În schimb, va trebui lansați terminalul Cygwin și utilizați Wget de acolo.

Cum se folosește Wget

Acum că am instalat Wget și funcționează pe sistemul nostru, să explorăm toate modurile interesante în care putem folosi Wget pentru a descărca fișiere, foldere și chiar site-uri întregi de pe internet. Iată câteva lucruri interesante pe care le puteți face cu Wget pe sistemul dvs..

Notă: Folosesc Wget pe un MacBook Air care rulează macOS Sierra 10.12.3 beta. Cu toate acestea, deoarece utilitarul pe care îl folosim este același (Wget), comenzile vor fi aceleași pe orice sistem de operare pe care ați putea folosi Wget.

1. Utilizați Wget pentru a descărca fișiere

Puteți utiliza Wget pentru a descărca cu ușurință fișiere de pe internet. Folosiți următoarea comandă

wget 

• Descărcați un fișier și salvați-l cu un anumit nume de fișier

Fișierele de pe servere au uneori cele mai ciudate nume și este posibil să doriți să descărcați fișierul, iar Wget să îl redenumească automat în ceva care are mai mult sens pentru dvs. Pentru a face acest lucru, trebuie doar să utilizați următoarea comandă

wget -o  

• Descărcați numai tipuri de fișiere specifice

Un server web poate găzdui mai multe fișiere diferite. Deci, ce se întâmplă dacă doriți doar să descărcați toate PDF-urile de pe server sau poate toate GIF-urile? Pur și simplu utilizați următoarea comandă:

wget -r -A pdf 

Această comandă specială a fost folosită de Mark Zuckerberg în camera sa de cămin de la Harvard, pentru a descărca toate imaginile cu o singură comandă și a construi site-ul infam „facesmash.com”.

wget -r -A jpg, jpeg, png, bmp 

2. Descărcați fișiere din mai multe adrese URL cu Wget

Să presupunem că trebuie să descărcați fișiere din mai multe locații diferite de pe internet. S-ar putea să existe Fișier PDF pe url1, un important Fișier ZIP pe url2, și altceva în url3. Dacă ați folosit Wget în mod tradițional, va trebui să îl rulați de trei ori. Cu toate acestea, există o modalitate mult mai ușoară de a face acest lucru.

• Mai întâi, creați un fișier cu toate adresele URL de care aveți nevoie pentru a descărca date. Asigură-te că păstrați fiecare adresă URL în linia sa. Salvați fișierul și asigurați-vă că vă amintiți numele.

• În Terminal, utilizați următoarea comandă pentru a descărca fișiere din toate adresele URL:

wget -i 

Unde "nume de fișier” este numele fișierului pe care l-ați creat cu toate adresele URL trebuia să descărcați lucruri de pe.

3. Descărcați un întreg site web cu Wget

Da, ai citit bine. Puteți utiliza Wget pentru a descărca și conținutul unui întreg site web. Evident, dacă site-ul web este prea mare, această comandă va dura mult timp pentru a finaliza, ca să nu mai vorbim că va consuma mult spațiu pe sistemul dvs. Acestea fiind spuse, dacă doriți să utilizați Wget pentru a descărca un întreg site web, folosiți următoarea comandă:

wget --mirror -p  -P ./LOCAL-DIR WEBSITE-URL

Aceasta va descărca întregul site web, într-un folder „LOCAL-DIR”În directorul dvs. de lucru. Fișierele site-ului web vor fi stocate într-un folder cu același nume ca și site-ul web, datorită „WEBSITE URL„.

4. Folosiți Wget ca un păianjen web

De asemenea, puteți face ca Wget să acționeze ca un crawler web (sau un web spider). Acest lucru este util atunci când doriți confirmați că adresa URL a fișierului pe care doriți să îl descărcați este validă. Pentru a utiliza Wget ca web spider și pentru a verifica validitatea adreselor URL, trebuie doar să utilizați următoarea comandă:

wget - spider 

Aceasta va verifica dacă există adresa URL pe care ați menționat-o și veți primi un răspuns care vă va spune rezultatele verificării.

• Raspuns pozitiv:

• Răspuns negativ:

5. Continuați descărcările incomplete

Acesta este un alt lucru foarte interesant pe care Wget îl poate face. Spuneți că descărcați un fișier cu Wget, dar dintr-un anumit motiv, a trebuit să închideți laptopul. Data viitoare când doriți să încercați să descărcați același fișier, Wget poate efectiv continuați descărcarea Pentru dumneavoastră. Trebuie doar asigurați-vă că vă aflați în același dosar în care descărcați fișierul ultima dată, și apoi utilizați următoarea comandă:

wget -c 

Când Wget vede că o parte a fișierului este deja prezentă în sistemul dvs., va continua automat descărcarea.

Notă: Dacă fișierul de pe server a fost schimbat de la ultima dată când ați încercat să îl descărcați, atunci nu ar trebui să utilizați această comandă, deoarece va avea ca rezultat un fișier corupt pe care nu îl veți putea citi..

De asemenea, dacă serverul nu permite descărcări continue, atunci Wget va refuza să înceapă descărcarea de la zero. Dacă doriți să începeți descărcarea de la zero, va trebui să ștergeți fișierul parțial descărcat din sistem, primul.

Există mai multe condiții pentru utilizarea acestui argument și puteți citi mai multe despre acesta pe pagina de manual Wget.

6. Limitați viteza de descărcare

Dacă utilizați Wget pentru a descărca fișiere și navigați pe internet alături de el, probabil că nu doriți ca toată lățimea de bandă să fie consumată de Wget. Din fericire, Wget include un argument pe care îl poți folosi limitați cantitatea de lățime de bandă pe care Wget o poate folosi pentru descărcarea fișierelor de pe sistemul dvs.:

wget --limit-rate = 

Notă: Rețineți că viteza este menționată în octeți și nu în biți. Deci, dacă utilizați Wget -limit-rate = 20k, va limita utilizarea lățimii de bandă la 20 kB și nu la 20 kb.

7. Utilizați Wget pentru a descărca fișiere de pe servere FTP

Dacă trebuie să descărcați un fișier de pe un server FTP, puteți face acest lucru și cu Wget. Pur și simplu utilizați următoarea comandă pentru a descărca fișiere de pe servere FTP:

wget 

• Descărcați fișiere de pe servere FTP cu autentificare

DACĂ serverul dvs. FTP necesită o autentificare pentru a permite descărcarea fișierelor, puteți trece pur și simplu acreditările cu Wget. Folosiți următoarea comandă:

wget --ftp-username = USERNAME --ftp-password = PAROLĂ 

VEZI ȘI: 30 de comenzi ale terminalului Mac pentru a accesa caracteristicile ascunse

Utilizați cu ușurință Wget pentru a descărca fișiere de pe Internet

Puteți utiliza Wget pentru a descărca fișiere de oriunde de pe internet. Cu toate acestea, în timp ce Wget funcționează aproape întotdeauna, există anumite servere care împiedică accesul la Wget, caz în care puteți încerca să schimbați -user-agent pentru comanda Wget. Cu toate acestea, acesta nu este un mod de acțiune recomandat, cu excepția cazului în care știți absolut ce faceți. În cea mai mare parte, Wget vă va permite să descărcați orice fișier de pe internet, atâta timp cât aveți acces la acesta și adresa URL a acestuia.

Deci, ați folosit vreodată Wget pentru a descărca fișiere de pe internet? Spuneți-ne despre experiența dvs. cu utilizarea Wget pentru a descărca fișiere, prin protocoalele HTTP, HTTPS și FTP. De asemenea, dacă știți despre alte utilizări ale Wget pe care credeți că merită să le apară pe această listă, informați-ne despre acestea în secțiunea de comentarii de mai jos.