Manpages

NÉV

wget − egy program állományok letöltésére a World Wide Web-ről

ÁTTEKINTÉS

wget [kapcsolók] [URL-lista]

FIGYELMEZTETÉS

Az itt található információk a Wget teljes dokumentációjának csak egy részét képezik. Nem naprakész. Az információs dokumentáció teljes, naprakész adatokat tartalmaz. Az információs dokumentációt az Emacs info alrendszerével vagy az info programmal lehet megtekinteni.

LEÍRÁS

Wget egy program különböző állományok bináris letöltésére a World Wide Web-ről HTTP (Hyper Text Átviteli Protokoll) és FTP (File Átviteli Protokoll) -n keresztül lemezre mentés céljára. Wget egy nem−interaktív program, amely azt jelenti, hogy a háttérben is tud dolgozni a felhasználó bejelentkezése nélkül, nem úgy, mint a legtöbb Web-böngésző (tehát a program elindítása után nyugodtan ki lehet jelentkezni, a program tovább fog működni). A szerverrel való kapcsolat alapján dönti el, hogy az állományok megfelelően kerültek−e letöltésre, és addig próbálja meg a letöltést míg az megfelelő nem lesz, vagy a felhasználó által beállított értéket el nem éri. FTP szervereknél REST módot használja, ha lehetséges. Proxy szerverek használata támogatott, hogy a letöltést gyorsítsa, a hálózat terhelését csökkentse.

Wget egy teljes körű letöltési mechanizmust használ, amellyel a Web nagy részét le lehet letölteni, hogy a távoli gép fa struktúráját a helyi gépen hozzuk létre. Természetesen a letöltési mélységet (rekurzió) és más paramétereket meg lehet adni. A letöltött dokumentumok figyelésével biztosítja a Wget, hogy a rekurzió sohase kerüljön végtelen ciklusba. Mind HTTP, mind FTP szervereknél alkalmazható.

A letöltés folyamata könnyen nyomon követhető formában jelenik meg, pontokkal mutatva. Mindegyik pont 1k letöltött adatot jelent. Beépített funkciók segítik a letöltés finomhangolását, pl. mely hivatkozásokra (linkre) terjedjen ki a letöltés (Ld. -L, -D és -H kapcsolók).

URL ELNEVEZÉSEK

Az RFC1738 szabványban rögzített URL formák többsége használható. 2 alternatív forma megadása lehetséges a wget-ben, amely azt jelenti, hogy az alábbi módokon lehet megadni egy dokumentum helyét az Interneten:

Hagyományos URL (ajánlott forma):
http://gazdagép:[portszám]/elérésiút
http://fly.cc.fer.hr/
ftp://ftp.xemacs.org/pub/xemacs/xemacs-19.14.tar.gz
ftp://felhasználónév:jelszó@gazdagép/könyvtár/állomány

Csak FTP esetén használandó (ncftp-szerű):
gazdagép:/könyvtár/állomány

Csak HTTP esetén használandó (netscape-szerű):
gazdagép(:portszám)/könyvtár/állomány

A felhasználónév és/vagy jelszó megadása az URL-ben az alábbi módon lehetséges:

ftp://felhasználónév:jelszó@gazdagép/könyvtár/állomány

Ha a fenti formák között nem tudjuk mi a különbség, akkor nyugodtan használhatjuk a lynx vagy netscape-nél alkalmazott formákat. Az alternatív formák nem elterjedtek, ezért lehet, hogy a jövőben nem fognak működni a Wget-ben.

OPCIÓK

Pár parancssori kapcsolóval lehet a wget -et vezérelni. Nem szükséges ezek mindegyikének teljes ismerete vagy használata, ha csak nem a program alapbeállításától eltérő működést szeretnénk elérni. Egyszerű használathoz egyáltalán nem kell a különböző kapcsolókat használni. Jó tanács, hogy a gyakran használt beállításokat a .wgetrc állományban tároljuk.

A következő lista az összes kapcsolót bemutatja rövid magyarázattal csökkenő fontossági sorrendben:
-h --help

Felsorolja a lehetséges kapcsolókat. Segítséget nyújt a program használatához. Nem megfelelő vagy hiányos parancssor használatakor is megjelenik.

-V --version

Megjeleníti a Wget verziószámát.

-v --verbose

Részletes (verbose) kimenet az összes lehetséges információval. Alapesetben a kimenet csak a letöltéseket és hibaüzeneteket tartalmazza. Ha a kimenet a stdout, akkor alapértelmezett a részletes mód.

-q --quiet

Csöndes mód (quiet), a kimenet teljes hiánya.

-d --debug

Hibakereső (debug) mód. Csak akkor érhető el, ha a program a −DDEBUG opcióval lett fordítva. Ha a program fordítása így történt, akkor a kimenetben csak a −d kapcsoló megadása után jelenik meg többlet információ.

-i állomány --input-file=állomány

A megadott állományból olvassa ki a szükséges URL−ket, ekkor nem szükséges a parancssorban URL−t megadni. Ha azonban mind a parancssorban, mind az állomány révén URL lett megadva, akkor először a parancssori URL kerül feldolgozásra. Az állománynak nem szükséges HTML dokumentumnak lennie (de nem gond ha az), elég ha csak egymás után felsorolva vannak az URL−ek.

Azonban, ha a -force-html kapcsolót használjuk, akkor az állományt HTML dokumentumként olvassa be. Ebben az esetben a problémát relatív hivatkozások (relativ links) okozhatják, amelyet a dokumentumban elhelyezett <base href="URL"> vagy a -base=URL kapcsoló megadásával lehet kiküszöbölni.

-o naplóállomány --output-file=naplóállomány

A megadott naplóállományba (logfile) írja az üzeneteket a stdout helyett. Részletes kiment kerül a naplóállományba. Ha ez nem szükséges, akkor használjuk a −nv (nem részletes, non-verbose) opciót.

-a naplóállomány --append-output=naplóállomány

Naplóállományhoz hozzáfűzés. Ugyanaz, mint az −o opció, csak hozzáfűzi az újabb üzeneteket a naplóállományhoz (vagy újat hoz létre, ha még nem létezik) ahelyett, hogy felülírná a régi állományt.

-t szám --tries=szám

A szám-ban megadott értékre állítja az újrapróbálkozások (retries) számát. 0 a végtelen sok próbálkozást jelenti.

--follow-ftp

HTML dokumentumokban található FTP hivatkozásokat is letölti.

-c --continue-ftp

FTP állományok letöltésénél ott folytatja (continuing), ahol a letöltés megszakadt. A "wget -c ftp://sunsite.doc.ic.ac.uk/ls-lR.Z"; paranccsal ha az aktuális könyvtárban már található egy ls-lR.Z állomány, akkor a wget a lokális állomány mérete utáni részt tölti le. Nem szükséges megadni a −c kapcsolót, ha folytatni akarjuk a letöltést megszakadó kapcsolatnál, mert a wget ezt önállóan megteszi, vagyis megpróbálja folytatni a megszakadt letöltést.

Ahol használni kell ezt az opciót, az egy részben letöltött (más FTP programmal, vagy egy megállított wget-tel) állomány teljes letöltésénél.

-g on/off --glob=on/off

Kiegészítés (globbing) be/kikapcsolása FTP letöltéskor. Alapesetben bekapcsolódik a kiegészítés, ha az URL helyettesítő karaktereket tartalmaz (pl. csillag, kérdőjel). A kiegészítéssel több állományt lehet ugyanabból a könyvtárból letölteni egyetlen paranccsal, például ftp://gnjilux.cc.fer.hr/*.msg. A kiegészítés jelenleg csak Unix FTP szervereknél alkalmazható.

-e parancs --execute=parancs

A parancsban megadott dolgot hajtja végre, úgy mintha a .wgetrc állományban lett volna megadva. A parancssorban megadott parancs előbb kerül végrehajtásra, mint a .wgetrc állományban megadott, ha ott egyáltalán meg van adva.

-N --timestamping

A dátum−méretjelzés (timestamping) figyelése, hogy a program megállapítsa szükséges−e a dokumentum letöltése. Ha a távoli állomány utolsó módosításának időpontja régebbi, mint a helyi másolaté, és ha a méretük is azonos, akkor az állomány nem kerül letöltésre. Ez a kapcsoló a hetenként történő HTTP vagy FTP tükrözésekkor hasznos, mivel nem engedi meg ugyanannak a dokumentumnak az újabb letöltését, ha az nem lett megváltoztatva.

-F --force-html

Ha a bemenet egy dokumentumból történik, akkor azt HTML−dokumentumként értelmezi. Ezzel a HTML−dokumentumban megadott relatív hivatkozások letöltését lehet elvégezni, ha a <base href> szerepel a bemeneti állományban vagy a −base kapcsoló meg lett adva a parancssorban.

-B base_href --base=base_href

A base_href−ben megadott helyet fogja használni, mintha a bemeneti állományban szerepelt volna <base href="URL"> formában. Az állományban szereplő cím felülírja a parancssorban megadottat.

-r --recursive

Rekurzív (recursive) letöltés. Az URL protokolltól függően ez két dolgot jelent. HTTP oldalak rekurzív letöltése azt jelenti, hogy a parancssorban megadott URL−t letölti, azt HTML-dokumentumként kezeli (ha egyáltalán az) és letölti mindazokat az állományokat, amelyekre a dokumentum hivatkozott, ezt folytatja egy megadott szintig (alapesetben ez 5 szint, −l opcióval megváltoztatható). wget a HTTP szerveren található könyvtárstruktúrával azonos struktúrába tölti le a dokumentumokat.

Ez az opció bemutatóknál hasznos, ahol a lassú Internet kapcsolatot szeretnénk elkerülni. A legjobb eredményt akkor kapjuk, ha a hivatkozások relatívak, mivel így az oldalak a letöltött helyen is gond nélkül fognak működni.

FTP esetén a rekurzív letöltés a megadott könyvtár összes alkönyvtárának letöltését jelenti, hasonlóan a HTTP rekurzív letöltéséhez.

Jól meg kell gondolni a rekurzív letöltés használatát, mert az Internet kapcsolat nagy leterhelését eredményezheti. A terhelést a letöltés mélységének csökkentésével (Ld. −l) és/vagy az újrapróbálkozások számának csökkentésével (Ld. −t) lehet csökkenteni.

-m --mirror

Tükrözés (mirroring) használata. Ez a rekurzió és dátum−méretfigyelés kombinációja.

-l szint --level=szint

A rekurzív letöltés mélységét adja meg. Alapesetben ez 5. A megadott letöltési mélység elérésekor a letöltés visszatér a szülőkönyvtárba, és onnan megy tovább másik szálon. Így az -r -l1 használata csak egy dokumentumból történő letöltést eredményez. A letöltés mélységének 0-t megadva (elméletileg) végtelen mélységű letöltés érhető el. Jól gondoljuk meg, mert a letöltött dokumentumok száma exponenciálisan növekszik a letöltés mélységével.

-H --span-hosts

Host-ok átlépése rekurzív letöltéskor. Ld. -r és -D kapcsolók. Bővebben a HIVATKOZÁSOK KÖVETÉSE részben.

-L --relative

Csak relatív hivatkozások követése. Adott honlap letöltésekor hasznos, mivel az akár ugyanazon szerveren lévő dokumentumokat is figyelmen kívül hagyja, ha nem relatív a hivatkozás. Bővebben a HIVATKOZÁSOK KÖVETÉSE részben.

-D tartomány−lista --domains=tartomány−lista

A használandó és a DNS (Tartomány Név Szerver, Domain Name Server)-ben azonosított tartományok listája vesszővel elválasztva. Ez nem helyettesíti a -H kapcsolót, ha szükséges, akkor azt külön is meg kell adni. A kapcsolóval gyorsítani lehet a feldolgozást, még ha csak egy szerverre is történik az átmenet. Bővebben a HIVATKOZÁSOK KÖVETÉSE részben.

-A lista / -R lista --accept=lista / --reject=lista

Vesszővel felsorolt kiterjesztések, amelyek letöltése engedélyezett (Accepting) vagy nem engedélyezett (Rejecting). Például ha csak GIF és JPEG állományokat szeretnénk letölteni, akkor a -A gif,jpg,jpeg opciót használjuk. Ha viszont minden le szeretnénk tölteni a méretes MPEG és AU állományok kivételével, akkor az -R mpg,mpeg,au opciót használjuk.

-X lista --exclude-directories lista

Vesszővel egymás után felsorolt könyvtárak neve, amelyeket nem szeretnénk letölteni (eXclude).

-P prefix --directory-prefix=prefix

A letöltési állományok könyvtárát állítja be a prefix-ben megadottra (alapesetben ez "."). Az összes dokumentum és könyvtár a megadott könyvtárba kerül lementésre.

-T szám --timeout=szám

Várakozási idő (timeout) beállítása. Minden letöltéskor egy megadott idő van engedélyezve a dokumentum olvasásának megkezdésére, ha ez nem történne meg akkor kapcsolat továbbra is élne, de nem adna eredményt. Alapesetben a várakozási idő 900s (15 perc).

-Y on/off --proxy=on/off

Proxy használatának engedélyezése/tiltása. Ha a megfelelő környezeti változóban ez meg van adva, akkor automatikusan működésbe lép.

-Q szám[KM] --quota=szám[KM]

Letöltési kvóta (quota) megadása byte-ban (alapértelmezett), kilobyte-ban vagy megabyte-ban. Előnyösebb az rc állományban beállítani. Ld. később.

-O állománynév --output-document=állománynév

A dokumentumok nem a megfelelő dokumentumnévvel kerülnek lementésre, hanem az állománynév-ben megadott egyetlen állományhoz kerülnek hozzáfűzésre. Ebben az esetben az újrapróbálkozások száma automatikusan 1. Ha ’-’ −t adunk meg, akkor a stdout−ra kerül a kiíratás, a −quiet kapcsoló pedig be lesz kapcsolva. Óvatosan használjuk ezt a kapcsolót mivel minden hibaüzenet kiírását kikapcsolja, így nem tudjuk megfelelően ellenőrizni a wget működését.

-S --server-response

Kiírja a HTTP és/vagy FTP szerver által küldött válaszok fejlécét.

-s --save-headers

Lementi a HTTP szerver által küldött fejlécet a tényleges tartalom előtt.

--header=additional-header

Alternatív fejléc (header) megadása. Több eltérő fejlécet is meg lehet adni. A fejléc nem tartalmazhat CR vagy LF kódot.

--http-user --http-passwd

A HTTP szerverhez szükséges felhasználónév és jelszó magadása. Wget jelenleg csak a hagyományos authentikációs (ellenőrzési) módot kezeli.

--no-parent

Nem lép feljebb a szülőkönyvtárnál.

-k --convert-links

Nem relatív hivatkozások (non-relativ links) konvertálása a helyi gépen relatív hivatkozásokra.

HIVATKOZÁSOK KÖVETÉSE

A rekurzív letöltésnél meg lehet adni, hogy mely hivatkozások legyenek figyelembe véve.
Csak relatív hivatkozások

Ha csak a relatív hivatkozások kerülnek letöltésre (-L kapcsoló), akkor a rekurzív letöltés sohasem tölt le egy másik szerverről.

Host ellenőrzés

A hivatkozások vizsgálatakor kiderülhet, hogy egyes abszolút hivatkozások is ugyanarra gazdagépre vonatkoznak. Ekkor (ez az alapeset) az összes ugyanazon gazdagépre mutató URL is letöltésre kerül.

A problémát itt a gazdagép és tartomány aliase-ok (host and domain aliases) használata jelenti, mivel a wget nem tudja meghatározni, hogy a regoc.srce.hr és a www.srce.hr ugyanazt a gazdagépet jelenti. Az abszolút linkek feldolgozásakor a gethostbyname próbálja megállapítani, hogy ugyanarról a gazdagépről van−e szó. Habár gethostbyname eredménye indexelt formában van, így sohasem kell kétszer leellenőrizni ugyanazt a hostot, fennáll annak a problémája, hogy nagy mennyiségű eltérő szerver letöltésekor mindegyiket ki kell keresni a gethostbyname indexelt listájából. Ilyen összetett ellenőrzést meg lehet előzni a −nh használatával, amikor wget csak a szerverneveket hasonlítja össze. Így gyorsabb lesz a feldolgozás, de nem lesz olyan megbízható.

Tartomány használat

A −D kapcsolóval az engedélyezett tartományt lehet megadni. A trükk az egészben, hogy a nem engedélyezett tartományok nem is kerülnek feldolgozásra. Így a −Dmit.edu megadásával biztosak lehetünk, hogy a mit.edu-n kívül semmi sem került azonosításra. Ez az opció nagyon fontos és hasznos. A −D ugyanakkor nem tartalmazza a −H−t (külön meg kell adni, ha szükséges). Nyugodtan használjuk ezt a kapcsolót, mivel nagyban felgyorsítja a feldolgozást.

Természetesen a tartományengedélyezést csak bizonyos tartományokról való letöltéshez is megadhatjuk, de hogy más szerverekről is történjen letöltés ugyanazon tartományból szükséges a −H kapcsoló megadása is.

Minden host

Ha a −H kapcsolót −D nélkül használjuk, akkor bármelyik hostról történhet letöltés. Ebben az esetben ajánlatos kicsi letöltési mélységet megadni. Ritkán használatos ez az opció.

KONFIGURÁCIÓS ÁLLOMÁNY

Wget által használt konfigurációs állomány (startup file) a .wgetrc-t . Először a teljes rendszerre érvényes (global) konfigurációs állományt tölti be (/etc/wgetrc), aztán a felhasználó konfigurációs állományát keresi meg az alábbi két hely valamelyikében: a WGETRC környezeti változóban megadott vagy $HOME/.wgetrc helyen. A felhasználó konfigurációs állományában található beállítások felülbírálják a teljes rendszerre érvényes beállításokat, így pl. a kvótára megadott értéket.

A konfigurációs állomány felépítése a következő:

változó = érték

Különböző változók különböző értékeket vehetnek fel. Az összes lehetséges változó nevét lejjebb lehet olvasni. Az egyenlőségjel utáni karakter(ek) a változó értéke. Ez leginkább on/off (vagy 1/0) logikai típus estén és bármilyen szöveg vagy szám a többi esetében. Például a "use_proxy=off" megadásával lehet a proxy használatát megtiltani. Ahol lehetséges inf vagy 0 megadásával jelezhető a végtelen értéke. A változóknál mindegy a kisbetű/nagybetű használata illetve az aláhúzás jel sem fontos, így például a DIr_Prefix ugyanazt jelenti, mint a dirprefix. Üres sorok, szóközt tartalmazó vagy #-vel kezdődő sorok nem kerülnek értelmezésre.

A legtöbb váltózónak létezik parancssori kapcsolója, kivétel néhány ritka és különleges változó. Egy minta konfigurációs állomány található a wget csomagban sample.wgetrc néven.
accept/reject = karakterlánc

Mint az -A/-R.

add_hostdir = on/off

Engedélyezi/tiltja a gazdagépnévvel egyező könyvtárnév létrehozását. -nH tiltja.

always_rest = on/off

Engedélyezi/tiltja a letöltés folyatatását, mint a -c.

base = karakterlánc

A relatív hivatkozások számára adja meg a kiindulási URL-t, mint a -B.

convert links = on/off

Nem-relatív hivatkozások relatív hivatkozásokká alakítása lementés után. Mint a -k.

debug = on/off

Hibakereső mód, mint a -d.

dir_mode = szám

A létrehozandó könyvtárak hozzáférési jogosultságát adja meg (alapesetben 755).

dir_prefix = karakterlánc

Könyvtárstruktúra gyökérkönyvtárának helye, mint a -P.

dirstruct = on/off

Könyvtárstruktúra létrehozását szabályozza, mint az -x vagy -nd.

domains = karakterlánc

Mint a -D.

follow_ftp = on/off

HTML dokumentumban előforduló FTP hivatkozások kezelését szabályozza, mint az -f.

force_html = on/off

A bemeneti filet HTML-dokumentumként kezeli, ha on-ra van állítva.

ftp_proxy = karakterlánc

A karakterláncban megadott URL-t használja FTP proxy-ként a környezeti változóban megadott helyett.

glob = on/off

Kiterjesztések engedélyezése/tiltása, mint a -g.

header = karakterlánc

Alternatív fejléc megadása, mint a --header.

http_passwd = karakterlánc

HTTP jelszó megadása.

http_proxy = string

A karakterláncban megadott URL-t használja HTTP proxy-ként a környezeti változóban megadott helyett.

http_user = karakterlánc

HTTP felhasználónév megadása.

input = karakterlánc

Bemeneti állomány megadása, mint -i.

kill_longer = on/off

A fejlécben megadott állományméretnél nagyobb méretű dokumentum letöltését hibásnak minősíti és újra megpróbálja letölteni. Alapesetben annyi adatot tölt le, amennyi a fejlécben meg van adva.

logfile = karakterlánc

Naplóállomány megadása, mint az -o.

login = karakterlánc

Felhasználónév a távoli géphez, FTP-nél alapesetben "anonymous".

mirror = on/off

Tükrözési opció engedélyezése/tiltása, mint az -m.

noclobber = on/off

Mint az -nc.

no_parent = on/off

Mint az --no-parent.

no_proxy = karakterlánc

A vesszővel felsorolt tartományok esetén nem használja a proxy-t, még ha a környezeti változóban meg is van adva.

num_tries = szám

Újrapróbálkozások száma minden URL-nél, mint -t.

output_document = karakterlánc

Kimeneti állomány neve, mint az -O.

passwd = karakterlánc

Jelszó a távoli géphez, FTP-nél alapesetben felhasználónév@hostnév.tartománynév.

quiet = on/off

Csöndes mód, mint a -q.

quota = szám

Letöltési kvóta megadása. Érdemes az /etc/wgetrc -ben megadni. Ha a letöltött dokumentumok összmérete túllépi a kvótában megadottat, akkor a wget abbahagyja a letöltést. A kvótát byte-ban (alapeset), kbyte-ban (’k’ utótag) és megabyte-ban (’m’ utótag) lehet megadni. A "quota=5m" így 5 mbyte-nyi letöltést ad meg. A felhasználói konfigurációs állományban megadott érték felülbírálja a globálisan megadott értéket.

reclevel = szám

Letöltési mélység meghatározása, mint az -l.

recursive = on/off

Rekurzió engedélyezése/tiltása, mint az -r.

relative_only = on/off

Relatív hivatkozások nyomonkövetése (mint az -L). Bövebben a HIVATKOZÁSOK KÖVETÉSE részben.

robots = on/off

Robots.txt állomány használata/tiltása.

server_response = on/off

HTTP és FTP szerver válaszok kiíratása, mint az -S.

simple_host_check = on/off

Mint az -nh.

span_hosts = on/off

Mint a -H.

timeout = szám

Várakozási idő megadása, mint a -T.

timestamping = on/off

Dátum-méretjelzés figyelése. Mint az -N.

use_proxy = on/off

Proxy használata/tiltása. Mint az -Y.

verbose = on/off

Részletes mód használata/tiltása, mint a -v/-nv.

JELZÉSEK

Wget a SIGHUP (hangup signal) jelzést figyelmen kívűl hagyja. Ha a kimenet a stdout volt, akkor a további kimenet wget-log állományba fog kerülni.

$ wget http://www.ifi.uio.no/~larsi/gnus.tar.gz &
$ kill -HUP %% # a kimenet átirányításához

Wget a SIGHUP-on kívűl más jelzéseket nem hagy figyelmen kívűl. Így a ^C vagy SIGTERM megállítja a Wget-et.

PÉLDÁK

http://fly.cc.fer.hr/ letöltéséhez:
wget http://fly.cc.fer.hr/

Nem-részletes módba kapcsoláshoz:
wget -nv http://fly.cc.fer.hr/

Végtelen sok újrapróbálkozás megadása:
wget -t0 http://www.yahoo.com/

Fly honlapjának tükrözése (azonos könyvtárstruktúra előállításával).
Letöltési mélység 6, dokumentumonként egyetlen próbálkozással és
naplózás a ’log’ nevű állományba.
wget -r -l6 -t1 -o log http://fly.cc.fer.hr/

Yahoo letöltése 50 letöltési mélységben:
wget -r -l50 http://www.yahoo.com/

KÖRNYEZET

http_proxy, ftp_proxy, no_proxy, WGETRC, HOME

ÁLLOMÁNYOK

/etc/wgetrc, $HOME/.wgetrc

SZERZŐI JOGOK

Wget szabad szoftver, bárki a General Public License-ben foglaltak alapján szabadon terjeszheti.

LÁSD MÉG

lynx(1), ftp(1)

SZERZŐ

Hrvoje Niksic <hniksic [AT] srce.hr> a Wget szerzője. Itt szeretnénk megköszönni az összes béta tesztelőnek és mindenkinek aki hasznos észrevételekkel segítette a program készítését.

MAGYAR FORDÍTÁS

Vizi Szilárd <vizisz [AT] freemail.hu>