C64Power Forum

Ogólne => Forum Ogólnodyskusyjne => Wątek zaczęty przez: cacodemon w 26 Marca 2013, 07:56

Tytuł: Jak pobrać całość...
Wiadomość wysłana przez: cacodemon w 26 Marca 2013, 07:56

Natrafiłem na taką stronkę, która daje dostęp do 1171GB stuffu na komodorka.
http://ftp.pokefinder.org/index.php
Chciałbym ściągnąć całość. Jest to możliwe ?
Pytałem jakiś czas temu o pobranie CSDb, ale nie udało się. Wiele plików jest rozsianych w różnych miejscach.
Pojedyncze ściąganie tysięcy dem jest czasochłonne. Ma ktoś pomysł jak zgarnąć całość ?

Tytuł: Jak pobrać całość...
Wiadomość wysłana przez: cacodemon w 26 Marca 2013, 08:08

Aaa i jeśli macie gdzieś namiar na całe zbiory scenowych produkcji to poproszę o namiary.

Tytuł: Jak pobrać całość...
Wiadomość wysłana przez: hsimpson w 26 Marca 2013, 08:38

cacodemon:

http://ftp.pokefinder.org/index.php
Chciałbym ściągnąć całość. Jest to możliwe ?

Ze względu, że dostęp poprzez ftp nie opcji anonymous można spróbować dwoma metodami:

mirror wgetem:

wget -m http://ftp.pokefinder.org/

lub mirror httrackiem:

httrack http://ftp.pokefinder.org/


Z tym, że może się okazać, że to co się ściągnie to będzie śmietnik.
Oczywiście najlepiej byłoby uzyskać od administratora dostęp poprzez poprzez ftp, wtedy zrobienie mirrora byłoby najprostsze .

Tytuł: Jak pobrać całość...
Wiadomość wysłana przez: F7sus4 w 26 Marca 2013, 09:22

cacodemon:

Natrafiłem na taką stronkę, która daje dostęp do 1171GB stuffu na komodorka.

Duza czesc tego stuffu jest do pobrania ze zbioru TOSEC w postaci Torrenta. Proponowalbym uzupelnic z FTP jedynie brakujace katalogi.

Tytuł: Jak pobrać całość...
Wiadomość wysłana przez: Puma w 26 Marca 2013, 10:26

internet download manager

Tytuł: Jak pobrać całość...
Wiadomość wysłana przez: MCbx w 26 Marca 2013, 23:43

Masowe ściąganie bez czekania to pewnego rodzaju herezja. Ogólnie warto między plikami trochę poczekać, żeby nie robić właścicielowi gnoju, a po dokumentnym i nieodwracalnym padzie serwera nie trzymać kopii dla siebie. Tyle z netykiety.

Będzie ciężko, gdyż pokefinder jest pewnego rodzaju repozytorium linków, i nie zawsze są to bezpośrednie linki.
Zacznijmy od szerzenia herezji typu klasycznego, z FTP chyba każdy wie jak się ściąga . Wget lub dowolny klient. Lista serwerów jest.
Jest poza FTP jedna strona, która wymaga analizy. Ogólna mechanika działania robota-downloadera jest mniej więcej taka (metoda ArchiveTeam w języku LUA ma pewne modyfikacje celem zatrzymania specyficznych metadanych, to jest tylko najprostszy szkic):
1. Pobierz strony listy (jeżeli dostępna)
2. Dla każdego elementu listy: Pobierz stronę programu.
3. Stronę parsuj znajdując URL do pliku.
4. Pobierz plik.
5. Posprzątaj po sobie pozostawiając co najważniejsze (plik lub, jak się chce, jeszcze stronę/screenshot/wyekstrahowane dane w danym formacie) - WAŻNE inaczej zapcha dysk.
Gdy nie ma listy to robi się to różnie, niektórzy lecą po id jak leci (tzw. bruteforce), co doprowadziło urlteam do globalnego zbanowania, inni losują przedziały - co spowodowało, że podczas ściągania Webshots'ów członkowie ArchiveTeamu zrobili ddos na własny tracker .
Najlepiej pisze się takie programiki w jakimś skryptowym języku. Wymagane jest tylko jak najlepsze przetwarzanie stringów by parsować strony. Strony tworzone są maszynowo z bazy danych, więc (na 99%) da się je odczytać maszynowo.

Tytuł: Jak pobrać całość...
Wiadomość wysłana przez: wackee w 27 Marca 2013, 18:24

CSDb.
Jest tam na forum wątek o nazwie THE MOVERS Treasure Chest IV.
Znajdź jeden z ostatnich postów kolegi o ksywie The Meatball.
Jest tam link do strony (najzwyklejsze http) na której on mirroruje najprzeróżniejsze ogromne paczki z D64. Do końca życia nie zdążysz przejrzeć