Frage zur Laufzeit (Backup FTP -> Lokales LW)

No more questions - please go to www.syncovery.com/forum instead

Moderator: SuperFlexible Administrators

Frage zur Laufzeit (Backup FTP -> Lokales LW)

Postby DocSlyper on Tue May 08, 2012 3:39 pm

Hallo zusammen,

nutze seit kurzer Zeit den SFFS u.a. zur Sicherung von verschiedenen Webseiten - was so weit sehr gut klappt (läuft im Hintergrund und ich brauch mir keine Sorgen zu machen :D ).
Jedoch ist mir aufgefallen, dass es durchaus zu gravierenden Zeitunterschieden bei der Ausführung verschiedener Profile kommt die für mich augenscheinlich erst mal "gleich" aussehen - abgesehen davon dass es 2 verschiedene FTP-Quellen sind.
Soweit ich das Verhalten beobachtet habe, wird erst eine FTP Verbindung aufgebaut und dann quasi das "Inhaltsverzeichnis" runtergeladen welches dann mit dem bereits gesicherten verglichen wird (Download Listing / Verarbeite / Erstelle Dateiliste).

Jetzt habe ich bei 2 verschiednen Webseiten (Webseite 1 bei Hoster 'A' und Webseite 2 bei Hoster 'B') ein Backup angelegt welches bei mir lokal auf der gleichen Platte (intern) abgelegt wird. Führe ich Profil 1 aus dann erfolgt der Vergleich in tausender Schritten bei Profil 2 dagegen eher in 10er oder 20er Schritten. In Beiden Fällen ist das Resultat: "Es gab nichts zu tun." - jedoch unterscheidet sich die Laufzeit um gut 10 Minuten.
Das kuriose dabei ist - Profil 1 sichert ~12.000 Dateien / ~390MB und Profil 2 sichert ~13.000 Dateien / ~100MB
Die Frage die sich mir stellt - Warum braucht Profil 2 gut 20x so lange wie Profil 1 (Gesamtdauer: 00:10:29 zu Gesamtdauer: 00:00:31) ?????

Ist dies eher ein "lokales" Phänomen oder ist der eine Webspace (Hoster) einfasch schneller als der andere ???

Für ein wenig Licht im Dunkel wäre ich sehr dankbar ;-)
Weitere Details gerne bei Bedarf.

Danke & Gruß
DocSlyper
DocSlyper
 
Posts: 4
Joined: Tue May 08, 2012 3:20 pm

Re: Frage zur Laufzeit (Backup FTP -> Lokales LW)

Postby superflexible on Tue May 08, 2012 4:02 pm

Vermutlich liegt es daran, dass der eine Hoster rekursive FTP-Listings unterstützt und der andere nicht. Bei letzterem müssen dann alle Ordner einzeln abgefragt werden.

Das müsste man eigentlich auch beobachten können, dass bei dem einen der Listing-Download nur einmal ganz am Anfang stattfindet mit einer relativ großen Größe (z. B. 1-2 MB), während bei dem anderen dieser Download kürzer oder gar nicht angezeigt wird, dafür aber jeder Ordner einzeln (was nicht unbedingt angezeigt wird).

Selbst dann ist 10 Minuten ziemlich lang, außer die Dateien verteilen sich auf Hunderte Ordner. Es gibt aber auch wirklich Hoster, deren FTP sehr langsam ist.
User avatar
superflexible
Site Admin
 
Posts: 2478
Joined: Thu Dec 31, 2009 3:08 pm

Re: Frage zur Laufzeit (Backup FTP -> Lokales LW)

Postby DocSlyper on Wed May 09, 2012 12:04 am

Moin moin,

in beiden Fällen wird recht viel an Listing runtergeladen: ca. 2,0MB
Bei den Ordnern hält es sich auch relativ die Wage: Profil 1 - 2.050 / Profil 2 - 2.160
Auch zu den Dateien selber kann ich sagen dass sich diese ebenfalls sehr sehr ähnlich sind da in beiden Profilen quasi vergleichbare CMS-Installationen gesichert werden - die eine hat mehr "große" Bilder (Profil 1) dafür sind bei der anderen mehr "kleine" Dateien" (Profil 2) an Content-Daten. Die "Basis" ist hingegen ca. 95% identisch.

Der Schritt der soooooo lange braucht ist "Erstellen der Dateiliste" ...

Werde mir mal das mit den Servereinstellungen mal genauer angucken. Der "vermutlich langsame" ist ein VServer - da hab' ich also mehr möglichkeiten. Der "schnelle" ist reiner Webspace.

Gucke auch ob ich in den Logs irgendwas finden kann ....


Gruß
DocSlyper
DocSlyper
 
Posts: 4
Joined: Tue May 08, 2012 3:20 pm

Re: Frage zur Laufzeit (Backup FTP -> Lokales LW)

Postby superflexible on Wed May 09, 2012 3:29 am

Eine andere mögliche Ursache wäre der Haken Binärvergleich unter Vergleich->Weitere. Dann werden die kompletten Dateien heruntergeladen und verglichen.
User avatar
superflexible
Site Admin
 
Posts: 2478
Joined: Thu Dec 31, 2009 3:08 pm

Re: Frage zur Laufzeit (Backup FTP -> Lokales LW)

Postby DocSlyper on Wed May 09, 2012 12:49 pm

Soooo ....
Habe das Erweiterte Logging aktiviert (Details zur Erstellung der Dateilisten) und die beiden Logdateien grob überflogen ;)

Ferner habe ich vor einem erneuten Durchlauf in beiden Profilen unter "Weitere Einstellungen" alle eventuell nicht bemerkten Unterschiede durch einen Klick auf "Standardwerte" eliminiert - sprich beide Profile sollten somit ja identisch sein (zumindest was die "Weiteren Einstellungen betrifft").

Danach habe ich beide Profile "unbeaufsichtigt" ausfegührt. Es wurden wieder jeweils ~2MB geladen, im "schnellen Profil" tausender und im "langsamen Profil" zwanziger Schritte bem "Erstellen der Dateiliste" bearbeitet.

Als beide Profile abgearbeitet waren dann der Blick in die Logfiles. Dabei ist mir aufgefallen:
- im "schnellen Log" sind Einträge "ListingFolderMatch( 0, Want=httpdocs, Have=httpdocs, Result=TRUE" usw. vorhanden - im "langsamen" fehlen diese komplett
- im "schnellen" ist zusätzlich ein Bereich "FILE LIST After FindMovedFiles" vorhanden (Beide Profile haben als Einstellung unter "Dateien" / "Dateien" / "Verschobene ..." die gleiche Konfig

Hmmm .... irgendwie scheint mir als ob die Konfig doch unterschiedlich ist obwohl ich kein Unterschiede finden kann und diese per oben erwähntem "Standardwerte" ja auch nicht sein sollten ...

Achja ... "Binärvergleich" ist und war vorher in beiden deaktiviert ;)

Gruß DocSlyper
DocSlyper
 
Posts: 4
Joined: Tue May 08, 2012 3:20 pm

Re: Frage zur Laufzeit (Backup FTP -> Lokales LW)

Postby superflexible on Wed May 09, 2012 2:02 pm

Das bedeutet, dass der langsame Server kein rekursives Listing unterstützt bzw. es so eingeschränkt ist, dass das Programm auf ein normales Listing zurückgreift und jeden Ordner einzeln abruft.

Bei Interesse könnte man die Internet-Protokoll-Logs anschalten und da hineinschauen. Falls es ein ProFTPd-Server ist, kann man bei der Konfiguration die rekursiven Limits erhöhen. Die sind standardmäßig viel zu klein.

Falls SSH-Shell-Zugriff vorhanden ist, kann man auch einfach auf SSH/SFTP umschalten und auf dem zweiten Registerblatt im FTP-Dialogfenster "Rekursives Listing" auswählen.
User avatar
superflexible
Site Admin
 
Posts: 2478
Joined: Thu Dec 31, 2009 3:08 pm

Re: Frage zur Laufzeit (Backup FTP -> Lokales LW)

Postby DocSlyper on Fri May 11, 2012 11:09 am

Soooo ...
habe nun die Anpassungen durchgeführt - sprich ich hab' SSH/SFTP umgestellt da ich so dann den ganzen vhost-Kram in einem Rutsch sichern kann ... ;)
Ergebnis: so schnell wie erwartet :D

Nun ist alles bestens - komplettes "Backup" des Servers in einem Job. klasse :D :D
THX für den prompten und zielführenden Support
DocSlyper
 
Posts: 4
Joined: Tue May 08, 2012 3:20 pm


Return to German Support - please visit our new forum www.syncovery.com/forum

cron