Frage an die Admins
- Ersteller Sir Ulli
- Erstellt am
Sir Ulli
Grand Admiral Special
gehört hier zwar eigentlich nicht hin
aber ich vermute das ich hier mehr
fähige leute Treffe
Computer
Pentium 3 500 1GIG Speicher
Raid 5 System mit Mylex Scsi
Wint 4.0 Service Pack6 alle Treiber usw
sauber installiert
Nun das Problem
in einem Verzeichnis liegen über
70.000 Dateien und das geht wohl auch nicht anders
von dem Programm aus
Nun ist der Netz-Zugriff auf das Verzeichnis
EXTREM
langsam
Irgendwelche Ideen
war vorher Novell 5.0 drauf da lief das besser
MFG
Sir Ulli
aber ich vermute das ich hier mehr
fähige leute Treffe
Computer
Pentium 3 500 1GIG Speicher
Raid 5 System mit Mylex Scsi
Wint 4.0 Service Pack6 alle Treiber usw
sauber installiert
Nun das Problem
in einem Verzeichnis liegen über
70.000 Dateien und das geht wohl auch nicht anders
von dem Programm aus
Nun ist der Netz-Zugriff auf das Verzeichnis
EXTREM
langsam
Irgendwelche Ideen
war vorher Novell 5.0 drauf da lief das besser
MFG
Sir Ulli
Hi Sir Ulli,
Netware war optimiert für den Fileserver Einsatz.
Windows NT nutzt das MS-Umgebaute FS von OS/2.
70.000 Files .. hmmm.. pack mal 8 GIG Ram in die Büchse.. dann könnte das schneller werden. (War nur ein Scherz)
Soweit mir das noch bekannt ist - aus meinen MS Zeiten - gibt es ab einer bestimmten Anzahl Verzeichniseinträgen Probleme mit der NTFS internen Node-Struktur.
Hier hilft wirklich nur mehr RAM (imho).
Aber letzendlich sind das sind zuviele Files für NTFS.
Gruß
Rolf
PX3
Netware war optimiert für den Fileserver Einsatz.
Windows NT nutzt das MS-Umgebaute FS von OS/2.
70.000 Files .. hmmm.. pack mal 8 GIG Ram in die Büchse.. dann könnte das schneller werden. (War nur ein Scherz)
Soweit mir das noch bekannt ist - aus meinen MS Zeiten - gibt es ab einer bestimmten Anzahl Verzeichniseinträgen Probleme mit der NTFS internen Node-Struktur.
Hier hilft wirklich nur mehr RAM (imho).
Aber letzendlich sind das sind zuviele Files für NTFS.
Gruß
Rolf
PX3
Sir Ulli
Grand Admiral Special
Tja wenn ich das wüsste
ist von dem Programm
so vorgesehen ich weiss schlecht
programmiert wäre mit ne
Datenbank besser aber nen Update
von dem Programm mit 50 Clients
käme in den grösseren 5 stelligen Bereich
MFG
Sir Ulli
ist von dem Programm
so vorgesehen ich weiss schlecht
programmiert wäre mit ne
Datenbank besser aber nen Update
von dem Programm mit 50 Clients
käme in den grösseren 5 stelligen Bereich
MFG
Sir Ulli
Hi sir Ulli,
ausser mehr RAM fällt mir nix ein.. aber wer programmiert heutzutage noch im grossen 5-stelligen Bereich ?
Ein Tip: pack dir ne Unix Büchse mit Linux da hin (Neben die NT Büchse). PC-NFS drauf und gut ist. Dann können Deine User nach wie vor über Windows einloggen aber der Filezugriff erfolgt auf Unix-Basis.
Gruß
Rolf
PX3
ausser mehr RAM fällt mir nix ein.. aber wer programmiert heutzutage noch im grossen 5-stelligen Bereich ?
Ein Tip: pack dir ne Unix Büchse mit Linux da hin (Neben die NT Büchse). PC-NFS drauf und gut ist. Dann können Deine User nach wie vor über Windows einloggen aber der Filezugriff erfolgt auf Unix-Basis.
Gruß
Rolf
PX3
Sir Ulli
Grand Admiral Special
oder ich pack wieder novell drauf
oder wie wäre es denn mit Linux und Samba
würde das wohl was bringen
hab das gestern mal mit nen Kumpel gescheckt
winnt 4.0 und nur 20.000 Dateien
da konnteste auch schon Kaffe trinken gehen
Winnt ist für sowas wohl net geeignet
MFG
Sir Ulli
oder wie wäre es denn mit Linux und Samba
würde das wohl was bringen
hab das gestern mal mit nen Kumpel gescheckt
winnt 4.0 und nur 20.000 Dateien
da konnteste auch schon Kaffe trinken gehen
Winnt ist für sowas wohl net geeignet
MFG
Sir Ulli
Hi,
von Samba bin ich eigentlich ab.. sollte aber auch funzen..
auf jeden Fall schneller als Win NT...
Linux und Samba sollten bei richtigen Kernel Einstellungen und Software Parametern besser gehen als NT und Novell..
Gruß
Rolf
PX3
von Samba bin ich eigentlich ab.. sollte aber auch funzen..
auf jeden Fall schneller als Win NT...
Linux und Samba sollten bei richtigen Kernel Einstellungen und Software Parametern besser gehen als NT und Novell..
Gruß
Rolf
PX3
Sir Ulli
Grand Admiral Special
Tja Linux und Samba
hab ich mir schon gedacht
ist ne Überlegung wert
werde mir das noch mal in ruhe
überlegen
Trozdem vielen Dank Rolf
MFG
Sir Ulli
hab ich mir schon gedacht
ist ne Überlegung wert
werde mir das noch mal in ruhe
überlegen
Trozdem vielen Dank Rolf
MFG
Sir Ulli
Computer
Pentium 3 500 1GIG Speicher
Raid 5 System mit Mylex Scsi
Wint 4.0 Service Pack6 alle Treiber usw
sauber installiert
Nun das Problem
in einem Verzeichnis liegen über
70.000 Dateien und das geht wohl auch nicht anders
von dem Programm aus
Nun ist der Netz-Zugriff auf das Verzeichnis
EXTREM
langsam
------------------------------------------------------------------------
---> was heißt extrem langsam
Kannst Du das näher definieren.
Hast Du vielleicht die Ports getauscht für den Netzzugriff, vorher lag der Zugirff auf ne´m Switsch jetzt vielleicht auf einem HUB.
Vorher 100 Mb jetzt 10 Mb Port ??
-------------------------------------------------------------------------
Irgendwelche Ideen
war vorher Novell 5.0 drauf da lief das besser
------------------------------------------------------------------------
Um Dir vielleicht weiter helfen zu können, brauch ich noch ein paar Angaben.
Wie hast Du den Mylex konfiguriert.
Wieviele Array´s sind drauf ?.
Hast Du ne Hardwarespiegelung oder ne Softwarespiegelung eingerichtet.
Was für ein Raidlevel setzt Du ein Null, EINS oder Fünf ?
Wie sind die Festplatten formartiert ?
Sind auf dem Server noch andere Programme installiert, z.B. SQL oder Exchange.
Grds. hat Microsoft keine Beschränkungen was die Dateimenge in einem Verzeichnis angeht.
Bis denne
Holger
Pentium 3 500 1GIG Speicher
Raid 5 System mit Mylex Scsi
Wint 4.0 Service Pack6 alle Treiber usw
sauber installiert
Nun das Problem
in einem Verzeichnis liegen über
70.000 Dateien und das geht wohl auch nicht anders
von dem Programm aus
Nun ist der Netz-Zugriff auf das Verzeichnis
EXTREM
langsam
------------------------------------------------------------------------
---> was heißt extrem langsam
Kannst Du das näher definieren.
Hast Du vielleicht die Ports getauscht für den Netzzugriff, vorher lag der Zugirff auf ne´m Switsch jetzt vielleicht auf einem HUB.
Vorher 100 Mb jetzt 10 Mb Port ??
-------------------------------------------------------------------------
Irgendwelche Ideen
war vorher Novell 5.0 drauf da lief das besser
------------------------------------------------------------------------
Um Dir vielleicht weiter helfen zu können, brauch ich noch ein paar Angaben.
Wie hast Du den Mylex konfiguriert.
Wieviele Array´s sind drauf ?.
Hast Du ne Hardwarespiegelung oder ne Softwarespiegelung eingerichtet.
Was für ein Raidlevel setzt Du ein Null, EINS oder Fünf ?
Wie sind die Festplatten formartiert ?
Sind auf dem Server noch andere Programme installiert, z.B. SQL oder Exchange.
Grds. hat Microsoft keine Beschränkungen was die Dateimenge in einem Verzeichnis angeht.
Bis denne
Holger
Sir Ulli
Grand Admiral Special
Also
da sind 2 mal Raid 5 Array
Mylex Standart Blockgöße 64 Kb
Ein Raid 3+1 + 1 für Reserve
jedesmal 5 Scsi IBM Festplatten
Das problem ist das das Anzeigen des
ordners jedesmal mit dem Explorer
ca 3- 5 Minuten dauert
Der Rechner hängt natürlich am 100 Mbit Switch
MFG
Sir Ulli
da sind 2 mal Raid 5 Array
Mylex Standart Blockgöße 64 Kb
Ein Raid 3+1 + 1 für Reserve
jedesmal 5 Scsi IBM Festplatten
Das problem ist das das Anzeigen des
ordners jedesmal mit dem Explorer
ca 3- 5 Minuten dauert
Der Rechner hängt natürlich am 100 Mbit Switch
MFG
Sir Ulli
Andreas123
Lt. Commander
Das Problem mit den riesigen Verzeichnissen u.a. bei WinNT 4 ist mir auch bekannt.
Leider hatte ich bisher keine Zeit, das Problem etwas näher zu untersuchen. Meine folgende Erfahrungen enthalten evtl. Fehler.
1.
W2K ist bei riesigen Verzeichnissen wesentlich schneller. (Vermutliche Ursache: W2K kann optional die Verzeichniseinträge indizieren, um den Zugriff zu beschleunigen.) W2K hat jedoch Probleme beim Kopieren riesiger Verzeichnisse. Das Kopieren eines riesigen Verzeichnisses (200.000 Dateien) blockiert einen PC für einige Stunden. (Proz. Auslastung 100%, Windows-Handles gehen in astronomische Bereiche). Das Kopieren mit XCOPY zeigte dieses Phänomen nicht.
2.
Linux + Samba mit ext2fs kommt ebenfalls sehr schlecht mit riesigen Verzeichnissen zurecht. Verzeichnisse bei ext2fs bestehen aus ungeordneten inodes-Listen. Beim Kopieren eines riesigen Verzeichnisses lag die Prozessorauslastung am Schluss bei 100% (1000MHz Athlon), während die Platte sich langweilte.
3.
Linux + Samba mit reiserFS hatte keine Probleme mit riesigen Verzeichnissen. ReiserFs organisiert seine Directory-Einträge in Datenbank-ähnliche B*Tree Strukturen. Das Kopieren des Mammut-Verzeichnisses ging relativ flott, allerdings ist reiserFs generell langsamer als ext2fs.
Gruß
Andreas
Leider hatte ich bisher keine Zeit, das Problem etwas näher zu untersuchen. Meine folgende Erfahrungen enthalten evtl. Fehler.
1.
W2K ist bei riesigen Verzeichnissen wesentlich schneller. (Vermutliche Ursache: W2K kann optional die Verzeichniseinträge indizieren, um den Zugriff zu beschleunigen.) W2K hat jedoch Probleme beim Kopieren riesiger Verzeichnisse. Das Kopieren eines riesigen Verzeichnisses (200.000 Dateien) blockiert einen PC für einige Stunden. (Proz. Auslastung 100%, Windows-Handles gehen in astronomische Bereiche). Das Kopieren mit XCOPY zeigte dieses Phänomen nicht.
2.
Linux + Samba mit ext2fs kommt ebenfalls sehr schlecht mit riesigen Verzeichnissen zurecht. Verzeichnisse bei ext2fs bestehen aus ungeordneten inodes-Listen. Beim Kopieren eines riesigen Verzeichnisses lag die Prozessorauslastung am Schluss bei 100% (1000MHz Athlon), während die Platte sich langweilte.
3.
Linux + Samba mit reiserFS hatte keine Probleme mit riesigen Verzeichnissen. ReiserFs organisiert seine Directory-Einträge in Datenbank-ähnliche B*Tree Strukturen. Das Kopieren des Mammut-Verzeichnisses ging relativ flott, allerdings ist reiserFs generell langsamer als ext2fs.
Gruß
Andreas
Hilft zwar nicht weiter, aber dann dürfte ja Windows Longhorn auch wesentlich besser mit solchen Verzeichnissen klarkommen, weil Longhorn ebenfalls ein Datenbank-basiertes Dateisystem haben wird.
Sir Ulli
Grand Admiral Special
@Andreas123
Yepp du hattest Recht
unter Win2k LÄUFT DAS irgendwie viel
schneller
werdens mal dabei belassen
Linux wäre zwar noch ne Möglichkeit
aber wer soll das bezahlen8)
MFG
Sir Ulli
PS: THX an All
Yepp du hattest Recht
unter Win2k LÄUFT DAS irgendwie viel
schneller
werdens mal dabei belassen
Linux wäre zwar noch ne Möglichkeit
aber wer soll das bezahlen8)
MFG
Sir Ulli
PS: THX an All
Andreas123
Lt. Commander
Linux/Samba ist natürlich in der Anschaffung extrem teuer (
), die Investition könnte sich jedoch trotzdem lohnen.Das Neu-Indizieren einer Datenbank-Datei (20.000 Datensätze) bei meinem Programm (Linux als File-Server, nix SQL) dauert bei einem Linux-System ca 1 min, bei einem W2K-Server ca. 35 min.
Hatte leider noch keine Zeit zu untersuchen, warum W2K hier so versagt.
Gruß
Andreas
Sir Ulli
Grand Admiral Special
@Andreas123
ich meine damit das ist ne externe Firma
und jedes Neuaufsetzten kosten denen ca 10 Stunden8)
mindestens
werde mich da mal mit in ner Ruhige Stunde
mit auseinandersetzen
MFG
Sir Ulli
ich meine damit das ist ne externe Firma
und jedes Neuaufsetzten kosten denen ca 10 Stunden8)
mindestens
werde mich da mal mit in ner Ruhige Stunde
mit auseinandersetzen
MFG
Sir Ulli
- Mitglied seit
- 01.07.2000
- Beiträge
- 24.066
- Renomée
- 10.446
Hi,
gehört zwar nicht unmittelbar zum Thema, aber vielleicht am Rande trotzdem interessant: als ich im November das YaBB-Forum vom Webserver auf die Platte gezogen hatte, um die Dateien zu konvertieren, weigerte sich Windows XP nach Kräften, mehr als - ich kann es nicht genau sagen - 21.000 Dateien in einem Verzeichnis zu speichern
Allerdings war in diesem Fall FAT32 das Filesystem (wegen Parallelzugriff XP/98SE). Es geht also noch schlechter, wie man sieht
gehört zwar nicht unmittelbar zum Thema, aber vielleicht am Rande trotzdem interessant: als ich im November das YaBB-Forum vom Webserver auf die Platte gezogen hatte, um die Dateien zu konvertieren, weigerte sich Windows XP nach Kräften, mehr als - ich kann es nicht genau sagen - 21.000 Dateien in einem Verzeichnis zu speichern
Allerdings war in diesem Fall FAT32 das Filesystem (wegen Parallelzugriff XP/98SE). Es geht also noch schlechter, wie man sieht
Sir Ulli
Grand Admiral Special
@Nero24
mit Fat 32 habe ich ja nur schlechte Erfarungen gemacht
vor allem bei grossen Dateien oder vielen kleinen
aber egal Hautsache es läuft
MFG
Sir Ulli
mit Fat 32 habe ich ja nur schlechte Erfarungen gemacht
vor allem bei grossen Dateien oder vielen kleinen
aber egal Hautsache es läuft
MFG
Sir Ulli
Andreas123
Lt. Commander
@Nero24
Was war die genaue Fehlermeldung ?
Ich habe zwar WinXP/Fat32 Verzeichnisse > 21.000 Dateien; manchmal aber Probleme beim Zugriff auf diese Dateien über Netzwerk (Zugriff verweiger; Datei wird bereits verwendet o.ä )
Bei Microsoft kein Problem, wieso gibt es schließlich Updates
Was war die genaue Fehlermeldung ?
Ich habe zwar WinXP/Fat32 Verzeichnisse > 21.000 Dateien; manchmal aber Probleme beim Zugriff auf diese Dateien über Netzwerk (Zugriff verweiger; Datei wird bereits verwendet o.ä )
Original geschrieben von Nero24
Es geht also noch schlechter, wie man sieht
Bei Microsoft kein Problem, wieso gibt es schließlich Updates
- Mitglied seit
- 01.07.2000
- Beiträge
- 24.066
- Renomée
- 10.446
Hihi, es scheint fast so 
Ne, an die genaue Fehlermeldung kann ich mich nicht mehr erinnern. Mir ist nur die Zahl in Erinnerung geblieben, weil es doch eine etwas seltsame Grenze ist. 31.000 hätte ich ja noch verstanden. Das ist in etwa die Anzahl an Dateien, die man mit einem unsigned 16-Bit Integer Array darstellen kann. Aber auf die 21.000 Dateien konnte ich mir erst mal keinen Reim machen...
Ne, an die genaue Fehlermeldung kann ich mich nicht mehr erinnern. Mir ist nur die Zahl in Erinnerung geblieben, weil es doch eine etwas seltsame Grenze ist. 31.000 hätte ich ja noch verstanden. Das ist in etwa die Anzahl an Dateien, die man mit einem unsigned 16-Bit Integer Array darstellen kann. Aber auf die 21.000 Dateien konnte ich mir erst mal keinen Reim machen...
Tom24
Grand Admiral Special
- Mitglied seit
- 14.01.2001
- Beiträge
- 5.401
- Renomée
- 7
Reiser FS is langsamer als ext2?
also reiser is schneller
aber ich hab schin oft in der iX gelesen dass des ganze auf kosten der sicherheit geht... weil der ganze aufbau auf skaliebarkeit und performance ausgelegt sein soll...also ich kann mich auch irren , muss nochma in die iX vom vorletzten Monat gucken da warn artikel über Jfs' da stands auch wieder drinn
