Rychlost operaci (kopirovani) - optimalizace || hruba sila?
-
- Posts: 593
- Joined: 09 Dec 2005, 17:30
- Location: a step further
- Contact:
Rychlost operaci (kopirovani) - optimalizace || hruba sila?
Zdravim,
dneska jsem provedl nekolik (jeden ) zajimavych testu.
Notebook pripojenej privatnim kabelem (100Mbit) k serveru (Win XP Home vs. Win 2003 Std.; u vsech vsechny zaplaty aspol.). Kdyz kopiruju tak dosahuju v SS hodnot (jeden soubor, sekvencni cteni, defrag, prepaging/precaching bez omezeni):
up (notebook > server): max. 1,5MB/s
down (server > notebook): max. 3,6MB/s
pokud pouziju cmd:
up: 3MB/s
down: 6,8MB/s
vzhledem k vykonu notebooku a vlastnostem Samby jsou vysledky pro cmd celkem v poradku. Ovsem pro SS jsou kolem 50%. Nepredpokladam, ze by cmd pouzival nejake specialni fce (ani to nedava smysl). Vypada to, ze kod SS ma jeste silne rezervy co se tyka vykonu - chapu, ze cast vykonu vezmou ty graficke serepeticky - ale 50% vykonu???
PS: Pro oba testy stejne vychozi podminky (firewall, soubor, disk, ...).
dneska jsem provedl nekolik (jeden ) zajimavych testu.
Notebook pripojenej privatnim kabelem (100Mbit) k serveru (Win XP Home vs. Win 2003 Std.; u vsech vsechny zaplaty aspol.). Kdyz kopiruju tak dosahuju v SS hodnot (jeden soubor, sekvencni cteni, defrag, prepaging/precaching bez omezeni):
up (notebook > server): max. 1,5MB/s
down (server > notebook): max. 3,6MB/s
pokud pouziju cmd:
up: 3MB/s
down: 6,8MB/s
vzhledem k vykonu notebooku a vlastnostem Samby jsou vysledky pro cmd celkem v poradku. Ovsem pro SS jsou kolem 50%. Nepredpokladam, ze by cmd pouzival nejake specialni fce (ani to nedava smysl). Vypada to, ze kod SS ma jeste silne rezervy co se tyka vykonu - chapu, ze cast vykonu vezmou ty graficke serepeticky - ale 50% vykonu???
PS: Pro oba testy stejne vychozi podminky (firewall, soubor, disk, ...).
Last edited by cincura.net on 07 Jan 2006, 00:12, edited 1 time in total.
Jiri {x2} Cincura
-
- Posts: 593
- Joined: 09 Dec 2005, 17:30
- Location: a step further
- Contact:
Jeste abych zamezil spekulacim.
Pro oba testy byly stejne vychozi podminky (jak bylo receno), nebyla provadena zadna specialni nastaveni (ktera by hrala ve prospech jedne strany).
Vyvarujte se proto prosim uvah o rychlosti disku atp., vsechny tyto sekundarni operace byly pro oba procesy stejne drahe (v ramci snahy o stejne podminky).
Pro oba testy byly stejne vychozi podminky (jak bylo receno), nebyla provadena zadna specialni nastaveni (ktera by hrala ve prospech jedne strany).
Vyvarujte se proto prosim uvah o rychlosti disku atp., vsechny tyto sekundarni operace byly pro oba procesy stejne drahe (v ramci snahy o stejne podminky).
Jiri {x2} Cincura
-
- ALTAP Staff
- Posts: 5231
- Joined: 08 Dec 2005, 06:34
- Location: Novy Bor, Czech Republic
- Contact:
Re: Rychlost operaci (kopirovani) - optimalizace || hruba si
Ahoj, zajímavé hodnoty.
Díky za informace!
Tomuhle nerozumím. Kopíroval jsi jeden velký soubor? Co znamená to ostatní?cincura.net wrote:(jeden soubor, sekvencni cteni, defrag, prepaging/precaching bez omezeni)
Nepleteš si pojem Samba se SMB protokolem?cincura.net wrote:vzhledem k vykonu notebooku a vlastnostem Samby
Ne ne, vizualizace je pečlivě optimalizovaná, nebere si téměř nic. Problém bude pravděpodbně ve velikosti kopírovacího bufferu, který zrovna nesedí tvé síti.cincura.net wrote:Vypada to, ze kod SS ma jeste silne rezervy co se tyka vykonu - chapu, ze cast vykonu vezmou ty graficke serepeticky - ale 50% vykonu??
Máš na mysli příkaz Copy spuštěný z Command Shell? Můžeš prosím ještě zopakovat test pomocí Windows Explorer a Total Commander? Mimochodem, pro měření lze docela dobře použít Windows Task Manager, záložku Networking.cincura.net wrote:pokud pouziju cmd:
Díky za informace!
-
- Posts: 593
- Joined: 09 Dec 2005, 17:30
- Location: a step further
- Contact:
Re: Rychlost operaci (kopirovani) - optimalizace || hruba si
Jo jeden velky. Dalsimi polozkami jsem chtel specifikovat podminky, aby se zamezilo spekulacim o vykonu vlastniho cteni/zapisu.Jan Rysavy wrote:Tomuhle nerozumím. Kopíroval jsi jeden velký soubor? Co znamená to ostatní?cincura.net wrote:(jeden soubor, sekvencni cteni, defrag, prepaging/precaching bez omezeni)
Jo, spravne. To vis patek vecer.Jan Rysavy wrote:Nepleteš si pojem Samba se SMB protokolem?cincura.net wrote:vzhledem k vykonu notebooku a vlastnostem Samby
Mozne to je. Ale cmd jel dobre.Jan Rysavy wrote:Ne ne, vizualizace je pečlivě optimalizovaná, nebere si téměř nic. Problém bude pravděpodbně ve velikosti kopírovacího bufferu, který zrovna nesedí tvé síti.cincura.net wrote:Vypada to, ze kod SS ma jeste silne rezervy co se tyka vykonu - chapu, ze cast vykonu vezmou ty graficke serepeticky - ale 50% vykonu??
Jo presne tak. WE muzu zkusit, TC ne (nemam, nepouzivam).Jan Rysavy wrote:Máš na mysli příkaz Copy spuštěný z Command Shell? Můžeš prosím ještě zopakovat test pomocí Windows Explorer a Total Commander? Mimochodem, pro měření lze docela dobře použít Windows Task Manager, záložku Networking.cincura.net wrote:pokud pouziju cmd:
Zalozku znam, ale na co? Za jsem porovnal prakticky vykon dvou programu - nepotrebuju vedet jak na tom byla sit.
Neni zac. Akorat to quotovani tady je otresne, kam se podela klasika s '>'?[/quote]Jan Rysavy wrote: Díky za informace!
Jiri {x2} Cincura
-
- Posts: 593
- Joined: 09 Dec 2005, 17:30
- Location: a step further
- Contact:
Tak tu mam vysledky z WE (mimochodem ani jsem nevedel kde to hledat, abych to mohl spustit ).
up (notebook > server): 1,3 (zajimave, mene nez kdokoli jiny)
down (server < notebook): 4,1 (vice nez SS)
Evidentne to rizeni toku v WE totalne propadlo.
A abys nerekl, mrknul jsem se i na sit pri kopirovani SS. Procesor samozrejme na 100% (ani bych nic jineho necekal), a sit kolem 40% (celkem ocekavany vysledek).
up (notebook > server): 1,3 (zajimave, mene nez kdokoli jiny)
down (server < notebook): 4,1 (vice nez SS)
Evidentne to rizeni toku v WE totalne propadlo.
A abys nerekl, mrknul jsem se i na sit pri kopirovani SS. Procesor samozrejme na 100% (ani bych nic jineho necekal), a sit kolem 40% (celkem ocekavany vysledek).
Jiri {x2} Cincura
-
- ALTAP Staff
- Posts: 5231
- Joined: 08 Dec 2005, 06:34
- Location: Novy Bor, Czech Republic
- Contact:
A můžeš ty jednotlivé položky vysvětlit? Nerozumím jim, proto jsem se ptal.cincura.net wrote:Dalsimi polozkami jsem chtel specifikovat podminky, aby se zamezilo spekulacim o vykonu vlastniho cteni/zapisu.
Je to šikovné pro určení úzkého hrdla (společně se zatížením procesoru).cincura.net wrote:Zalozku znam, ale na co? Za jsem porovnal prakticky vykon dvou programu - nepotrebuju vedet jak na tom byla sit.
Jo, chce to ručně prořezávat, méně citovaného textu je někdy vícecincura.net wrote:Akorat to quotovani tady je otresne, kam se podela klasika s '>'?
Co to je za notebook, něco starého? Procesor je na 100% jak při downloadu, tak při uploadu? Ve všech testovaných programech je procesor na 100% (Copy command, Servant Salamander, Windows Explorer)? Zkus prosím v okně Windows Task Manager > Performance zapnout volbu View > Show Kernel Times. Jsou nějaké rozdíly mezi CP/SS/WE?cincura.net wrote:A abys nerekl, mrknul jsem se i na sit pri kopirovani SS. Procesor samozrejme na 100% (ani bych nic jineho necekal), a sit kolem 40% (celkem ocekavany vysledek).
To 100% zatížení procesoru mě mate, to vypadá na příčinu problému. Jak je ten soubor veliký? Dokážeš zjistit, na kolik je rozbitý fragmentů (můžu poslat maličký prográmek, který to zobrazí).
-
- Posts: 593
- Joined: 09 Dec 2005, 17:30
- Location: a step further
- Contact:
Jasny:Jan Rysavy wrote:A můžeš ty jednotlivé položky vysvětlit? Nerozumím jim, proto jsem se ptal.
jeden soubor = kopiroval jsem jeden soubor
sekvencni cteni & defrag = defragmentoval jsem disk a pri cteni jsem poslouchal hlavicky, aby bylo jasne, ze to jede na maximum a neni to ovlivnene nepredikovatelnym pohybem hlavicek (napr. kdyz si system neco zacne odsypavat z FAP)
prepaging/precaching bez omezeni = nevypinal jsem zadne tyto vymozenosti ani je neomezoval (i presto ze slo o porovnani ne absolutni cisla)
Jenze tady slo o vykon v porovnani, ne o absolutni cislo. Cili pokud sit jede max. x potom maji oba programy stejna omezeni.Jan Rysavy wrote: Je to šikovné pro určení úzkého hrdla (společně se zatížením procesoru).
Spis je otresne to kopirovani quote="Jan Rysavy" v hranatych zavorkach s > je to hned.Jan Rysavy wrote:Jo, chce to ručně prořezávat, méně citovaného textu je někdy vícecincura.net wrote:Akorat to quotovani tady je otresne, kam se podela klasika s '>'?
Je to ponekud starecek - 1,13 Celer. s 640MB RAM.Jan Rysavy wrote: Co to je za notebook, něco starého? Procesor je na 100% jak při downloadu, tak při uploadu? Ve všech testovaných programech je procesor na 100% (Copy command, Servant Salamander, Windows Explorer)? Zkus prosím v okně Windows Task Manager > Performance zapnout volbu View > Show Kernel Times. Jsou nějaké rozdíly mezi CP/SS/WE?
Procesor je na 100% vsude. Soubor ma kolem 1GB.
Kernel times mam zapnuty, podivam se ti na to.
Jasny, ze to je jiste omezeni, co bys taky od toho stroje chtel. Ale znovu opakuji, ze to byl primy souboj, ne test na abs. vykon.[/quote]Jan Rysavy wrote: To 100% zatížení procesoru mě mate, to vypadá na příčinu problému. Jak je ten soubor veliký? Dokážeš zjistit, na kolik je rozbitý fragmentů (můžu poslat maličký prográmek, který to zobrazí).
Last edited by cincura.net on 07 Jan 2006, 11:18, edited 1 time in total.
Jiri {x2} Cincura
-
- Posts: 593
- Joined: 09 Dec 2005, 17:30
- Location: a step further
- Contact:
Tak a mame tu casy jadra (+user mode). Celekm nic dechvyrazejiciho.
SS:
user: 89-99%
kernel: tesne pod user (co to jen jde)
cmd:
user: 96-99%
kernel: tesne pod user (co to jen jde)
WE:
user: 97-100%
kernel: tesne pod user (co to jen jde)
Zajimave je predstihnuti cmd WEem v zatezi. Jinak ale nic zajimaveho.
PS: Zmeril jsem jen download, pro upload to bude (diky vysledkum) obdobne (nic uz tam vymyslet nejde).
SS:
user: 89-99%
kernel: tesne pod user (co to jen jde)
cmd:
user: 96-99%
kernel: tesne pod user (co to jen jde)
WE:
user: 97-100%
kernel: tesne pod user (co to jen jde)
Zajimave je predstihnuti cmd WEem v zatezi. Jinak ale nic zajimaveho.
PS: Zmeril jsem jen download, pro upload to bude (diky vysledkum) obdobne (nic uz tam vymyslet nejde).
Jiri {x2} Cincura
-
- ALTAP Staff
- Posts: 5231
- Joined: 08 Dec 2005, 06:34
- Location: Novy Bor, Czech Republic
- Contact:
Co to je prepaging/precaching? Nějaká ovlivnitelná vlastnost souborového systému?cincura.net wrote:prepaging/precaching bez omezeni = nevypinal jsem zadne tyto vymozenosti ani je neomezoval (i presto ze slo o porovnani je absolutni cisla)
Odpoledne se na problém podívám v kanceláři a ozvu se. Máme tam stařičký počítač (Pentium II na 200MHz, Intel deska, IDE řadič podporuje pouze PIO), který se chová podobně v tom, že kopírování přetěžuje procesor.
Mimochodem, pokud ten soubor kopírujes v rámci notebooku, jsou také rozdíly mezi CP/SS/WE? Berou si i v tomto případě procesy také 100% procesoru?
-
- Posts: 593
- Joined: 09 Dec 2005, 17:30
- Location: a step further
- Contact:
Ne FS, ale jadra systemu. Nevim jak se to presne nazyva u NTFS/WinNT (prepaging je vec s pameti, NT systemy to delaji pri zavadeni programu do FAP (ne uz pri page fault)), ale myslim, ze to kazdy takto pochopi (a kdo vi jaky to ma presny nazev, necht napise).Jan Rysavy wrote:
Co to je prepaging/precaching? Nějaká ovlivnitelná vlastnost souborového systému?
Kdyby neco, vis kde me hledat.Jan Rysavy wrote: Odpoledne se na problém podívám v kanceláři a ozvu se. Máme tam stařičký počítač (Pentium II na 200MHz, Intel deska, IDE řadič podporuje pouze PIO), který se chová podobně v tom, že kopírování přetěžuje procesor.
No neberou - ale asi bych rekl, ze je to tim, ze zapis/cteni na disk trva tak dlouho, ze casove kvantum pridelene procesu kopirovani v pohode staci a tak se flaka.Jan Rysavy wrote: Mimochodem, pokud ten soubor kopírujes v rámci notebooku, jsou také rozdíly mezi CP/SS/WE? Berou si i v tomto případě procesy také 100% procesoru?
Jiri {x2} Cincura
-
- ALTAP Staff
- Posts: 5231
- Joined: 08 Dec 2005, 06:34
- Location: Novy Bor, Czech Republic
- Contact:
Psal jsi, že jsi neměnil prepaging/precaching, tak mi prosím vysvětli, kde a jak se to pod Windows XP Home (ty ti běží na tom notebooku) nastavuje?cincura.net wrote:Ne FS, ale jadra systemu. Nevim jak se to presne nazyva u NTFS/WinNT (prepaging je vec s pameti, NT systemy to delaji pri zavadeni programu do FAP (ne uz pri page fault)), ale myslim, ze to kazdy takto pochopi (a kdo vi jaky to ma presny nazev, necht napise).Jan Rysavy wrote:
Co to je prepaging/precaching? Nějaká ovlivnitelná vlastnost souborového systému?
Pojem FAP mi také nic neříká, co to je a jaký to může mít dopad na rychlost kopírování souborů?
Pokud tyto pojmy zmiňuješ ve specifikaci problému, tak předpokládám, že je to něco běžně ovlivnitelného, u čeho bychom mohli předpokládat, že jsi to měnil.
Takže v rámci notebooku kopíruje Servant Salamander stejně rychle jako Copy command a Windows Explorer?cincura.net wrote:No neberou - ale asi bych rekl, ze je to tim, ze zapis/cteni na disk trva tak dlouho, ze casove kvantum pridelene procesu kopirovani v pohode staci a tak se flaka.
-
- Posts: 593
- Joined: 09 Dec 2005, 17:30
- Location: a step further
- Contact:
Ruzne hacky v registrech a systemovych knihovnach. Google pomuze. Chtel jsem predejit hnidopichum, kteri by to chteli na neco podobneho napasovat.Jan Rysavy wrote:Psal jsi, že jsi neměnil prepaging/precaching, tak mi prosím vysvětli, kde a jak se to pod Windows XP Home (ty ti běží na tom notebooku) nastavuje?
FAP = fyzicky adr. prostor - vysvetloval jsem pojem prepaging (ktery neni primo o FS, ale nevim jestli hacky systemu ohledne cteni atp. maji nejaky nazev, tak jsem to pojmenoval takto, aby se dalo (asi nedalo) pochopit co jsem myslel).Jan Rysavy wrote: Pojem FAP mi také nic neříká, co to je a jaký to může mít dopad na rychlost kopírování souborů?
Bezne rozhodne ne.Jan Rysavy wrote: Pokud tyto pojmy zmiňuješ ve specifikaci problému, tak předpokládám, že je to něco běžně ovlivnitelného, u čeho bychom mohli předpokládat, že jsi to měnil.
Ano, vicemene ano. Nejsou to zadne propastne rozdily.Jan Rysavy wrote: Takže v rámci notebooku kopíruje Servant Salamander stejně rychle jako Copy command a Windows Explorer?
Jiri {x2} Cincura
-
- ALTAP Staff
- Posts: 5231
- Joined: 08 Dec 2005, 06:34
- Location: Novy Bor, Czech Republic
- Contact:
Přiznávám, že jsem docela naštvanej. Zmařil jsi spoustu času a mentální energie nás obou odkazama na nějaké nesmysly a nakonec mě odkážeš na google. Uvědom si prosím, že čas který jsi takto zahodil, jsem mohl využít na další vývoj Salamandera.cincura.net wrote:Ruzne hacky v registrech a systemovych knihovnach. Google pomuze. Chtel jsem predejit hnidopichum, kteri by to chteli na neco podobneho napasovat.
Pochop, že pokud máme uživatelům pomáhat, musíme jejich hlášení pročíst a pochopit, což je problém, pokud je hlášení prolezlé pojmy prepaging/precaching/FAP/sekvenční čtení/nepredikovatelný pohyb hlaviček/řízení toku ve WE, atd.
Nějak nechápu Vaše rozhořčení. Jsem také programátor, m.j. píši sw i pro MS Windows, a původní poznámku jsem pochopil bez problémů. Uvedené nápisy považuji za relativně běžné. Když jsem si první post přečetl, poznámka v závorce mi řekla:Jan Rysavy wrote:Přiznávám, že jsem docela naštvanej. Zmařil jsi spoustu času a mentální energie nás obou odkazama na nějaké nesmysly a nakonec mě odkážeš na google. Uvědom si prosím, že čas který jsi takto zahodil, jsem mohl využít na další vývoj Salamandera.cincura.net wrote:Ruzne hacky v registrech a systemovych knihovnach. Google pomuze. Chtel jsem predejit hnidopichum, kteri by to chteli na neco podobneho napasovat.
Pochop, že pokud máme uživatelům pomáhat, musíme jejich hlášení pročíst a pochopit, což je problém, pokud je hlášení prolezlé pojmy prepaging/precaching/FAP/sekvenční čtení/nepredikovatelný pohyb hlaviček/řízení toku ve WE, atd.
"Test probíhal na jednom souboru (jeden soubor), při kopírování nedocházelo ani k seekování při čtení (sekvenční čtení) ani k seekování při zápisu (defrag) (obojí v dalších postech potvrzeno že bylo kontrolováno i odposlechem) a soubor nebyl předem nacacheován v paměti (asi dotyčný vždy předem resetoval či jinak zneplatnil file cache) a nebyla použita ani jiná (nestandardní) tweakovací nastavení, která by např. teoreticky mohla ovlivnit mapování mezibufferu v paměti při read/write z/do souboru "
Také jsem dlouho nechápal na co se vlastně ptáte - co Vám není jasné. A až z pozdější komunikace teprve vyplynulo v čem si +- nerozumíte.
IMHO z jedné strany to chtělo jednoznačnější polopatičtější vyjádření (že nebyly použity žádné tweak metody, že obě pc byla ve stabilním normálním stavu (toto obecné vyjádření chybělo), nepoužívat žádné vzletné názvy preXY), z druhé strany trocha přesnosti (které z pojmů prepaging/precaching/FAP/sekvenční čtení/nepredikovatelný pohyb hlaviček/řízení toku ve WE že Vám nejsou jasné (všechny nejasné? nebo jen některé a z lenosti prostě opíši vše a druhá strano vysvětluj a snaž se).
Nemyslím si, že zde byl zmařen čas - ani z jedné, ani z druhé strany. Podobná nedorozumění se stávají i mezi programátory, nejen ve vztahu programátor-> uživatel.
Petr Adámek
-
- Posts: 593
- Joined: 09 Dec 2005, 17:30
- Location: a step further
- Contact:
Datalog wrote: Nějak nechápu Vaše rozhořčení. Jsem také programátor, m.j. píši sw i pro MS Windows, a původní poznámku jsem pochopil bez problémů.
Ja jsem se pri popisu prave snazil co nejvice test popsat a udat co nejvice udaju, aby to nevypadalo jako ze jsem vzal soubor a zkusil ho zkopirovat a hotovo.Datalog wrote: Nemyslím si, že zde byl zmařen čas - ani z jedné, ani z druhé strany. Podobná nedorozumění se stávají i mezi programátory, nejen ve vztahu programátor-> uživatel.
Petr Adámek
Sam jsem take programator (vice v profilu) a vim, jak jsou nektere popisy chyb laxni a neni mozne se pak dopatrat o co vlastne jde.
Snazil jsem se i prinest dalsi testy, ktere Hozna chtel.
Akorat me ke konci "zaujalo", ze se diskuze zvrhla k vysvetlovani pojmu a prostredi ve kterem byl test proveden (ac jsem se snazil vysvetlovat, asi nejsem na popisy expert).
S Honzou R. se nejaky ten patek zname, takze myslim, ze se proste jen zameril na spatne pojmy - treba Vas popis dokaze lepe popsat co jsem chtel rici.
Jiri {x2} Cincura