Rychlost operaci (kopirovani) - optimalizace || hruba sila?

[cincura.net]

Zdravim,

dneska jsem provedl nekolik (jeden ) zajimavych testu.

Notebook pripojenej privatnim kabelem (100Mbit) k serveru (Win XP Home vs. Win 2003 Std.; u vsech vsechny zaplaty aspol.). Kdyz kopiruju tak dosahuju v SS hodnot (jeden soubor, sekvencni cteni, defrag, prepaging/precaching bez omezeni):
up (notebook > server): max. 1,5MB/s
down (server > notebook): max. 3,6MB/s

pokud pouziju cmd:
up: 3MB/s
down: 6,8MB/s

vzhledem k vykonu notebooku a vlastnostem Samby jsou vysledky pro cmd celkem v poradku. Ovsem pro SS jsou kolem 50%. Nepredpokladam, ze by cmd pouzival nejake specialni fce (ani to nedava smysl). Vypada to, ze kod SS ma jeste silne rezervy co se tyka vykonu - chapu, ze cast vykonu vezmou ty graficke serepeticky - ale 50% vykonu???

PS: Pro oba testy stejne vychozi podminky (firewall, soubor, disk, ...).

[cincura.net]

Jeste abych zamezil spekulacim.

Pro oba testy byly stejne vychozi podminky (jak bylo receno), nebyla provadena zadna specialni nastaveni (ktera by hrala ve prospech jedne strany).

Vyvarujte se proto prosim uvah o rychlosti disku atp., vsechny tyto sekundarni operace byly pro oba procesy stejne drahe (v ramci snahy o stejne podminky).

[Jan Rysavy]

Ahoj, zajímavé hodnoty.

(jeden soubor, sekvencni cteni, defrag, prepaging/precaching bez omezeni)

Tomuhle nerozumím. Kopíroval jsi jeden velký soubor? Co znamená to ostatní?

vzhledem k vykonu notebooku a vlastnostem Samby

Nepleteš si pojem Samba se SMB protokolem?

Vypada to, ze kod SS ma jeste silne rezervy co se tyka vykonu - chapu, ze cast vykonu vezmou ty graficke serepeticky - ale 50% vykonu??

Ne ne, vizualizace je pečlivě optimalizovaná, nebere si téměř nic. Problém bude pravděpodbně ve velikosti kopírovacího bufferu, který zrovna nesedí tvé síti.

pokud pouziju cmd:

Máš na mysli příkaz Copy spuštěný z Command Shell? Můžeš prosím ještě zopakovat test pomocí Windows Explorer a Total Commander? Mimochodem, pro měření lze docela dobře použít Windows Task Manager, záložku Networking.

Díky za informace!

[cincura.net]

(jeden soubor, sekvencni cteni, defrag, prepaging/precaching bez omezeni)

Tomuhle nerozumím. Kopíroval jsi jeden velký soubor? Co znamená to ostatní?

Jo jeden velky. Dalsimi polozkami jsem chtel specifikovat podminky, aby se zamezilo spekulacim o vykonu vlastniho cteni/zapisu.

vzhledem k vykonu notebooku a vlastnostem Samby

Nepleteš si pojem Samba se SMB protokolem?

Jo, spravne. To vis patek vecer.

Vypada to, ze kod SS ma jeste silne rezervy co se tyka vykonu - chapu, ze cast vykonu vezmou ty graficke serepeticky - ale 50% vykonu??

Ne ne, vizualizace je pečlivě optimalizovaná, nebere si téměř nic. Problém bude pravděpodbně ve velikosti kopírovacího bufferu, který zrovna nesedí tvé síti.

Mozne to je. Ale cmd jel dobre.

pokud pouziju cmd:

Máš na mysli příkaz Copy spuštěný z Command Shell? Můžeš prosím ještě zopakovat test pomocí Windows Explorer a Total Commander? Mimochodem, pro měření lze docela dobře použít Windows Task Manager, záložku Networking.

Jo presne tak. WE muzu zkusit, TC ne (nemam, nepouzivam).

Zalozku znam, ale na co? Za jsem porovnal prakticky vykon dvou programu - nepotrebuju vedet jak na tom byla sit.

Díky za informace!

Neni zac. Akorat to quotovani tady je otresne, kam se podela klasika s '>'?[/quote]

[cincura.net]

Tak tu mam vysledky z WE (mimochodem ani jsem nevedel kde to hledat, abych to mohl spustit ).

up (notebook > server): 1,3 (zajimave, mene nez kdokoli jiny)
down (server < notebook): 4,1 (vice nez SS)

Evidentne to rizeni toku v WE totalne propadlo.

A abys nerekl, mrknul jsem se i na sit pri kopirovani SS. Procesor samozrejme na 100% (ani bych nic jineho necekal), a sit kolem 40% (celkem ocekavany vysledek).

[Jan Rysavy]

Dalsimi polozkami jsem chtel specifikovat podminky, aby se zamezilo spekulacim o vykonu vlastniho cteni/zapisu.

A můžeš ty jednotlivé položky vysvětlit? Nerozumím jim, proto jsem se ptal.

Zalozku znam, ale na co? Za jsem porovnal prakticky vykon dvou programu - nepotrebuju vedet jak na tom byla sit.

Je to šikovné pro určení úzkého hrdla (společně se zatížením procesoru).

Akorat to quotovani tady je otresne, kam se podela klasika s '>'?

Jo, chce to ručně prořezávat, méně citovaného textu je někdy více

A abys nerekl, mrknul jsem se i na sit pri kopirovani SS. Procesor samozrejme na 100% (ani bych nic jineho necekal), a sit kolem 40% (celkem ocekavany vysledek).

Co to je za notebook, něco starého? Procesor je na 100% jak při downloadu, tak při uploadu? Ve všech testovaných programech je procesor na 100% (Copy command, Servant Salamander, Windows Explorer)? Zkus prosím v okně Windows Task Manager > Performance zapnout volbu View > Show Kernel Times. Jsou nějaké rozdíly mezi CP/SS/WE?

To 100% zatížení procesoru mě mate, to vypadá na příčinu problému. Jak je ten soubor veliký? Dokážeš zjistit, na kolik je rozbitý fragmentů (můžu poslat maličký prográmek, který to zobrazí).

[cincura.net]

A můžeš ty jednotlivé položky vysvětlit? Nerozumím jim, proto jsem se ptal.

Jasny:
jeden soubor = kopiroval jsem jeden soubor
sekvencni cteni & defrag = defragmentoval jsem disk a pri cteni jsem poslouchal hlavicky, aby bylo jasne, ze to jede na maximum a neni to ovlivnene nepredikovatelnym pohybem hlavicek (napr. kdyz si system neco zacne odsypavat z FAP)
prepaging/precaching bez omezeni = nevypinal jsem zadne tyto vymozenosti ani je neomezoval (i presto ze slo o porovnani ne absolutni cisla)

Je to šikovné pro určení úzkého hrdla (společně se zatížením procesoru).

Jenze tady slo o vykon v porovnani, ne o absolutni cislo. Cili pokud sit jede max. x potom maji oba programy stejna omezeni.

Akorat to quotovani tady je otresne, kam se podela klasika s '>'?

Jo, chce to ručně prořezávat, méně citovaného textu je někdy více

Spis je otresne to kopirovani quote="Jan Rysavy" v hranatych zavorkach s > je to hned.

Co to je za notebook, něco starého? Procesor je na 100% jak při downloadu, tak při uploadu? Ve všech testovaných programech je procesor na 100% (Copy command, Servant Salamander, Windows Explorer)? Zkus prosím v okně Windows Task Manager > Performance zapnout volbu View > Show Kernel Times. Jsou nějaké rozdíly mezi CP/SS/WE?

Je to ponekud starecek - 1,13 Celer. s 640MB RAM.

Procesor je na 100% vsude. Soubor ma kolem 1GB.

Kernel times mam zapnuty, podivam se ti na to.

To 100% zatížení procesoru mě mate, to vypadá na příčinu problému. Jak je ten soubor veliký? Dokážeš zjistit, na kolik je rozbitý fragmentů (můžu poslat maličký prográmek, který to zobrazí).

Jasny, ze to je jiste omezeni, co bys taky od toho stroje chtel. Ale znovu opakuji, ze to byl primy souboj, ne test na abs. vykon.[/quote]

[cincura.net]

Tak a mame tu casy jadra (+user mode). Celekm nic dechvyrazejiciho.

SS:
user: 89-99%
kernel: tesne pod user (co to jen jde)
cmd:
user: 96-99%
kernel: tesne pod user (co to jen jde)
WE:
user: 97-100%
kernel: tesne pod user (co to jen jde)

Zajimave je predstihnuti cmd WEem v zatezi. Jinak ale nic zajimaveho.

PS: Zmeril jsem jen download, pro upload to bude (diky vysledkum) obdobne (nic uz tam vymyslet nejde).

[Jan Rysavy]

prepaging/precaching bez omezeni = nevypinal jsem zadne tyto vymozenosti ani je neomezoval (i presto ze slo o porovnani je absolutni cisla)

Co to je prepaging/precaching? Nějaká ovlivnitelná vlastnost souborového systému?

Odpoledne se na problém podívám v kanceláři a ozvu se. Máme tam stařičký počítač (Pentium II na 200MHz, Intel deska, IDE řadič podporuje pouze PIO), který se chová podobně v tom, že kopírování přetěžuje procesor.

Mimochodem, pokud ten soubor kopírujes v rámci notebooku, jsou také rozdíly mezi CP/SS/WE? Berou si i v tomto případě procesy také 100% procesoru?

[cincura.net]

Co to je prepaging/precaching? Nějaká ovlivnitelná vlastnost souborového systému?

Ne FS, ale jadra systemu. Nevim jak se to presne nazyva u NTFS/WinNT (prepaging je vec s pameti, NT systemy to delaji pri zavadeni programu do FAP (ne uz pri page fault)), ale myslim, ze to kazdy takto pochopi (a kdo vi jaky to ma presny nazev, necht napise).

Odpoledne se na problém podívám v kanceláři a ozvu se. Máme tam stařičký počítač (Pentium II na 200MHz, Intel deska, IDE řadič podporuje pouze PIO), který se chová podobně v tom, že kopírování přetěžuje procesor.

Kdyby neco, vis kde me hledat.

Mimochodem, pokud ten soubor kopírujes v rámci notebooku, jsou také rozdíly mezi CP/SS/WE? Berou si i v tomto případě procesy také 100% procesoru?

No neberou - ale asi bych rekl, ze je to tim, ze zapis/cteni na disk trva tak dlouho, ze casove kvantum pridelene procesu kopirovani v pohode staci a tak se flaka.

[Jan Rysavy]

Co to je prepaging/precaching? Nějaká ovlivnitelná vlastnost souborového systému?

Ne FS, ale jadra systemu. Nevim jak se to presne nazyva u NTFS/WinNT (prepaging je vec s pameti, NT systemy to delaji pri zavadeni programu do FAP (ne uz pri page fault)), ale myslim, ze to kazdy takto pochopi (a kdo vi jaky to ma presny nazev, necht napise).

Psal jsi, že jsi neměnil prepaging/precaching, tak mi prosím vysvětli, kde a jak se to pod Windows XP Home (ty ti běží na tom notebooku) nastavuje?

Pojem FAP mi také nic neříká, co to je a jaký to může mít dopad na rychlost kopírování souborů?

Pokud tyto pojmy zmiňuješ ve specifikaci problému, tak předpokládám, že je to něco běžně ovlivnitelného, u čeho bychom mohli předpokládat, že jsi to měnil.

No neberou - ale asi bych rekl, ze je to tim, ze zapis/cteni na disk trva tak dlouho, ze casove kvantum pridelene procesu kopirovani v pohode staci a tak se flaka.

Takže v rámci notebooku kopíruje Servant Salamander stejně rychle jako Copy command a Windows Explorer?

[cincura.net]

Psal jsi, že jsi neměnil prepaging/precaching, tak mi prosím vysvětli, kde a jak se to pod Windows XP Home (ty ti běží na tom notebooku) nastavuje?

Ruzne hacky v registrech a systemovych knihovnach. Google pomuze. Chtel jsem predejit hnidopichum, kteri by to chteli na neco podobneho napasovat.

Pojem FAP mi také nic neříká, co to je a jaký to může mít dopad na rychlost kopírování souborů?

FAP = fyzicky adr. prostor - vysvetloval jsem pojem prepaging (ktery neni primo o FS, ale nevim jestli hacky systemu ohledne cteni atp. maji nejaky nazev, tak jsem to pojmenoval takto, aby se dalo (asi nedalo) pochopit co jsem myslel).

Pokud tyto pojmy zmiňuješ ve specifikaci problému, tak předpokládám, že je to něco běžně ovlivnitelného, u čeho bychom mohli předpokládat, že jsi to měnil.

Bezne rozhodne ne.

Takže v rámci notebooku kopíruje Servant Salamander stejně rychle jako Copy command a Windows Explorer?

Ano, vicemene ano. Nejsou to zadne propastne rozdily.

[Jan Rysavy]

Ruzne hacky v registrech a systemovych knihovnach. Google pomuze. Chtel jsem predejit hnidopichum, kteri by to chteli na neco podobneho napasovat.

Přiznávám, že jsem docela naštvanej. Zmařil jsi spoustu času a mentální energie nás obou odkazama na nějaké nesmysly a nakonec mě odkážeš na google. Uvědom si prosím, že čas který jsi takto zahodil, jsem mohl využít na další vývoj Salamandera.

Pochop, že pokud máme uživatelům pomáhat, musíme jejich hlášení pročíst a pochopit, což je problém, pokud je hlášení prolezlé pojmy prepaging/precaching/FAP/sekvenční čtení/nepredikovatelný pohyb hlaviček/řízení toku ve WE, atd.

[Datalog]

Ruzne hacky v registrech a systemovych knihovnach. Google pomuze. Chtel jsem predejit hnidopichum, kteri by to chteli na neco podobneho napasovat.

Přiznávám, že jsem docela naštvanej. Zmařil jsi spoustu času a mentální energie nás obou odkazama na nějaké nesmysly a nakonec mě odkážeš na google. Uvědom si prosím, že čas který jsi takto zahodil, jsem mohl využít na další vývoj Salamandera.

Pochop, že pokud máme uživatelům pomáhat, musíme jejich hlášení pročíst a pochopit, což je problém, pokud je hlášení prolezlé pojmy prepaging/precaching/FAP/sekvenční čtení/nepredikovatelný pohyb hlaviček/řízení toku ve WE, atd.

Nějak nechápu Vaše rozhořčení. Jsem také programátor, m.j. píši sw i pro MS Windows, a původní poznámku jsem pochopil bez problémů. Uvedené nápisy považuji za relativně běžné. Když jsem si první post přečetl, poznámka v závorce mi řekla:
"Test probíhal na jednom souboru (jeden soubor), při kopírování nedocházelo ani k seekování při čtení (sekvenční čtení) ani k seekování při zápisu (defrag) (obojí v dalších postech potvrzeno že bylo kontrolováno i odposlechem) a soubor nebyl předem nacacheován v paměti (asi dotyčný vždy předem resetoval či jinak zneplatnil file cache) a nebyla použita ani jiná (nestandardní) tweakovací nastavení, která by např. teoreticky mohla ovlivnit mapování mezibufferu v paměti při read/write z/do souboru "

Také jsem dlouho nechápal na co se vlastně ptáte - co Vám není jasné. A až z pozdější komunikace teprve vyplynulo v čem si +- nerozumíte.

IMHO z jedné strany to chtělo jednoznačnější polopatičtější vyjádření (že nebyly použity žádné tweak metody, že obě pc byla ve stabilním normálním stavu (toto obecné vyjádření chybělo), nepoužívat žádné vzletné názvy preXY), z druhé strany trocha přesnosti (které z pojmů prepaging/precaching/FAP/sekvenční čtení/nepredikovatelný pohyb hlaviček/řízení toku ve WE že Vám nejsou jasné (všechny nejasné? nebo jen některé a z lenosti prostě opíši vše a druhá strano vysvětluj a snaž se).

Nemyslím si, že zde byl zmařen čas - ani z jedné, ani z druhé strany. Podobná nedorozumění se stávají i mezi programátory, nejen ve vztahu programátor-> uživatel.

Petr Adámek

[cincura.net]

Nějak nechápu Vaše rozhořčení. Jsem také programátor, m.j. píši sw i pro MS Windows, a původní poznámku jsem pochopil bez problémů.

Nemyslím si, že zde byl zmařen čas - ani z jedné, ani z druhé strany. Podobná nedorozumění se stávají i mezi programátory, nejen ve vztahu programátor-> uživatel.

Petr Adámek

Ja jsem se pri popisu prave snazil co nejvice test popsat a udat co nejvice udaju, aby to nevypadalo jako ze jsem vzal soubor a zkusil ho zkopirovat a hotovo.

Sam jsem take programator (vice v profilu) a vim, jak jsou nektere popisy chyb laxni a neni mozne se pak dopatrat o co vlastne jde.

Snazil jsem se i prinest dalsi testy, ktere Hozna chtel.

Akorat me ke konci "zaujalo", ze se diskuze zvrhla k vysvetlovani pojmu a prostredi ve kterem byl test proveden (ac jsem se snazil vysvetlovat, asi nejsem na popisy expert).

S Honzou R. se nejaky ten patek zname, takze myslim, ze se proste jen zameril na spatne pojmy - treba Vas popis dokaze lepe popsat co jsem chtel rici.