pomale kopirovani na sitovych discich

[Salat]

Dobrý den

Tento topic mě zaujal a zkusil jsem otestovat i moji domácí síť, jestli se mě problém taky týká. Bohužel jsem zjistil že ano.

Pro test jsem si vybral 10GB soubor a kopíroval ho nejdříve z počítače na nas server a potom opačně.

PC: Win7 - 64bit,intel čtyřjádro, použil jsem SSD disk abych měl jistotu že nebude brzdit HDD, síťová karta Marvell integrovaná na základní desce.
NAS: Synology DS211J, poslední firmware

Průměry kopírování na NAS: Salamander 31MB/s Windows 44MB/s
Průměry kopírování z NAS: Salamander 48MB/s Windows 66MB/s

To je opravdu hodně velký rozdíl a chtěl bych poprosit, jestli by se vyřešení tohoto problému nemohla dát hlavní priorita. Ten problém je dost zásadní a nerad bych aby to podkopalo budoucnost salamandera do budoucna. Mám ho rád a budu ho používat dál, ale nemyslím si že jsou všichni lidé jako já. Byla by škoda kdyby kvůli takovéhle věci přišel o příznivce...

[Jan Rysavy]

O co je tento problém zásadnější než chybějící podpora pro UAC, Unicode a x64?
Která z uvedených vlastností má větší dopad na produktivitu uživatele?
Odpověď se bude lišit podle toho, kde je těžiště práce každého uživatele.

Určitě nebereme přenosové rychlosti na lehkou váhu a vyřešíme je.
Prioritně dokončíme přechod na VS 2008.

[honzajc]

Souhlasim s prechodem na VS2008.
Souhlasim take ze UAC a X64 je take velmi dulezite.
Sam je vidim take prioritne.

Kazdopadne:
UAC vyresim elevaci - jen to jen NEKOMFORT
X64 - pouzivam na W7x64 a nemam problemy v me praci (pouzivam vyhradne altap na VSE s jednou vyjimkou)
Unicode - souhlas, kazdopadne ziju s tim.
Rychlost - to obejdu jedine - nepouzivat Altap. Nekdy ten rozdil je tak markantni, ze radsi neztratim treba hodinu a pouziju konkurenci nebo explorer

Chci tim rici - vim ze probehlo hlasovani, vim jake jsou priority, vim ze je nesmysl ted menit kdyz je to rozpracovano. Kazdopadne pro mne (a vsechny co kopiruji na sitove disky) je pomalost duvodem altap pouzivat jen na lokalnich discich a jinak pouzit konkurenci.

Drzim palce at se presun na Ws2k8 povede co nejdrive !

[Salat]

Honzajs to napsal přesně, všechny věci které jsou v plánu jsou určitě důležité, ale dá se žít s tím že momentálně ještě nejsou.

Problém s rychlostí se nedá obejít, jedině tím že nepoužiji salamandra a proto si myslím, že by to mělo mít prioritu (můj subjektivní názor).

Navíc si myslím že všechny ostatní plány jsou časově náročnější než tato oprava (opět můj subjektivní názor)

Používám Win 7 64bit a určitě se na 64 bitovou verzi těším, ale tento problém mě nutí pracovat bez salamandra, což mě hodně štve adekvátně tomu jak ten program mám rád...

[Jan Rysavy]

Mrkneme se na to, zatím odhad náročnosti nemáme. Zvažujeme možnost prchnout z interních rutin pro kopírování a přejít na ty od Microsoftu. Salamander by potom kopíroval stejnou rychlostí jako Průzkumník. Z hlediska uživatele by se nesmělo nic změnit, šlo by čistě o interní změnu.

[SelfMan]

Trosku ozivujem tuto sice zaprasenu, le stale aktualnu temu.

Par tipov:
- otestujte kopirovanie na priamo a cez namapovany disk - je tam rozdiel?
( \\nas\share vs net use Z: \\nas\share )
Taktiez skuste sietovu cestu vo forme IP adresy a nie nazvu.
( \\192.168.1.10\share )

Co sa tyka SMB kopirovania som dostal nasledovny tip:
rogramatori musia spravit vynimku na sambe a refreshovat v mensich intervaloch...
este doplnim dalsie...

[Jan Rysavy]

Studovali jsme v debuggeru kopírování pomocí Průzkumníka ve Windows 7. Jednoduše operaci rozdělí do několika (4/6/8) současně probíhajících, neblokujících se částí. Ještě se budeme věnovat Windows 8, zda nedošlo ke změně. Pokusili bychom se toto schéma implementovat do jádra Salamandera.

[SelfMan]

Zo skusenosti znameho ktory sa venoval podobnej implementacii uvadzam:

ked nejaky samba priecinok priamo zo siete spravujes (teda RW subory do \\strojsozdielanim\zdielanyadresar), tak dotazovanie na "free space" daneho uloziska sposobuje zdrzanie. Ukladat by si tam mal sposobom : kolko je volneho? dost? ak ano - ukladam .. ak sa medzicasom z ineho procesu nahodou zaplni, tak pride : write error - no space, cize tu treba osetrit, ze nie je mozne zapisat a nacitat free-space preistotu znovu, podla toho ponuknut riesenie (napr. niektory filesystem nemusi umoznit velky file zapisat, aj ked je dostatok free space)

pri zapise (pripadne i citani) stylom - R/W paket, kolko free?, R/W paket, kolko free?, atd.. nastava spomalenie, lebo ta sietova masina si pokazde systemovo dotazuje a to niekedy trva vecnost (chybna implementacia niektorych win - refresh free space nie len jedneho disku, ale vsetkych, pri dotaze na stav aj jedneho)

no a aby netrebalo osetrovat takto "zvrhlo" zvlast proceduru RW na \\stroj.. tak je lepsie sietovy priecinok namapovat a teda sa k nemu klasicky pristupuje cez vseobecnu rutinu ako ku disku "napr. X:\" a cela komunikacia ostava na vnutornych procesoch win sietovania ...

Ci uz vam z toho nieco pomoze, som mu vdacny za akykolvek hint...

[tdlmarek]

Dobrý den.

Při řešení problému s pomalým kopírováním jsem narazil na toto téma a ačkoliv jsem neměl čas přečíst všech 9 stránek, rád bych přispěl dalším střípkem informací, které by snad mohly pomoci tuto záhadu vyřešit.

Sledoval jsem totiž Wiresharkem síťovou komunikaci při kopírování, a všiml jsem si, že zatímco Altap Salamander má při kopírování nastavenou velikost TCP okna na fixní hodnotu 256, Průzkumník tuto hodnotu průběžně mění od cca 8000 až k 25000 a více. Řešení tedy možná nespočívá v optimalizaci kopírovacích procesů, ale spíše ve správné konfiguraci TCP spojení.

Prozatím nemám nic určitého, co bych ještě mohl dodat, protože průběžně hledám po Internetu trochu více informací o této problematice. Chtěl jsem se alespoň podělit o tento zásadní rozdíl v chování Salamandera a Průzkumníka.

Jenom pro pořádek dodám, že testuji mezi dvěma stroji s Win 7 x64 Professional, Altap Salamander 2.54. Kopírováním pomocí Průzkumníka jsem schopen vytížit síťovou kartu na maximum (cca 115 MB/s), Salamander kolísá kolem 60 MB/s.

PS: Něco málo o TCP a velikosti okna: http://en.wikipedia.org/wiki/Transmissi ... ow_control

[Jan Rysavy]

Děkujeme za zajímavé informace, prozkoumáme tento aspekt. Právě dokončujeme přepis kopírovací rutiny, abychom dotáhli Salamandera na rychlosti Průzkumníka.

[tdlmarek]

Dobrý den.

Od schválení příspěvku jsem provedl ještě nějaké další testování a zjistil jsem, že pro aktuální beta verzi již výše popsané neplatí. Zde už Salamander používá proměnlivou velikost TCP okna a pokud si dobře vzpomínám, tak s x86 betou jsem byl schopen naměřit kolem 90 MB/s v obou směrech. Což pořád není na úrovni průzkumníka, ale už bych se tento výsledek nebál označit za "good enough".

Na domácím PC mám screenshoty výkonu pro různé scénáře, takže bych je odpoledne přieditoval do tohoto přípěvku, abychom se mohli bavit nad konkrétními čísly.

[Jan Rysavy]

Díky za informace. Jakmile dokončíme přepis kopírovací funkce, vydáme testovací verzi Salamandera. Pokud budete mít chuť do testování, budeme rádi za veškeré poznatky.

[tdlmarek]

Dobrý večer.

Přikládám nějaké screenshoty z mého testování. Kopíroval jsem (opakovaně) soubor o velikosti cca 5 GB ze serveru (čtení, vždy první) a zpět (zápis, vždy druhé), v obou počítačích byly použity SSD disky, které svým výkonem daleko přesahují maximální propustnost gigabitové sítě (to jenom pro jistotu, aby nedošlo ke zkreslení výsledků).


V prvním grafu je dvojice výsledků, nejdřívě Průzkumník Windows, který je schopen síť vytížit na reálné maximum a o něco později Altap Salamander 3.0 beta 2 x64. Zde je zajímavý poměrně velký rozdíl mezi čtením a zápisem, a také určitá nestabilita rychlosti při čtení.

Následuje test opět v betě, ale tentokrát verzi pro x86. Docela mě zaráží, že podává úplně jiné výsledky než x64 a je zde pro změnu mírně rychlejší čtení než zápis. Tyto výsledky jsou už poměrně slušné, pořád ale poměrně vzdálené výkonu Průzkumníka.

Třetí graf je pak aktuální Salamander 2.54, kde je výkon opravdu bídný, ale tentokrát však symetrický - pouze zde jsem zaregistroval fixní velikost TCP okna, o které jsem mluvil v dřívějších příspěvcích.

altap_summary.png (19.76 KiB) Viewed 13167 times

[Jan Rysavy]

Rychlejší asynchronní algoritmus je implementovaný od Altap Salamander 3.0 beta 3 (PB103).
Otestujte ho prosím na Vašich sítích a pokud narazíte na problémy, dejte nám vědět v novém vlákně. Děkujeme.