pomale kopirovani na sitovych discich

Post by **Jan Rysavy** » 07 Jan 2009, 22:29

Rozdíl mezi protokoly je nám jasný (jinak by Salamander neuměl to co umí). Snažím se získat další záchytné body.

honzajc · Post by **honzajc** » 07 Jan 2009, 22:39

Ja vim, take jsem to nemyslel tak, jak reagujete

Ale nedivte se mi - dotaz pros flashfxp(FTP) kopiruje rychleji nez Salamandr (SMB) k tomu drobek svadel.. .. Ale mozna jsem uplne nekde jinde ja, to rozhodne ani v nejmensim nepopiram.

Kazdopadne ve zkratce novych prispevku:
- na jumbo to nezalezi (zda ano/ne/jaka velikost), mam to overeno na sve siti (ne vuci NAS, ale mezi PC a na ruznych OS)
- vista je poradne rychlejsi nez XP - ale i na nem to je znatelny rozdil (na gigabitu samozrejme a na siti) servant X explorer
- osobne bych se zameril jen a pouze na to co pisou zde:
http://blogs.technet.com/markrussinovic ... 26167.aspx
a na nake dalsi odkazy co jsou v tomto threadu. Dle meho nazoru to opravdu nejspise bude souviset s timto. (viz nase pokusy s velikosti bufferu a pod.)

honzajc · Post by **honzajc** » 07 Jan 2009, 23:00

NEZKOUSEL JSEM !
Ale mrknete na toto: http://www.copyhandler.com/en/introduction.html
Je to opensource, pokud to je ryychlejsi (zkusim ozkouset), mozna by se nasla inspirace .. .. ..

H.

Post by **Jan Rysavy** » 08 Jan 2009, 10:23

Snažím se hledat více směry, některý může vést k výsledkům. I FTP client musí data nějakým způsobem číst a ukládat. Kdyby bylo úzké hrdlo například v ukládání dat na disk, není mezi operací nad SMB a FTP žádný rozdíl.

Za jakékoliv testy, které uděláte, budeme samozřejmě rádi. V případě napodobení chování Explorera z Visty zřejmě nakonec vezmeme debugger a podíváme se, co přesně dělají. Asi si umíte představit, že nejde o práci na několik málo dní. Proto jsme problém zatím odložili.

mikrotom · Post by **mikrotom** » 09 Jan 2009, 08:28

Dobrý den. Jsem moc rád, že se trochu rozproudila diskuse. Zaspal jsem asi 10 příspěvků, tak aspoň ve stručnosti:

K jumbo packetům, FTP přenosům a ostatnímu platí dobře to, co napsal kolega honzajc. Jsou to věci, které sice na první pohled souvisí, ale současný deficit AS podle mého názoru spočívá v jádru kopírovacího mechanismu, nikoli v externalitách.

Jde o to, že Visty po SP1 (s implementovaným SMB 2.0 protokolem) jsou schopny kopírovat soubory po blocích velikosti až 1,7 MB. Na mém oblíbeném blogu o tom vyšel v rámci seriálu "How To Build a Really Fast NAS" článek Part 6: The Vista (SP1). Starší systémy - např. WinXP, byly schopny toto činit vždy po blocích max 64kB (omezení dané použitím protokolu SMB 1.0). Z toho plyne, že největší výkonový nárůst se u systému Vista SP1 dá očekávat, pokud budou kopírovat z (na) jinou mašinu, která také využívá OS s jádrem Vist SP1 (tedy např. i Win2008 server). Jenomže i jiné systémy (např. linux v některých domácích diskových polích) umí Vistám podávat větší bloky dat a pak dochází ke zrychlení i u nich. A toto by bylo potřeba, aby se AS naučil.

Chápu, že většina lidí netlačí svou techniku a infrastrukturu k odpovídajícím výkonům. Mají 100 mbit LANku a nepřijde jim divné, že kopírují soubory po síti pouze 3MB/s. Ono vydolovat adekvátní (třeba opravdu gigabitovou) propustnost z řetězce PC-NIC-SWITCH-ROUTER-NAS již vyžaduje trochu zkušeností, byť mají všechny komponenty tu správnou gigabitovou nálepku. Je potřeba brát v úvahu celou řadu věcí.

Držím palce a doufám, že se to podaří uspokojivě a v rozumném čase vyřešit! Jednoznačně doporučuji soustředit se na to, co popisuje Russinovich ve svém článku Inside Vista SP1 File Copy Improvements. Tam je zakopané jádro pudla. Já rád udělám další i podrobnější měření, třeba včetně FTP AS.

PS: AS nehodlám měnit (na to ho mám příliš rád a pod kůží), ale pro zajímavost jsem zkoušel na netu zjistit, zda existuje vůbec nějaký manažer souborů, který by na tom byl v rychlosti filecopy lépe. Zatím jsem žádný nenašel - navíc jsou to všechno dost obskurní programy.

mikrotom · Post by **mikrotom** » 09 Jan 2009, 08:32

Jan Rysavy wrote:V případě napodobení chování Explorera z Visty zřejmě nakonec vezmeme debugger a podíváme se, co přesně dělají. Asi si umíte představit, že nejde o práci na několik málo dní. Proto jsme problém zatím odložili.

Omlouvám se, pokud jsem úplně mimo. Rozumím tomu jako koza petrželi, ale chlapi, tohle přece musí být popsáno v oficiálních dokumentech od MS, ne? Nejsem programátor, ale než analyzovat debuggerem, raději bych nahlédl do nějakého SDK, pokud existuje a je pro vás dostupné.

Post by **Jan Rysavy** » 09 Jan 2009, 09:12

Děkujeme za další podrobné informace, budou se nám hodit.

Bohužel patříme ke skupině, co není schopná z naší sítě vydolovat maximum, proto asi máme problém to co popisujete reprodukovat. Dokázali byste nám poradit co a jak nastavit? Máme zde 2x Windows Vista (jednou 32b, jednou 64b). Gibaitový switch, který jsme však v rámci pokusů vyřadili a propojili oba stroje přímo. A stejně se rychlosti při kopírovaní přes SMB pohybovaly na nějakých 10MB/s.

Ohledně debuggeru: ostatní programátoři to potvrdí, je tomu skutečně tak. V Microsoft SDK/MSDN člověk najde popis exportovaných funkcí, které Windows dávají aplikacím k dispozici prostřednictvím API. A to je vše. O tom, jak fungují uvnitř, se nikde nedočtete. Russinovichův a pár další insider blogů jsou čestné výjimky. Na implementaci to ale pravděpodobně stačit nebude. Velice by mě překvapilo, kdyby některý program, který si kopírování řeší sám a nevolá pouze SHFileOperation() uměl to, co Russinovich popisuje.

honzajc · Post by **honzajc** » 09 Jan 2009, 10:37

Zdraim opet zde pritomne:-)

TO mikrotom:
- ja nasel, treba freecommander, ale tam jsem si jist, ze pouzivaji primo kopirovaci funkce windows (dokonce tam vidite win dialog kopirovaci.

TO Jan Rysavy:
to je velmi malo, tahle rychlost. Nekde mate chybu.
1) Jakou rychlost sitovky Vam ukazuje windows ? Zkuste natvrdo nastavit rychlost 1Gbit/s.
2) jake tam jsou sitove karty (vyrobce,typ)
3) jake tam jsou disky (ale i pri tom normalnim dneska by melo tak 30 MB byt minimalne !!
4) jak velky soubor kopirujete ?

Honza

Post by **Jan Rysavy** » 09 Jan 2009, 12:13

Pravě jsem začal sepisovat všechny požadované informace, když jsme naměřili 30MB/s. Při opakovaném kopírování 57MB/s. To jsme viděli jenom jednou. Pak už se to vždy ploužilo kolem 10MB/s.

Od té doby jsme měnili NOD32 + ZoneAlarm -> ESET Smart Security (zrovna minulý týden). Máte zkušenost s tím, že by antivirus nebo případně firewall měly takový dopad na rychlost?

Přímo skvělá zpráva je, že problém nyní vidíme (Salamander pomalejší proti Exploreru) na naší síti! Do verze 2.52 beta 1 už to nevtěsnáme, ale po jejím vydání uděláme průzkum a dáme vědět co jsme zjistili.

honzajc · Post by **honzajc** » 09 Jan 2009, 12:24

Jan Rysavy wrote:Pravě jsem začal sepisovat všechny požadované informace, když jsme naměřili 30MB/s. Při opakovaném kopírování 57MB/s. To jsme viděli jenom jednou. Pak už se to vždy ploužilo kolem 10MB/s.

Od té doby jsme měnili NOD32 + ZoneAlarm -> ESET Smart Security (zrovna minulý týden). Máte zkušenost s tím, že by antivirus nebo případně firewall měly takový dopad na rychlost?

Přímo skvělá zpráva je, že problém nyní vidíme (Salamander pomalejší proti Exploreru) na naší síti! Do verze 2.52 beta 1 už to nevtěsnáme, ale po jejím vydání uděláme průzkum a dáme vědět co jsme zjistili.

Tak to je skvele !!
Ano, antivir muze mit na kopirovani velmi znatelny vliv, zavisi to hlavne na:
1) HW pocitace (procesor + diskovy subsystem)
2) typu AV
3) nastaveni AV (co jak cim testuje)
Firewall (personal) by nemel na rychlost mit vliv vubec, neb vetsinou SMB provoz nijak netestuje/neparsuje. To vetsinou dela AV ci ASpam ci ANTIROOTKIT komponenty AV (pokud je v AV reseni firewall).

Pokud budu moci s pokusama treba spesl test buildu, neni problem, testu je mozno udelat hodne, prostredi je rozmanite

Post by **Jan Rysavy** » 09 Jan 2009, 13:12

Na jednom stroji stále běží NOD32, na druhém je nově ESET Smart Security, ale čekám tam stejný engine jako v NOD32. Takže se v podstatě jenom změnil firewall ZoneAlarm -> Smart Security. Je to zvláštní, možná byla příčina ještě jinde. Uvidíme.

Edit: bude->byla

honzajc · Post by **honzajc** » 09 Jan 2009, 13:18

Jan Rysavy wrote:Na jednom stroji stále běží NOD32, na druhém je nově ESET Smart Security, ale čekám tam stejný engine jako v NOD32. Takže se v podstatě jenom změnil firewall ZoneAlarm -> Smart Security. Je to zvláštní, možná bude příčina ještě jinde. Uvidíme.

Problemy bych videl pouze v techto moznostech:
1) AV reseni - zde radim vse AV a FW vypnout
2) HW sitovek - zde dodat ovladace a i s vychozim nastavenim by vse melo behat.

PC nemusite propojovat primo, klidne si tam nechte vas gigabit switch, v nem na 99,8 % chyba nebude

honzajc · Post by **honzajc** » 09 Jan 2009, 13:18

Mozna jeste ve spatnych UTP kabelech (pocitacova sit), ale to nepredpokladam ze byste je meli spatne udelane..

Raptor · Post by **Raptor** » 09 Jan 2009, 13:41

Jan Rysavy wrote:Na jednom stroji stále běží NOD32, na druhém je nově ESET Smart Security, ale čekám tam stejný engine jako v NOD32.

To neni az tak pravda. ESS ci EAV (verze 3) ma nove jadro a novy engine. Bohuzel tato nova verze je mirne pomalejsi nez 2.7x predtim, ale vse je o nastaveni a nejsem si vedom, ze by brzdila operace se soubory. Sam to mam doma.

mikrotom · Post by **mikrotom** » 09 Jan 2009, 22:04

Chlapi, návod jak uspokojivě rozchodit celý řetězec sítě (byť malé) s reálnou gigabitovou propustností je opravdu nad rámec tohoto fóra. Přesto alespoň ve stručnosti:

V prvé řadě si ujasněme rozdíl mezi fyzickou kapacitou pásma gigabitové linky (která může být až 125MB/s) a přenosovou rychlostí kopírování souborů, které musí být zabaleny v nějakém TCP/IP a dále v SMB/FTP atd. Tyto protokoly mají svou režii, takže reálná přenosová rychlost kopírování bude rozhodně nižší než 125MB/s i kdyby vše běželo na 100%. TCP/IP má režii i 10-25%, SMB či FTP jistě také nějakou. Úspěchem je tedy přenos, který dosáhne 100MB/s.
Propustnost fyzické vrstvy propojení doporučuji změřit nějakou vhodnou utilitou, která nebude zkreslena protokoly/antiviry atd. Např. iperf se zdá být vhodný. Instaluje se na obě strany a změří reálnou propustnost (googlujte).
Pak je potřeba si uvědomit, že nikoli vše, co má na sobě nálepku "gbps capable" je zařízení, které je opravdu schopno vytížit gigabitovou linku na dobrý, neřkuli plný výkon. To se týká síťových karet, aktivních prvků i dalších síťových zařízení. Levný switch za 650 Kč rozhodně neobsahuje tak výkonná střeva, aby přehazoval fullduplexně gigabit na 4 portech najednou. Stejně tak je možné, že síťová karta deklaruje připojení 1gbps, avšak sama je napojena ke sběrnici počítače přes úzké hrdlo prostého PCI (časté řešení v noteboocích či na levnějších MB) - PCI-e je pro skutečné vytěžování gigabitové linky nutností.
Dalším faktorem je výpočetní síla procesoru stanice i serveru. Kódování a dekódování TCP/IP stacku je kupodivu většinou běžných síťových karet řešeno skrze CPU počítače. Teprve dražší karty disponují úplným hw offloadem tohoto úkolu. Odtud plyne nezanedbatelná zátěž CPU při zvyšující se náloži gigabitového přenosu.
Velikost packetu (MTU/frame) je také důležitá. Jeho zvýšení ze základních 1500 byte na např. 4k citelně snižuje režii TCP/IP a tudíž zvyšuje propustnost. Pozor však: schopnost pracovat s většími než základními velikostmi paketů musí mít všechny síťové prvky na cestě a na tuto velikost musí být všechny nastaveny. Jde tedy o NIC KLIENTA-SWITCH/ROUTER-NIC SERVERU. V prostředí Windows se u síťových karet nastavuje tento parametr ve vlastnostech ovladače. U aktivních prvků většinou přes správu.
O nutnosti kvalitní kabeláže se raději nebudu více rozepisovat. Jen jedna drobnost za všechny: je nutné používat kabely a zásuvky s úplným propojením všech párů. Gigabitový přenos je využívá všechny. Není to tak, že by jen jel rychleji po standardních 2 párech.
Aktuální a hlavně správné ovladače a firmware jsou samozřejmostí.

To by pro začátek mohlo stačit. Zkuste a dejte vědět. Budeme pokračovat až indikujete, kde by mohl být směr problému, ok?