Низкая скорость копирования большого количества мелких файлов по сети.Как это пофиксить ?

Решил я тут билд анрила с одного компа на другой через локалку переслать.
Там 115Гигов копируется уже часа три.
ССД на обоих компах.Скорость при копировании с диска на диск на одном и на другом компе проверял, и она выше значительно.
Большие файлы передаются почти на максимальной скорости(Гигабит\с).Но когда папка содержит много мелких файлов скорость падает ниже мегабайта /с через 7zFM или проводник.
Поиск в интернете не помог, нагуглил софт robocopy GUI вот ей и копирую с компа А на общую папку компа Б уже третий час, а скорость она не показывает только полосу процента.
ОС разные, на компе А седьмая ультимейт винда с обновами, а на Б 10 про воркстейшон.

Зазипуй/раззипуй. Тем более обе тачки виндовые - там встроенный зип

Dmitry_Milk
> Зазипуй/раззипуй.
Очевидный и говёный костыль.

IGamedevStudio
> через локалку переслать.
> Там 115Гигов копируется уже часа три.

Если скорость локалки 100Мбит, то в секунду передаётся грубо 10Мбайт, т.е. 115000 мегабайт будет передаваться 11500 секунд или 191 минуту или 3,19 часа.
Всё сходится.

=A=L=X=

Кстати да, проблема реально существует и решения сам MS не предлагает: https://learn.microsoft.com/en-us/windows-server/storage/file-ser… file-transfer

Ну только попробовать еще антивирус отключить если есть, но в целом это ожидаемо.

=A=L=X=
> Ну только попробовать еще антивирус отключить если есть
Да он вроде и так отключен.Большие файлы двигаются на максимальной скорости ведь, значит антивирус их не задерживает даже если он где то сидит скрытно.
Каспер или аналоги не установлены, нафиг надо эти сканеры ставить всё равно я же их отключу когда буду вирусню ставить)))

IGamedevStudio
напиши софтину которая будет упаковывать мелкие файлы в один архив без сжатия на лету и передавать принимающей софтине на другом компе, и та уже в свою очередь пусть занимается "распаковкой" и записью на диск. Если ты переживаешь за "излишнее" использование своих ссд и не хочешь делать упаковку/распаковку с записью архивов на диск. Как раз за 3 часа управишься.

есть довольно древняя утилита под названием tar, так что можно сэкономить три часа, тем более что их можно провести интереснее в преддверии

#!
есть еще способ без всяких утилит, отсоединяешь винт и подключаешь к нужному компу. Этап с копированием по сети успешно преодолен :)

Aroch
Это какая-то магия, не верю что сработает, нужны тесты сравнения скорости передачи данных классическим и этим способами.

IGamedevStudio
> Большие файлы двигаются на максимальной скорости ведь, значит антивирус их не
> задерживает даже если он где то сидит скрытно.

Там корень проблемы в том, что по протоколу Samba отправляющая файл сторона сперва отправляет запрос на создание файла и только получив ответ с противоположной стороны о том что создать его получилось (например не случилось конфликтов имён) начинает передавать данные в этом файле. Это создаёт некоторую задержку на отправке каждого файла, латентность так сказать. Поэтому антивирус просто перехватывая создание файла насчёт того чтобы проверить что к чему и не системный ли это файл еще может увеличить эту задержку. В итоге мультипликативный эффект и сеть большую часть времени просто простаивает ожидая этих согласований на большом количестве мелких файлов.
Не лечится.

Just rsync.

А если серьёзно как это решают на фирмах где юзают винду ?
Не я понимаю конечно что мелкософты дураки и всё такое.Но есть же куча всяких офисных фирм с обезъянами в роли сисадминов, они это как то решают, или может тупа качают репак винды от васянов с торрентов ?

IGamedevStudio
> А если серьёзно как это решают на фирмах где юзают винду ?
Никто уже не использует виндовскую сеть.

Полно всяких облачных сервисов, которые тебе за три копейки обеспечат доступ к файлам где угодно.
для разработчиков уже придумали git и lfs.

Админы как пользовались ssh так и продолжают им пользоваться.