[freebsd] Синхронизация множества мелких файлов, ncftp-3.2.5 и ftp хранилище в ДЦ Воля

[Олександр Безпалько]

Hi

lftp -R не рассматривал?


On Thu, Mar 9, 2017 at 1:00 PM Vladislav V. Prodan <admin at support.od.ua>
wrote:

>
> Здравствуйте.
>
> Имею задачу синхронизировать ~ 70ГБ  (мелких) файлов
> backup.dc.volia.com - ресолвится в 2 IP. Судя по заставке, там Pure-FTPd
> Пытаюсь так ложить файлы:
>
> ncftpput -R -m -f $config -z -r 70 -d ${local_dir}/debug.log \
>     / \
>     $dir/`ls $dir | egrep -v 'archive|xxxweb100'`
>
> через каждые 5-15 минут получаю примерное:
> 2017-03-09 06:56:28  Could not read reply from control connection -- timed
> out.
> 2017-03-09 06:56:28  ncftpput /ftp/user501: timed out while waiting for
> server response.
> 2017-03-09 06:56:28  ncftpput user502: remote host closed control
> connection.
> 2017-03-09 06:56:28  ncftpput user555: remote host closed control
> connection.
>
> Также почти не работает удаление файлов через ncftpput
>
> Моя машина за натом (PF)
> FreeBSD 11.0-STABLE #0 r314216: Fri Feb 24 22:09:13 EET 2017
>
> правила PF на этой машине:
>
> backup_volia_ip = "{ backup.dc.volia.com }"
> pass out on lagg0 route-to ( lagg0 XXX.XXX.XXX.253 ) from any to {
> $backup_volia_ip }.
>
> Где, XXX.XXX.XXX.253 - IP маршрутизатора (не дефолт!)
>
> На самом маршрутизаторе XXX.XXX.XXX.253  правила PF:
> (FreeBSD 11.0-STABLE #0 r309722: Fri Dec  9 00:51:30 EET 2016 )
>
> backup_volia_ip = "{ backup.dc.volia.com }"
>
> nat on { $ext_if $ext_if_2 } from any to $backup_volia_ip       ->
> ($ext_if_2)
>
> Два внешних интерфейса - $ext_if $ext_if_2, отправляем на бэкап только
> через второй.
>
> переменные в PF дефолтные:
>
> # pfctl -st
> tcp.first                   120s
> tcp.opening                  30s
> tcp.established           86400s
> tcp.closing                 900s
> tcp.finwait                  45s
> tcp.closed                   90s
> tcp.tsdiff                   30s
> udp.first                    60s
> udp.single                   30s
> udp.multiple                 60s
> icmp.first                   20s
> icmp.error                   10s
> other.first                  60s
> other.single                 30s
> other.multiple               60s
> frag                         30s
> interval                     10s
> adaptive.start             6000 states
> adaptive.end              12000 states
> src.track                     0s
>
> Подскажите как нормализовать ситуацию.
> C другими ftp хранилищами скрипт работает...
>
> --
>  Vladislav V. Prodan
>  System & Network Administrator
>  support.od.ua
> _______________________________________________
> freebsd mailing list
> freebsd at uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://mailman.uafug.org.ua/pipermail/freebsd/attachments/20170309/aaf424c6/attachment.html>