Régler les performances des transferts

S3Client exécute plusieurs opérations en parallèle et peut découper les gros objets en parties ou en plages d’octets. Le débit dépend du disque, du réseau et des limites du service. Augmenter le nombre d’opérations simultanées sollicite davantage ces ressources et ne garantit pas un transfert plus rapide.

Ouvrir et enregistrer les réglages#

1. Ouvrez Tools > Options....
2. Choisissez Operations pour la concurrence et les téléchargements par plages, ou General > Multipart transfers pour le seuil et la taille des parties.
3. Modifiez les valeurs concernées.
4. Cliquez sur OK pour enregistrer, ou sur Cancel pour abandonner les changements.
5. Lancez un nouveau transfert et observez sa progression. Les transferts déjà préparés peuvent conserver leur plan de découpage initial.

Les valeurs suivantes sont les défauts d’une nouvelle configuration ; une configuration existante peut contenir d’autres réglages. MiB signifie 1048576 octets.

Concurrence globale et par transfert#

Dans Operations :

Avec les valeurs par défaut, un fichier envoyé en plusieurs parties peut avoir jusqu’à 4 parties en cours d’envoi. Envoyer 4 fichiers de cette façon demanderait jusqu’à 16 envois simultanés. La limite globale de 15 opérations empêche de tous les lancer à la fois. Les autres opérations qui lisent ou écrivent des fichiers sur votre ordinateur partagent cette limite et peuvent donc réduire le nombre de parties envoyées en même temps.

Les actions de l’interface, comme afficher le contenu d’un dossier S3, ont leur propre limite : Maximum number of concurrent operations for the GUI.. Elles ne comptent pas dans les deux premières limites du tableau.

Si vous copiez un fichier entre deux comptes distincts configurés dans S3Client et que le service S3 réalise directement la copie en plusieurs parties, celles-ci sont copiées l’une après l’autre. Augmenter Maximum number of active parts per multipart transfer: n’accélère donc pas ce type de copie.

Les aperçus S3 d’images, PDF et médias ont leurs propres réglages dans Preview, dont Maximum concurrent requests per preview:. Consultez les aperçus pour ajuster leurs limites.

Seuil multipart et taille des parties#

Dans General > Multipart transfers :

Le seuil s’applique aux envois locaux et aux copies S3 vers S3. Un objet de taille supérieure ou égale peut utiliser multipart lorsque le compte le permet. Les limites du service peuvent imposer multipart indépendamment de ce seuil. La taille préférée sert à préparer les nouvelles parties ; S3Client l’augmente si nécessaire pour respecter les limites de taille et de nombre de parties.

Dans File > Accounts... > Edit... > Capabilities, Multipart upload doit correspondre à la prise en charge réelle de la destination. Une copie de parties côté serveur exige également Multipart server-side copy et une copie directe compatible. Ces capacités n’autorisent pas les requêtes à elles seules : les permissions d’initiation, d’envoi, de finalisation et de nettoyage doivent être disponibles.

Des parties plus petites multiplient les requêtes ; des parties plus grandes augmentent la quantité de données traitée à la fois. La compression gzip change la taille envoyée et peut modifier le découpage. Un relais S3 vers S3 utilise aussi la mémoire et peut utiliser des fichiers temporaires sur votre ordinateur.

Téléchargements par plages#

Dans Operations, Parallel download threshold: vaut 8 MiB par défaut et accepte de 1 à 1024 MiB. Les fichiers dont la taille atteint ce seuil peuvent être téléchargés par plages simultanées si la limite de plages est supérieure à 1 et si S3Client peut vérifier qu’elles lisent la même version du fichier, grâce à son ETag ou à un identifiant de version utilisable.

S3Client assemble les plages d’octets avant de rendre le fichier destination disponible. Ce travail utilise la mémoire ou un fichier temporaire dans le dossier destination. Si une réponse réussie du service ne correspond pas à la plage d’octets demandée, S3Client peut reprendre le téléchargement en une seule requête. Une erreur de permissions, un encodage incohérent ou une source modifiée reste une erreur.

Un objet annoncé avec Content-Encoding: gzip est décompressé après lecture ; sa taille locale peut dépasser celle transférée. Préservez l’espace nécessaire au contenu final et aux fichiers temporaires.

Observer les effets#

Comparez un transfert représentatif avant et après un réglage, avec les mêmes fichiers et le même service. Observez la colonne Transfer, le temps total, les erreurs du service et l’utilisation du disque, du réseau et de la mémoire. La progression d’un dossier peut inclure des fichiers ignorés : elle ne mesure pas à elle seule le débit réseau.

Réglez la concurrence locale si le disque sature, la concurrence cloud si le service limite les requêtes, et les parties ou plages si un gros fichier utilise mal la connexion. Changez un groupe de paramètres à la fois pour identifier son effet. Le coût de journalisation détaillée et de compression gzip peut aussi peser sur une mesure.