external/og-aws
1
0
Fork 0
mirror of https://github.com/nickpoida/og-aws.git synced 2025-03-09 15:40:06 +00:00
Code Issues Releases Wiki Activity

Update ru.md

Browse source
This commit is contained in:
Nikolay Poida 2020-03-26 18:18:41 +06:00 • committed by GitHub
parent 3283f6f3d7
commit 3963844ccf
No known key found for this signature in database
GPG key ID: 4AEE18F83AFDEB23
1 changed files with 14 additions and 14 deletions
Download patch file Download diff file Expand all files Collapse all files

28
translations/ru.md
View file

@ -739,20 +739,20 @@ S3
- S3 обладает высокой масштабируемостью, поэтому, в принципе, вы можете получить произвольно высокую пропускную способность. (Хороший пример - [S3DistCp](https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/UsingEMR_s3distcp.html).)
- Однако, обычно вы ограничены пропускной способностью канала между источником и S3 и/или уровнем параллелизма операций.
- Пропускная способность, конечно, самая высокая между AWS и S3(внутри AWS), а также между инстансами EC2 и бакетами S3, которые находятся в одном регионе.
- Bandwidth from EC2 depends on instance type. See the “Network Performance” column at [ec2instances.info](http://www.ec2instances.info/).
- Throughput of many objects is extremely high when data is accessed in a distributed way, from many EC2 instances. It’s possible to read or write objects from S3 from hundreds or thousands of instances at once.
- However, throughput is very limited when objects accessed sequentially from a single instance. Individual operations take many milliseconds, and bandwidth to and from instances is limited.
- Therefore, to perform large numbers of operations, it’s necessary to use multiple worker threads and connections on individual instances, and for larger jobs, multiple EC2 instances as well.
- **Multi-part uploads:** For large objects you want to take advantage of the multi-part uploading capabilities (starting with minimum chunk sizes of 5 MB).
- **Large downloads:** Also you can download chunks of a single large object in parallel by exploiting the HTTP GET range-header capability.
- 🔸**List pagination:** Listing contents happens at 1000 responses per request, so for buckets with many millions of objects listings will take time.
- ❗**Key prefixes:** Previously randomness in the beginning of key names was necessary in order to avoid hot spots, but that is [no longer necessary](https://aws.amazon.com/about-aws/whats-new/2018/07/amazon-s3-announces-increased-request-rate-performance/) as of July, 2018.
- For data outside AWS, [**DirectConnect**](https://aws.amazon.com/directconnect/) and [**S3 Transfer Acceleration**](https://aws.amazon.com/blogs/aws/aws-storage-update-amazon-s3-transfer-acceleration-larger-snowballs-in-more-regions/) can help. For S3 Transfer Acceleration, you [pay](https://aws.amazon.com/s3/pricing/) about the equivalent of 1-2 months of storage for the transfer in either direction for using nearer endpoints.
- **Command-line applications:** There are a few ways to use S3 from the command line:
- Originally, [**s3cmd**](https://github.com/s3tools/s3cmd) was the best tool for the job. It’s still used heavily by many.
- The regular [**aws**](https://aws.amazon.com/cli/) command-line interface now supports S3 well, and is useful for most situations.
- [**s4cmd**](https://github.com/bloomreach/s4cmd) is a replacement, with greater emphasis on performance via multi-threading, which is helpful for large files and large sets of files, and also offers Unix-like globbing support.
- **GUI applications:** You may prefer a GUI, or wish to support GUI access for less technical users. Some options:
- Пропускная способность с EC2 зависит от типа инстанса. Обратите внимание на столбец “Сетевая производительность(Network Performance)” на [ec2instances.info](http://www.ec2instances.info/).
- Пропускная способность чрезвычайно высока при распределенном доступе к данным с множества инстансов EC2. Можно читать или записывать объекты в S3 с сотен или тысяч инстансов одновременно.
- Тем не менее, пропускная способность очень ограничена, когда объекты запрашиваются последовательно с одного инстанса. Отдельные операции занимают много миллисекунд, а пропускная способность для инстансов ограничена.
- Таким образом, для того, чтобы производить множество операций - необходимо использовать несколько рабочих потоков и соединений с отдельных иснстансов, а для еще более крупных задач - использовать множество инстансов EC2.
- **Загрузка несколькими частями:** Для больших объектов вы можете воспользоваться удобством возможности загрузки несколькими чамтями (начиная с минимального куска данных размером в 5 MB).
- **Большие скачивания:** Также вы можете скачать куски одного большого объекта параллельно, благодаря возможности использования заголовка HTTP GET range.
- 🔸**Разбиение списка по страницам:** Просмотр содержимого происходит путем получения 1000 ответов на запрос, таким образом для бакетов со многими миллионами объектов - просмотр займет долгое время.
- ❗**Префиксы ключей:** Ранее требовалась произвольная полсдеовательность в начале имени ключа, чтобы избежать горячих точек(снижения производительности), но теперь это [не является необходимым](https://aws.amazon.com/about-aws/whats-new/2018/07/amazon-s3-announces-increased-request-rate-performance/) по состоянию на июль 2018 года.
- Для данных вне AWS, [**DirectConnect**](https://aws.amazon.com/directconnect/) и [**S3 Transfer Acceleration**](https://aws.amazon.com/blogs/aws/aws-storage-update-amazon-s3-transfer-acceleration-larger-snowballs-in-more-regions/) могут помочь. За использование S3 Transfer Acceleration, вы [платите](https://aws.amazon.com/s3/pricing/) примерно столько же, сколько за 1-2 месяца хранения, за передачу в любом направлении при использовании ближайших входных точек.
- **Приложения для коммандной строки:** Существует несколько путей использования S3 из командной строки:
- Изначально, [**s3cmd**](https://github.com/s3tools/s3cmd) был лучшим иструментом для этой задачи. И он до сих пор массово используется.
- Обычный интерфейс командной строки [**aws**](https://aws.amazon.com/cli/) сейчас прекрасно поддерживает S3 и полезен в большинстве ситуаций.
- [**s4cmd**](https://github.com/bloomreach/s4cmd) - это обновленная замена, с большим акцентом на производительности с использованием многопоточности, что может быть полезно при работе с крупными файлами или большими наборами файлов, а также имеет поддержку Unix-подобного глоббинга, то есть замены символов звездочкой и вопросительным знаком.
- **Приложения с графическим интерфейсом(GUI applications):** Вы можете предпочитать работу с графическим интерфейсом, или вам необходима поддержка доступа через графический интерфейс для пользователей с меньшими техническими навыками. Вот несколько вариантов:
- The [AWS Console](https://aws.amazon.com/console/) does offer a graphical way to use S3. Use caution telling non-technical people to use it, however, since without tight permissions, it offers access to many other AWS features.
- [Transmit](https://panic.com/transmit/) is a good option on macOS for most use cases.
- [Cyberduck](https://cyberduck.io/) is a good option on macOS and Windows with support for multipart uploads, ACLs, versioning, lifecycle configuration, storage classes and server side encryption (SSE-S3 and SSE-KMS).