Storages

WAL-G может сохранять бэкапы на S3, Google Cloud Storage, Azure, Swift, удаленный хост (через SSH) или на локальную файловую систему

S3

Чтобы wal-g мог подключиться к amazon s3 должны быть проставлены следующие переменные:

• WALG_S3_PREFIX (например s3://bucket/path/to/folder) (можно и WALE_S3_PREFIX)

WAL-G определяет aws-креды как и другие aws тулзы. Ты можешь проставить переменные AWS_ACCESS_KEY_ID и AWS_SECRET_ACCESS_KEY (опционально с AWS_SESSION_TOKEN), или прописать их в файл ~/.aws/credentials (опционально с AWS_PROFILE), или ты можешь не прописывать ничего, тогда креды будут получены от сервиса метаданных

Опциональные переменные:

• AWS_ROLE_ARN, AWS_ROLE_SESSION_NAME - амазоновские штуки
• AWS_REGION (например us-west-2) - WAL-G может автоматически определять регион бакета через амазон используя s3:GetBucketLocation, но если ты желаешь обойти вызов этого API то можешь указать через переменную
• AWS_ENDPOINT - переопределяет дефолтный хостнейм для подключения к S3-совместимому сервису (например http://s3-like-service:9000)
• AWS_S3_FORCE_PATH_STYLE - включает path-style addressing (http://s3.amazonaws.com/BUCKET/KEY) при подключении к S3-совместимому сервису недостаточно поддержки sub-domain style bucket URLs (http://BUCKET.s3.amazonaws.com/KEY). По умолчанию стоит false
• WALG_S3_STORAGE_CLASS, WALG_S3_SSE, WALG_S3_SSE_KMS_ID, WALG_CSE_KMS_ID, WALG_CSE_KMS_REGION - разные амазоновские штуки
• WALG_S3_RANGE_BATCH_ENABLED - позволяет, при проблемах с сетью, продолжать загружать с уже загруженной точки (а не с начала). Это полезно при больших бэкапах, которые грузятся часами
• WALG_S3_RANGE_MAX_RETRIES - при включенной предыдущей опции, эта опция задает кол-во ретраев (по умолчанию 10)
• WALG_S3_USE_LIST_OBJECTS_V1 - по умолчанию wal-g использует метод ListObjectsV2, но некоторые S3-совместимые хранилища могут не поддерживать его. Если установить эту опцию в true, то wal-g будет использовать просто ListObjects
• WALG_S3_MAX_RETRIES - позволяет переопределить дефолтный лимит ретраев для работы по S3 (по умолчанию 15)

GCS

https://wal-g.readthedocs.io/STORAGES/#gcs

Azure

https://wal-g.readthedocs.io/STORAGES/#azure

Swift

https://wal-g.readthedocs.io/STORAGES/#swift

File system

Чтобы wal-g сохранял бэкапы на файловую систему, нужно указать переменную WALG_FILE_PREFIX

WALG_FILE_PREFIX=/tmp/wal-g-test-data

SSH

Чтобы wal-g сохранял бэкапы по ssh, нужно указать следующие переменные

WALG_SSH_PREFIX='ssh://localhost/walg-folder'
SSH_PORT
SSH_USERNAME
SSH_PASSWORD
SSH_PRIVATE_KEY_PATH