Borgmatic
Borgmatic это обертка вокруг Borg
В документации Borg есть такой раздел https://borgbackup.readthedocs.io/en/stable/quickstart.html#automating-backups, в нем предоставлен скрипт для автоматизации бэкапирования
По сути Borgmatic это и есть подобный скрипт - красивая запускалка для Borg
Можно установить через пакетный менеджер
Установится скорее всего старая версия в которой нет команды borgmatic config generate
Надо использовать отдельный скрипт generate-borgmatic-config (он уже идет в пакете borgmatic)
Запускаем:
xxxxxxxxxx1
root@borg-server:~# generate-borgmatic-config2
Generated a sample configuration file at /etc/borgmatic/config.yaml.3
4
Please edit the file to suit your needs. The values are representative.5
All fields are optional except where indicated.6
7
If you ever need help: https://torsion.org/borgmatic/#issuesПолучаем огромный конфиг в котором все закомментировано и прокомментировано
То есть мы получаем базу на основе которой можно собирать свой конфиг
Ansible Playbook
Предлагаю использовать следующий плейбук
xxxxxxxxxx1
---2
3
nameBorg4
hostsall5
becometrue6
vars7
borg_data_dir/opt/data/borg8
borg_encryption_passphraseCHANGEME9
borg_repository"root@{{ hostvars[groups['borg'][0]].ansible_host }}:{{ borg_data_dir }}/{{ inventory_hostname }}"10
borg_ssh_key_file_path"/root/.ssh/id_ed25519"11
borg_ssh_command"ssh -o StrictHostKeyChecking=accept-new"12
borg_install_method"pip"13
# borg_source_directories: # this overrides values from inventory14
# - /home15
# - /etc16
borg_exclude_patterns17
"{{ borg_data_dir }}"18
tasks19
name"Ensure {{ borg_data_dir }} exists"20
ansible.builtin.file21
path"{{ borg_data_dir }}"22
statedirectory23
mode"0755"24
ownerroot25
tags26
never27
backup_init_repo28
29
nameConfigure Borgbackup and Borgmatic30
tags31
always32
install_backup33
ansible.builtin.include_role34
nameborgbase.ansible_role_borgbackup35
apply36
tags37
always38
nameCopy SSH-Key to Target borg_repository and Init Repo39
tags40
never41
backup_init_repo42
block43
nameRead ssh key44
ansible.builtin.slurp45
src"{{ borg_ssh_key_file_path }}.pub"46
registerbackup_local_ssh_key47
48
nameSet authorized key taken from file49
ansible.posix.authorized_key50
user"{{ borg_repository | regex_search('(.*)@', '\\1') | first }}" # part a)51
statepresent52
key_options"command=\"borg serve --restrict-to-path borg_data_dir \",restrict"53
key"{{ backup_local_ssh_key['content'] | b64decode }}"54
comment"{{ inventory_hostname }}"55
delegate_to"{{ borg_repository | regex_search('@(.*):', '\\1') | first }}" # part b)56
57
nameInit repository58
ansible.builtin.command59
cmd"sudo -u root borgmatic init --encryption none --append-only"Ansible Inventory
Инвентори для этого плейбука прост (в базовом случае)
Главное определить группу borg и один хост в ней
Этот хост будет хранить бэкапы
Группа nodes может называться как угодно, потому что плейбук катится на all и использует хост из borg как адрес borg_repository в конфиге borgmatic
Ниже пример ini-inventory:
xxxxxxxxxx1
[borg] # хост из этой группы будет Borg-сервером2
borg-server ansible_host=62.84.119.863
4
[nodes] # не важно как называется эта группа, плейбук катится на 'all'5
borg-client-1 ansible_host=51.250.87.2346
borg-client-2 ansible_host=51.250.66.1847
borg-client-3 ansible_host=51.250.6.55В самом низу страницы описан пример yaml-inventory который позволяет прописать кастомные параметры разным хостам (можно сделать и полноценный инвентори с host_vars/group_vars, тут как душе угодно)
Commands
Прикатить это все можно так
Сперва установим официальную роль конкретной версии (в моем случае были машины с ubuntu-18, актуальная версия роли не катится на такое старье):
xxxxxxxxxx1
ansible-galaxy role install borgbase.ansible_role_borgbackup,v0.9.4 --force # в моем случае были машины с ubuntu 18.04, поэтому пришлось использовать старую версию роли (новая не катится на такие старые машины)Далее катим плейбук сперва базово, потом с тэгом который синхронизирует ssh-ключ и создаст репы на сервере из группы borg:
xxxxxxxxxx1
ANSIBLE_HOST_KEY_CHECKING=false ansible-playbook -i inventory.mkrf-test.yaml -kK playbook.yaml2
ANSIBLE_HOST_KEY_CHECKING=false ansible-playbook -i inventory.mkrf-prod.yaml -kK -t backup_init_repo playbook.yamlЧто бэкапить задается через переменную borg_source_directories
Проверка:
xxxxxxxxxx1
root@mon-01:~# borgmatic2
Fri Dec 22 17:44:08 MSK 2023 - Starting backup.3
Fri Dec 22 17:44:08 MSK 2023 - Run pg_dumpall command.4
could not change directory to "/root": Permission denied5
Fri Dec 22 17:44:37 MSK 2023 - Command pg_dumpall is done.6
Ignoring check_last option, as "archives" is not in consistency checks.7
Ignoring consistency prefix option, as "archives" is not in consistency checks.8
Fri Dec 22 18:32:27 MSK 2023 - Remove pg_dumpall file.9
Fri Dec 22 18:32:27 MSK 2023 - Finished backup.10
11
root@mon-01:~# cat /etc/cron.d/borgmatic12
PATH="/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin"13
#Ansible: borgmatic14
53 4 * * * root borgmatic -c /etc/borgmatic/config.yaml -C -p15
#Ansible: borgmatic-check16
53 22 27 * * root borgmatic -c /etc/borgmatic/config.yaml -kxxxxxxxxxx1
root@vm-bkpp-01:~# du -sch /opt/data/borg/vm-mon-01/2
18G /opt/data/borg/vm-mon-01/3
18G total4
5
root@vm-bkpp-01:~# borg list /opt/data/borg/vm-mon-01/6
Warning: Attempting to access a previously unknown unencrypted repository!7
Do you want to continue? [yN] y8
mon-01-2023-12-22-174440 Fri, 2023-12-22 17:44:41 [dd517ed98188876bc68704f5882c1610421aa9e742584ee4acb27ff8e5ab7a89]9
10
root@vm-bkpp-01:~# borg list /opt/data/borg/vm-mon-01/::mon-01-2023-12-22-174440 | head11
drwxr-xr-x root root 0 Fri, 2023-12-22 17:39:38 etc12
drwxr-xr-x root root 0 Tue, 2019-12-03 12:12:55 etc/update-manager13
-rw-r--r-- root root 235 Thu, 2019-06-06 21:46:11 etc/update-manager/meta-release14
-rw-r--r-- root root 807 Wed, 2019-06-19 19:49:56 etc/update-manager/release-upgrades15
drwxr-xr-x root root 0 Wed, 2019-06-19 19:49:56 etc/update-manager/release-upgrades.d16
drwxr-xr-x root root 0 Tue, 2019-12-03 11:54:23 etc/update-notifier17
-rw-r--r-- root root 0 Tue, 2019-12-03 11:54:23 etc/update-notifier/hooks_seen18
drwxr-xr-x root root 0 Tue, 2019-12-03 11:53:08 etc/gss19
drwxr-xr-x root root 0 Fri, 2019-01-11 18:48:01 etc/gss/mech.d20
drwxr-xr-x root root 0 Tue, 2019-12-03 11:53:22 etc/polkit-1Ansible Inventory YAML
xxxxxxxxxx1
borg2
hosts3
vm-bkp-014
ansible_host192.168.50.1405
nodes6
hosts7
grun-018
ansible_host192.168.50.1299
vm-db-0110
ansible_host192.168.50.12411
borgmatic_hooks12
on_error13
echo "`date` - Error while creating a backup."14
before_backup15
echo "`date` - Starting backup."16
echo "`date` - Run pg_dumpall command."17
mkdir -p /tmp/pg_dumpall; chmod 777 /tmp/pg_dumpall; sudo -u postgres pg_dumpall -f "/tmp/pg_dumpall/`hostname`_`date +%d-%m-%Y`_dumpall.sql"18
echo "`date` - Command pg_dumpall is done."19
after_backup20
echo "`date` - Remove pg_dumpall file."21
rm /tmp/pg_dumpall/`hostname`_`date +%d-%m-%Y`_dumpall.sql22
echo "`date` - Finished backup."23
borg_source_directories24
/etc/25
/home/26
/tmp/pg_dumpall/27
vm-docs-0128
ansible_host192.168.50.12529
borg_source_directories30
/etc/31
/home/32
/opt/33
vm-glog-0134
ansible_host192.168.50.12735
borgmatic_hooks36
on_error37
echo "`date` - Error while creating a backup."38
before_backup39
echo "`date` - Starting backup."40
echo "`date` - Run mongodump command."41
mkdir -p /tmp/mongodump; chmod 777 /tmp/mongodump; mongodump --gzip --archive=/tmp/mongodump/`hostname`_`date +%d-%m-%Y`_mongodump.gz42
echo "`date` - Command mongodump is done."43
after_backup44
echo "`date` - Remove mongodump file."45
rm /tmp/mongodump/`hostname`_`date +%d-%m-%Y`_mongodump.gz46
echo "`date` - Finished backup."47
borg_source_directories48
/etc/49
/home/50
/tmp/mongodump/51
/usr/share/elasticsearch/52
/usr/share/graylog-server/53
vm-k8sm-0154
ansible_host192.168.50.12155
vm-k8sw-0156
ansible_host192.168.50.12257
vm-k8sw-0258
ansible_host192.168.50.12359
vm-mon-0160
ansible_host192.168.50.12861
borgmatic_hooks62
on_error63
echo "`date` - Error while creating a backup."64
before_backup65
echo "`date` - Starting backup."66
echo "`date` - Run pg_dumpall command."67
mkdir -p /tmp/pg_dumpall; chmod 777 /tmp/pg_dumpall; sudo -u postgres pg_dumpall -f "/tmp/pg_dumpall/`hostname`_`date +%d-%m-%Y`_dumpall.sql"68
echo "`date` - Command pg_dumpall is done."69
after_backup70
echo "`date` - Remove pg_dumpall file."71
rm /tmp/pg_dumpall/`hostname`_`date +%d-%m-%Y`_dumpall.sql72
echo "`date` - Finished backup."73
borg_source_directories74
/etc/75
/home/76
/var/lib/grafana/77
/tmp/pg_dumpall/78
/opt/79
borg_exclude_patterns80
/opt/data/81
82
vm-mq-0183
ansible_host192.168.50.12684
all85
vars86
ansible_useruser # от этого пользователя ансибл спросит пароль87
borg_source_directories88
/etc89
/home
No Comments