Downtown San DiegoDowntown San Diego // 2017-04-01

Бекап фото-відео в «хмарах» (продовження)

Пройшло вже 4 роки з часу написання допису Бекап фото-відео в «хмарах».

Коротко про те, що сталося за цей час

  • Розмір архіву зріс майже на 3ТБ, кількість файлів — на 162к
  • Google Drive: бонусне місце закінчилося
  • Flickr: зник безкоштовний план
  • Google Photos: зʼявилося необмежене місце завдяки Google Pixel, але скоро знову зникне
  • Amazon: за кілька місяців зникне доступ до API
  • Box: місце майже закінчилося

Бекап
Розмір архіву зростав на 700-800Гб в 2016-2019 роках, але цього року назбирається лише біля 500Гб через пандемію. З одного боку ситуація погіршилася з появою двох Google Pixel в родині майже 3 роки тому. З іншого боку ми просто стали менше знімати на дзеркалку та GoPro. В цілому ситуація стабільна, хіба максимальний розмір файлу досяг 10Гб (годинну лекцію про Галицьку кухню не хотілося розбивати на частини).

Flickr
Безкоштовний 1Тб на Flickrʼі закінчився разом з Yahoo.
Verizon спочатку купив усі активи Yahoo а потім продав Flickr компанії SmugMug.
Нічого не маю проти SmugMug але безкоштовне місце ніяк не вписується в їх бізнес модель.
RAW файли вони не підтримують тому я не бачу сенсу платити $50 в рік.

Google Drive
Як і очікувалося, 5Тб на 2 роки закінчилися. Усі файли були поступово видалені в процесі завантаження на Google Photos.

Google Photos
Єдиний новий сервіс за ці роки.

Суть в тому, що будь-які фото-відео файли (включаючи RAW фотки) в оригінальній якості, завантажені через програму Google Photos на Google Pixel, не враховуються в ліміт. На жаль, це буде тривати лише до січня 2021 року (3 роки), потім нові файли в оригінальній якості почнуть враховуватися в ліміт.

Заново завантажити 5Тб телефоном у мене вийшло за півроку (так само як ті нещасні 300Гб в 2012 році). Спочатку я планував закидати файли на телефон через кабель, але це виявилося не дуже практично. Потім я почав використовувати FTP Server на телефоні та програму lftp на Synology NAS і процес пішов значно швидше — поки одні файли завантажуються з NASʼу на телефон, другі вже завантажуються з телефона на Google Photos, треті видалялися.

Єдиний суттєвий недолік — Google Photos API. Раніше фотки були доступні через Google Drive API але в липні 2019 року Ґуґл вирішив, що це вже занадто і зупинив синхронизацію між Google Photos та Google Drive.
Єдиний спосіб дізнатися, що саме було завантажено, це використовуючи Google Photos API.

Недоліки Google Photos API в порівнянні з Google Drive API:

  • файли, завантажені сторонньою програмою (Google Photos на телефоні), не можна додати в папку власним скриптом
  • немає пошуку за іменем файлу, є лише за датою (деякі фотки мають неправильні дати)
  • показується лише перша фотка в серії (режим «портрет» на телефоні створює серію з 2х фоток)
  • не можна дізнатися розмір файлу або скачати оригінал за допомогою скрипта (інформація про місцеположення фотки вирізається, відео перекодовується)

Amazon Photos
Підписка Amazon Prime включає в себе збереження фотографії (включаючи RAW фотки) в оригінальній якості без обмежень. Але Amazon методично прибирає усі способи робити це автоматично. Спочатку вони заблокували мою «програму» для роботи з API, але мені вдалося витягти API ключі з NASʼу і продовжити використовувати власні скрипти. Восени дійде черга до Synology Cloud Sync, звідки я взяв ключі, і в мене зовсім зникне доступ до API. Можна і далі користуватися програмою від Amazon, але я не знаю, наскільки це буде зручно в моєму випадку. Можливо доведеться робити бекап вручну через браузер (та невідомо як слідкувати за змінами старих файлів).

Box
У мене є 80 акаунтів по 50Гб кожен, тобто мені мало бути доступно біля 4Тб місця, але я завантажив майже 6Тб — через баг в їх системі деякі акаунти звітують про 50Гб але фактично заповнені на 100Гб. На жаль, це не могло тривати вічно тому скоро я вже не зможу туди заливати.

Результат
Система бекапу і далі якось працює але кількість сервісів за ці роки значно зменшилась. Box та Mega мають усі файли, Google Photos, Amazon Photo, Mail.ru та Onedrive в сумі мають 2 копії кожного файлу (на Amazon Photos немає відео, на Google Photos – деяких екзотичних форматів та xmp).
Тобто на даний момент я маю по 4 копії кожного файлу, що поки цілком достатньо для тривалого зберігання.

Майбутнє
Неможливо вічно використовувати усі ці сервіси — місце або вже закічилося (Box), або закінчиться наступного року (Google Photos, Mega), або його мало для повного бекапу (Mail.ru, OneDrive), або зникне доступ до API (Amazon).

Єдиним довготривалим рішенням є спеціалізовані сервіси для архівування даних:

  • Amazon Glacier Deep Archive
  • Google Cloud Archive Storage
  • Microsoft Azure Archive Storage

Ціна за зберігання 1Тб даних — біля $1 на місяць, але це не включає інші платні операції.
З іншого боку ціна доступу до даних є суттєвою: 6Тб трафіку з Амазону буде коштувати біля $500.
Я поки остаточно не вирішив, чи є в цьому сенс. Напевне якщо зникне доступ до Google Photos та Amazon Photos то перейду на їх «дорослі» аналоги.