Адрес для входа в РФ: exler.world

Показательная история с крупнейшим провайдером

29.03.2023 13:00  12231   Комментарии (123)

Я читал про историю с крупнейшим европейским хостинг-провайдером OVHcloud, чей дата-центр SBG2 загорелся в ночь на 10 марта 2021 года, сгорел почти полностью, при этом также сильно пострадал соседний дата-центр SBG1. 

В OVHcloud говорили, что пострадало где-то 15 тысяч клиентов, однако компания Data Centre Dynamic утверждала, что пострадало около 65 тысяч клиентов, многие из которых потеряли все свои данные и, соответственно, бизнес.

При этом там сразу начались серьезные скандалы, потому что OVHcloud в качестве компенсаций потерь предлагала только ваучеры на получение их провайдерских услуг на сумму в 900 евро.

А доклад местной пожарной службы, опубликованный через год после происшествия, просто шокировал: в дата-центре были деревянные перекрытия, отсутствовала автоматическая система пожаротушения, отсутствовала возможность централизованного отключения питания, система вентиляции способствовала распространения огня - в общем, сплошная жесть.

Против OVHcloud были поданы коллективные и индивидуальные иски, и вот некоторые результаты. При этом выяснились совершенно удивительные вещи:

Так, компания Bati Courtage, занимающаяся коммерческой недвижимостью, использовала VPS и в результате пожара потеряла веб-сайт, а также данные клиентов, информацию о франшизах и сведения подрядчиках. Всё это было потеряно потому, что оплаченные резервные копии хранились в том же сгоревшем ЦОД. Компания потребовала €6,5 млн, но суд обязал выплатить €100 тыс., поскольку договором предусматривалось, что копии просто будут храниться в помещении, «физически изолированном» от VPS, а не в каком-то другом ЦОД.

В случае с Bluepad, предоставлявшей SaaS-услуги, компания платила за рабочий сервер в SBG1 и резервный в SBG2, но оказалось, что оба на деле находились в SBG2. Более того, OVHcloud буквально уничтожила данные Bluepad трагикомическим образом. Информация сохранилась после пожара, но инженеры OVHcloud включили сервер до его возвращения владельцам и автоматический скрипт, признав данные «устаревшими», удалил их, оставив Bluepad ни с чем. Bluepad потребовала компенсацию в размере €330 тыс.

Гениально, да? Люди платили большие деньги за хранение резервных копий в другом дата-центре - их хранили в одном. И даже когда хранили в другом, тот находился по соседству с первым и пострадал вместе с ним. А уж уничтожение чудом сохранившихся данных скриптом - это совершенно гениально!

Какой вывод? Не храните, граждане, все яйца у одного провайдера! Делайте бэкапы в другие места - так намного надежнее! Даже у самого крупного провайдера могут погореть ваши данные, причем, как показала практика, даже в том случае, если вы специально оплачиваете резервное хранение.

Комментарии 123

В давние, еще дооблачные времена, у меня в презентациях "самой лучшей в мире СУБД" всегда был слайд о пользе и важности резервных копий (опции тоже надо продавать) с весьма мотивирующим фактом:

"97% компаний, полностью потерявших свою рабочую базу данных, теряют клиентов и разоряются в течении года."
30.03.23 14:26
0 1

Используя облака, ты доверяешь свои данные дяде под честное слово. Даже если в договоре прописано всё, включая ядерную войну. Обязательно найдётся умник, который бекапы будет хранить на том же СХД, где и основные данные. А с него какой спрос?
"- Вы уронили бомбардировщик стоимостью 2 миллиарда долларов!
- Да. И я выплачиваю за это по десятке с каждой зарплаты." (с) Hot Shots
30.03.23 21:30
0 0

Облака, белогривые лошадки!
Облака, что вы мчитесь без оглядки?
Не смотрите вы, пожалуйста, свысока,
А по небу прокатите нас, облака!
29.03.23 22:25
0 0

Насчет деревянных перекрытий как-то очень сомнительно. ИМХО такие перекрытия могут быть только в очень старых домах или в современных дачах/коттеджах. В зданиях как на фото обычно монолитные железобетонные перекрытия.
29.03.23 22:18
0 2

может, перегородки имелись в виду?
29.03.23 22:23
0 1

может, перегородки имелись в виду?
Ну и перегородки из дерева тоже в зданиях подобного назначения не делают.
30.03.23 01:41
0 0

Переоблицованая старая фабрика?
30.03.23 09:06
0 3

У них в этом датацентре сервера стоят в морских контейнерах с кондиционерами.
02.04.23 04:34
0 0

Ну, вообще-то, у бизнеса мог бы быть disaster response plan, и не только в отношении своих заводов и пароходов, но и для внешних дата-центров.
29.03.23 18:19
0 3

29.03.23 17:20
0 8

Ага
29.03.23 17:26
0 8

A less extreme option: have another coffee.
29.03.23 22:34
0 2

Бакап Шрёдингера: ты не знаешь, жив он или нет пока не нужно восстановить.
gab
29.03.23 17:18
0 0

Работал у нас одни админ, которых хранил бэкапы на одном диске с базой.
29.03.23 16:53
0 0

29.03.23 16:45
0 18

Свежачок. Пользуемся услугами одной известной компании по сбору логов и предоставлению услуг мониторинга. Произошло некое событие, все правила были определены верно и выполнились - а нотификация пришла только через полтора часа. Ответ саппорта "к сожалению, мы не ведем логов нотификаций и не можем установить причину задержки".
29.03.23 15:35
0 0

А SLA что говорит?
29.03.23 15:41
0 0

Суть не в SLA - хотя он явно не "90 минут". Суть в том, что компания по обработке логов и метрик - не пишет (или не хранит) логи своих собственных сервисов.
30.03.23 00:26
0 0

Как это не в SLA? Суть именно в нём.

Хранят ли они что-то и как – это их внутреннее дело, оно вообще никого не касается, если не оговорено иного (например, впн обещает не хранить логи, а хранит). Всё, что они должны, это обеспечивать выполнение контракта. Ответ саппорта вообще может быть враньём по сотне причин, от не владения вопросом до нежелания выносить неприглядные детали на публику.

Только SLA.
30.03.23 08:35
0 0

И как это все реализовать? Шифрование, еще и хранение на двух серваках и кто их знает, купишь облачный хостинг в разных местах, а окажется что они в одном..
29.03.23 15:15
0 0

Хард драйвы очень дешёвые. Можно локально бэкапить. Сто терабайт будет стоить всего около $1000.
29.03.23 15:38
0 3

И как это все реализовать? Шифрование, еще и хранение на двух серваках и кто их знает, купишь облачный хостинг в разных местах, а окажется что они в одном..
арендовать место у большой тройки в заведомо другом регионе.
29.03.23 15:40
0 0

Хард драйвы очень дешёвые. Можно локально бэкапить. Сто терабайт будет стоить всего около $1000.
А канал для этой всей радости? Ну то есть сам подход верный, но подводные грабли там тоже есть.
29.03.23 15:41
0 1

А канал для этой всей радости? Ну то есть сам подход верный, но подводные грабли там тоже есть.
плюс помещение, плюс все это правильно настроить и поддерживать, чтобы работало. А то будет как всегда (см. обсуждение про бэкап, включенный через полгода).
29.03.23 15:44
0 2

Ну, Амазоновский ледник можно использовать -- медленно, зато дёшево и подойдёт для восстановления в таких крайних случаях.
29.03.23 17:41
0 1

Импорто мать его замещение....

Правда на РБК говорится о 2-х миллиардах прибыли в 2021 году - но всё-таки о прибыли.

РБК

Ну всё же дали в руки! Практически все продукты в Маке давно российские за малым исключением.
Ну как так-то????
29.03.23 15:13
1 14

Фи такими меркантильными категориями мыслить. Главное что показали что могут и без проклятых американцев. А деньги... Ну что им бюджет не компенсирует?
29.03.23 15:17
0 1

Импорто мать его замещение....Правда на РБК говорится о 2-х миллиардах прибыли в 2021 году - но всё-таки о прибыли.РБКНу всё же дали в руки! Практически все продукты в Маке давно российские за малым исключением.Ну как так-то????
Просто российское пальмовое масло очень дорогое
29.03.23 15:23
0 4

Просто российское пальмовое масло очень дорогое
Ну да. Я как-то и не подумал.
В Якутии и Архангельске пальмы видать урожай маленький дают
29.03.23 15:33
0 15

Ожидаемый результат. Сейчас, как это водится в отечественных реалиях, начнут экономить на продуктах, персонале и оборудовании... Убыток будет не 11, а 20. А потом все это тихо сдохнет.

начнут экономить на продуктах, персонале и оборудовании
Так сейчас, насколько я понимаю - еще даже экономить не начинали. Страшно представить будующее...

«Допиздержки» — это название рубрики, видимо? «Р» тогда надо убрать
29.03.23 16:13
0 8

Ну как так-то????
Ну зато дает приблизительное представление о масштабах воровства.
29.03.23 16:28
0 4

о масштабах воровства.
Думаешь - украли?
А по-моему врожденная криворукость.
29.03.23 16:30
0 2

Воровство и "да норм все будет, не ссы" рождают вот такие убытки.

Пригожин там свои точки откроет, опыт кейтеринга за плечами.

"да норм все будет, не ссы"
Вот я почему-то думаю что с таким подходом воровство уже ничего не меняет

выводят деньги и рисуют убытки
еще со времен юкоса все поняли что управлять нужно долгами
29.03.23 17:21
0 2

А не надо думать, избыточно это = "15 тысяч клиентов" не могли ошибаться. Просто часть руководства во многих компаниях до сих пор думает о данных по-старинке, дайте нам бэкап на сдачу от доски для конференций.

ХЗ какие у них изначальные расходы были при передаче.
Дали-то в руки тем, кто управлял некоторыми маками. Т.е. надо смотреть на 23-й год.
29.03.23 17:22
0 1

А по-моему врожденная криворукость
Просрать можно конечное количество денег, просер требует все же какой-то деятельности, а она чисто случайно может даже прибыль дать.
У воровства таких лимитов нет.
29.03.23 17:25
0 1

Чет сомневаюсь, есть менее сложные методы, чем поджечь дата-центр с перекрытиями из дерева и без системы пожаротушения, и с вентиляцией разгоняющей огонь по зданию.
29.03.23 17:25
0 1

Не боишься, что забанят?
29.03.23 18:13
0 1

Не боишься, что забанят?
Все человеки разумные боятся.
В данном случае это пример такого же вопиющего непрофессионализма - как и описанные ситуации с бэкапами.
Как в анекдоте - "Музыка навеяла"
29.03.23 18:41
0 0

С прибыли ж надо налоги платить, чего они дураки? Чай не глупые пиндосы. Соображают.

Якобы в 2000х все казино в Москве были убыточны.
29.03.23 21:39
0 0

А вы новость-то саму в РБК прочитали? Или чукча он того?
"«Сравнение показателей 2022 года с 2021 годом некорректно, так как предприятия сети не работали с середины марта до июня и постепенно переоткрывались вплоть до конца сентября. Компания много инвестировала в переоткрытие предприятий, кроме того, не сразу были перезапущены все позиции меню и сервисы — к примеру, доставка»
Ну и как бы за проданный бизнес ещё следовало заплатить, хоть и дисконтом.

"Говор рассказал, что корпорация McDonald's платила только зарплату сотрудникам.

«Арендная плата, расплата с поставщиками - это ничего не было уплачено. Я вас уверяю, это огромная сумма, которую я должен ещё внести, это у нас в договоре имеется», - сказал он.

В этом году бизнесмен оценил предстоящие затраты на сеть в 6,5-7 миллиардов рублей. Об этом сообщает "Рамблер". Далее: finance.rambler.ru
111
29.03.23 22:06
1 1

Казино все были подментованы, как и игровые автоматы ранее. А потом оказалось, что дербанить бюджеты выгодее, чем дербанить клиентов казино.
30.03.23 05:15
0 0

Просто российское пальмовое масло очень дорогое
заменят на минеральное. Как когда-то на Запорожстали на стане 1680, который итальянцы поставили, заменили.
30.03.23 06:00
0 0

Думаешь - украли? А по-моему врожденная криворукость.
только руки тут ни при чем.
30.03.23 06:02
0 0

А вы новость-то саму в РБК прочитали? Или чукча он того?
Да, прочитал.
Сравнение показателей 2022 года с 2021 годом некорректно
Конечно некорректно. Потому что в 21 был Макдональдс и пандемия с карантинами - а в 22-м была "... точка" и отсутствие запретов.
30.03.23 08:54
0 2

допиздёржки - это не фотошоп?
30.03.23 14:14
0 0

Потому что в 21 был Макдональдс и пандемия с карантинами
Особенно в России, ага-ага. Прям по домам сидели как зайки.
а в 22-м была "... точка" и отсутствие запретов.
И от трёх до шести месяцев реального простоя, упомянутого в том же тексте, который вы якобы читали.
111
31.03.23 17:24
0 0

Особенно в России, ага-ага. Прям по домам сидели как зайки.
А вы погуглите. Я это сделал.
Особенно в России, ага-ага. Прям по домам сидели как зайки.
При чем здесь "сидели по домам" если закрывались?
31.03.23 21:26
0 0

Гуглить что? Как я жил в РФ в 2021 году)? Меня вроде память пока не настолько подводит. Никто никуда не закрывался в 2021. Даже типа обязательный куар-код от вакцины или 6 месяцев от болезни, спрашивали в 2 из 10 заведений.
111
31.03.23 22:34
0 0

Это реклама послезавтрашнего праздника? )
Всемирный день бэкапа
29.03.23 15:04
0 2

Всемирный день бэкапа
Всегда наступает после всемирного дня факапа.
29.03.23 22:25
0 0

Какой-какой там Tier был, говорите?
29.03.23 14:27
1 4

А доклад местной пожарной службы, опубликованный через год после происшествия, просто шокировал:
Наверное, есть два вида Пожарников. Одни из "пожарнадзоров", которые подписывают акты о соответствии нормам и выдают сертификаты на здания в которых этой самой пожарной безопасности потом не оказывается
Другие - которые разбирая головешки, обнаруживают, что пожарной безопасности там не было.
Или это одни и те же, просто они играют за две стороны?
29.03.23 14:06
0 3

Наверное, есть два вида Пожарников.
Ага, пожарные и пожарники. 😄
29.03.23 14:12
0 8

...Или это одни и те же?
К счастью, нет
29.03.23 14:48
0 0

В отечественном пожнадзоре разные. Отдельно инспекторы надзора, отдельно пожарные, которые именно тушат, отдельно дознаватели.
Лапки мохнут, ессно, в основном, у первых. Факапы со Сбером во Владике, Лошадью в Перми, Вишней в Кемерово и их последствия немного ситуацию исправляют (при этом, правда, ещё и с приговорами по душу вторых), но не полностью.
111
29.03.23 22:00
0 0

К слову OVH был ультра-дешевым хостингом, меня до этого случая просто удивляли их цены, настолько они были низкие. Но теперь всё ясно стало
29.03.23 13:54
0 12

Странно, что самые низкие цены по рынку не смутили клиентов. Хотя, - а бэкапы? - вот тебе пяток на водку и пошел отсюда вон, время делать бабки!))

Ну вот нас не смутили. Но у нас и сервера были географически распределены по разным датацентрам, и пожар нас задел, но не напряг - развернули новые машины в других ДЦ, накатили бэкапы, и все нормально. А вот те, кто все еще не делают бэкапы - ССЗБ.
29.03.23 17:57
0 10

29.03.23 18:40
0 1

Ой, этот персонаж по-прежнему теме же занимается? Я ж его еще 30 лет назад помню.

Нужен датацентр для бекапов, на Марсе.
И второй, на Венере.
Луну не предлагать.
29.03.23 13:23
0 1

Если завтра взорвется Солнце, то до орбиты Нептуна будет все уничтожено. Так что Марс - ненадежно, тем более - Венера.
Лучше хранить бэкапы не в нашей галактике. А то мало ли что тут случится...
29.03.23 14:25
0 6

У меня есть офигенная идея. Надо просто поставить мощный лазер и через него излучать бэкапы в небо, например, на альфу кентавра. Дальше, смотрите: изобретаем варп-двигатель, прыгаем в нужную точку пространства и принимаем нужный пакет. Автоматически - за любую дату, потому что скорость света конечна, просто нужно подобрать правильную остановку. Неба дофига, хватит всем, ну кроме тик-тока, конечно.
29.03.23 14:33
1 18

Надо просто поставить мощный лазер и через него излучать бэкапы в небо, например, на альфу кентавра.
А лет через несколько прилетят инопланетяне и набьют всему человечеству лицо за бэкапы порнхаба.
29.03.23 14:41
0 10

Ну почему сразу набьют-то )) Может спасибо скажут ))) А может воплощать в жизнь прилетят )))

А лет через несколько прилетят инопланетяне и набьют всему человечеству лицо за бэкапы порнхаба.
Или затребуют свежих. 😄
29.03.23 14:59
0 5

А лет через несколько прилетят инопланетяне и набьют всему человечеству лицо за бэкапы порнхаба.
Или купят премиум-подписку.
29.03.23 15:39
0 3

У меня есть офигенная идея. Надо просто поставить мощный лазер и через него излучать бэкапы в небо, например, на альфу кентавра.
Есть идея проще и реализуема вотпрямщас.
К каждому поезду на Транссибе цепляем вагон с хардами и катаем по кругу по маршруту Москва - Владивосток. В Москве заливаем свежие бэкапы...
29.03.23 15:54
0 5

Можно еще на свою фирму завести уголовное дело, и в рамках этого дела потребовать весь трафик за последнее время, записанный СОРМом
29.03.23 16:11
0 11

бэкапы порнхаба.
В индустрии это называется дистрибутивы линукса.
29.03.23 17:11
1 2

Или затребуют свежих. 😄
Всё уже было в Симпсонах Футураме.
29.03.23 17:35
0 4

Есть идея проще и реализуема вотпрямщас.
К каждому поезду на Транссибе цепляем вагон с хардами и катаем по кругу по маршруту Москва - Владивосток. В Москве заливаем свежие бэкапы...
Уже было - классическая FIDOшная "задачка" про камаз с ЦД болванками и какую пропускную способность это дает
30.03.23 11:35
0 0

Уже было - классическая FIDOшная "задачка" про камаз с ЦД болванками
Совершенно верно - именно этим и навеяна идея. Только там доставка трафика - а здесь на этой же идее - циклический бэкап
30.03.23 12:43
0 0

У амазона есть такая фигня, Snow Family, и конкретно вот это - Snow Mobile ((aws.amazon.com так что это даже и не шутка никакая. И в экзаменах на тему "выбрать самое эффективное для трансфера" хватает вопросов.
30.03.23 18:17
0 1

Ну AWS и Azure предлагают варианты репликации данных в другой географический регион, гугл в меньшей степени, но тоже есть. Надеюсь, не врут. Что конкретно обещал этот OVH надо читать.
Так-то, конечно, все думают, что пожары и землетрясения их не касаются.
29.03.23 13:18
0 2

У AWS есть такой веселый сервис - Kinesis - от которого зависит работоспособность чуть ли не всех остальных. А еще - он используется для актуализации странички статуса, рассылки оповещений и так далее. Если/когда он падает - у вас ничего не работает и вы об этом не знаете.
29.03.23 15:42
0 0

Локальные копии должны быть. Должна быть хотя бы пара серверов с накопителями и бекапами в офисе. Но айтишники и эффективные менеджеры говорят, что это все вчерашний день. Ну пусть и дальше хранят данные неизвестно где.
29.03.23 13:14
3 6

Зачем? Гораздо проще арендовать хранилище у другого облачного провайдера и туда слать копии.
29.03.23 13:28
0 3

Зачем? Гораздо проще арендовать хранилище у другого облачного провайдера и туда слать копии.
правда, остаются политические риски.
29.03.23 13:41
0 1

эффективные менеджеры
По расссссово-гендерным квотам.
29.03.23 14:01
6 1

Легко сказать. С микросервисной облачной архитектурой даже собственно бэкап уже становится несмешной сказкой, а уж с облачными объёмами хранения – вообще без вариантов. Если у нас валит, например, петабайт данных в месяц, это ж какой канал нужен и объём дисков?

Другое дело, что проектов с настоящей бигдатой не так, чтоб и много.

Я склонен считать, что имеем случай "кроилово ведёт к попадалову", потому что дизастер-стратегии штука дорогая, иногда очень дорогая, и если клиент экономит на облаке, то и общая архитектура у него по принципу "бог не выдаст".
29.03.23 14:28
0 5

"Гораздо проще арендовать хранилище у другого облачного провайдера"... и надеяться, что он в свою очередь не арендует хранилище у первого
29.03.23 14:34
0 10

Но айтишники и эффективные менеджеры говорят, что это все вчерашний день.
Айтишники озвучивают стоимость таких решений, после чего эффективные менеджеры и управленцы, решают, что это дорого, поэтому хрен этим айтишникам.
29.03.23 14:57
1 3

Из этого петабайта реально критических для бизнеса данных заметно меньше. Если вы не крупный контент-проект, конечно.
29.03.23 15:28
0 2

По расссссово-гендерным квотам.
То ли дело РФ, где нет расово-гендерных квот и всё менеджеры отобраны исключительно по профессиональным качествам.
29.03.23 15:29
1 5

То ли дело РФ, где нет расово-гендерных квот и всё менеджеры отобраны исключительно по профессиональным качествам.
ну зачем сразу на Россию наговаривать? по квотам новой номенклатуры.
29.03.23 15:33
0 0

Из этого петабайта реально критических для бизнеса данных заметно меньше. Если вы не крупный контент-проект, конечно.
Тоже верно, но я исхожу из общего соображения "раз что-то бэкапят, то это кому-то важно".

Зы У нас, кстати, по этим петабайтам строятся всякие модели и делается аналитика. Не контент, данные с железа – нескольких миллионов датчиков.
29.03.23 15:38
0 2

Конечно, т-щ майор, так и сделаем
29.03.23 16:00
0 0

Тоже верно, но я исхожу из общего соображения "раз что-то бэкапят, то это кому-то важно".
Посмотрев на NAS могу сформулировать парадокс - оно кому то важно, но ничего важного там нет.
29.03.23 16:57
0 0

Если у нас валит, например, петабайт данных в месяц, это ж какой канал нужен и объём дисков?.
Не думаю, что у фирмы по недвижимости петабайт данных в месяц )
29.03.23 17:34
0 0

Совершенно верно. Поэтому хорошим правилом считается иметь 3 географически разнесенных копии у 3 разных провайдеров.
29.03.23 17:36
0 0

правда, остаются политические риски.
Это ты так мягко назвал приход маски-шоу в офис с физическим изъятием локальных серверов с бекапами?
29.03.23 18:25
0 0

Это ты так мягко назвал приход маски-шоу в офис с физическим изъятием локальных серверов с бекапами?
это местные особенности ведения бизнеса ) Про них тоже подумал, но решил не упоминать, хотя направление правильное - сервер с бухданными и прочим важным, не должен находится в том же помещении, что и офис. В идеале, да. И еще иметь способность максимально окирпичиться по команде, а также бэкап в какой-нибудь далекой солнечной стране.
Политические - это когда тебе провайдер обрубит доступ в облако, потому как страна стала нон-грата. Оно, конечно, не моментально и не пожар, но попрыгать придется.
29.03.23 18:37
0 0

Ага. У большинства проектов такие жирные объёмы - это именно сырые данные для аналитики. Чаще, правда, не с железок, а торговой.

Но (опять же, не про всех говорю, и практически точно не про вас) есть ещё факторы:

- аналитика - всё ж побочная деятельность, если она слетает, бизнес на некоторое время потеряет в марже, но не разлетится в щепки тут же;

- часто история хранится годами, хотя модели учитывают со значимыми весами только свежее, так что бэкапить нужно опять же не всё;

- по той же причине потерянные данные очень быстро заместятся новыми, так что жить без аналитики бизнесу придётся сравнительно недолго.
30.03.23 09:20
0 1

А уж уничтожение чудом сохранившихся данных скриптом - это совершенно гениально!
Справедливости для, нужно смотреть, кто и как настраивал политики бэкапа или репликации. Вполне может быть, что это были самодельные скрипты самого клиента, тогда претензия "нафига вы его включили" выглядит хоть как-то обоснованной (хотя любая нормальная политика сначала заменяет данные, а потом стирает устаревшие, если вообще стирает).

Вообще идея а) хранить только самую новую копию и б) удалять её до получения новых данных настолько странная, что, думаю, это самодеятельность клиента. Что не отменяет, конечно.
29.03.23 13:13
1 3

Правдоподобным видится мне чтото типа скрипта который удалял данные старее например 60 дней, а сервер был гденить в ангаре разбора оставшегося барахла полгода, и когда до него дошли руки и просто включили проверить работает или нет, он все и стер, никто не ожидал просто что 60 дней сервер будет выключен без доступа к нему.
29.03.23 14:18
0 3

Тру стори, сам однажды похоже налип с самописным скриптом.
29.03.23 14:54
0 1

Вообще идея а) хранить только самую новую копию и б) удалять её до получения новых данных настолько странная, что, думаю, это самодеятельность клиента. Что не отменяет, конечно.
Вы просто не учитываете типовой сценарий, когда создание копии и очистка - это разные задания. Грубо говоря один скрипт копирует по расписанию, второй так же по расписанию удаляет все, что старше N дней.
В данном случае, вполне вероятно, что к моменту включения сервера прошло сильно больше чем N дней. В итоге скрипт номер один ничего не скопировал, скрипт номер два все удалил.
В нормальном же случае, если бы скрипт номер 1 ничего не скопировал, то прилетел бы алерт и в регламентированное время, бекап бы починили.
29.03.23 14:56
0 7

Это, к счастью, не типовой сценарий. Ну, точнее, кто удаляет по расписанию без проверки получения-целостности-доступности, ну тот сам себе злобный буратино и профнепригоден. Вообще удивлён, что такая практика до сих пор существовала, это ж самые азы и простой здравый смысл. Даже в 00-е такое уже делали... даже не знаю, кто.

И вот ещё момент: фиг его знает, сколько времени прошло между пожаром и попыткой восстановиться. Если реально дни, то, может, эти данные фирме были и не нужны вовсе?
29.03.23 15:34
0 1

Как-бы если падает основная инфра, и потом до бэкапа доходит дело через полгода, то, наверное, эти бэкапы не сильно-то и были кому-то нужны, нет?
29.03.23 15:35
0 2

Ну, точнее, кто удаляет по расписанию без проверки получения-целостности-доступности, ну тот сам себе злобный буратино и профнепригоден.
Потому, что повторюсь - целостность/годность проверяет другой скрипт. Который работает каждый день, а если не работает - то это алярм и его чинят.
В данной ситуации первый скрипт просто, напросто не работал. Потому что ему неначем было. Поэтому никаких алармов не случилось.
29.03.23 15:51
0 2

Как-бы если падает основная инфра, и потом до бэкапа доходит дело через полгода, то, наверное, эти бэкапы не сильно-то и были кому-то нужны, нет?
Так у вас сервер в состоянии "неизвестно" эти полгода. Датацентр ответа не дает, говорит возможно, что он сгорел. Совсем. Какие у вас варианты? Правильно, никаких. Начинать все с нуля и надеятся что утеренные данные получится таки восстановить.
29.03.23 15:53
0 4

Так у вас сервер в состоянии "неизвестно" эти полгода. Датацентр ответа не дает, говорит возможно, что он сгорел. Совсем. Какие у вас варианты?
Тоже верно.
29.03.23 15:54
0 0

Потому, что повторюсь - целостность/годность проверяет другой скрипт. Который работает каждый день, а если не работает - то это алярм и его чинят. В данной ситуации первый скрипт просто, напросто не работал. Потому что ему неначем было. Поэтому никаких алармов не случилось.
Да я понимаю, как это могло быть. Я не понимаю, как такое пропустили в прод. Я ж, собственно, изначально и сказал – похоже на самодеятельность, потому что следуя даже базовым гайдам по бэкапам, такого вряд ли достичь. Хотя, говорят, хостинг помоечный был, может, это и штатное поведение...
29.03.23 15:59
0 0

Хотя, говорят, хостинг помоечный был, может, это и штатное поведение...
Почти наверняка. Взяли простейший сценарий покрывающий 90% всех запросов и использовали. Все же ситуация, когда бекап-сервер включают через условные полгода тоже ни разу не штатная.
Правда тут еще такой момент. Вряд ли скрипт на очистку запустился по факту включения сервера. Они как правило все по расписанию. А это значит что сервер включили, данные увидели и закричали "ура-ура". А проверить что на сервере, который никто полгода не проверял, настроено и банально что там у него в кроне никто не удосужился даже.
29.03.23 16:15
0 0

Ну кстати если совсем душнить, то очень врядли скрипт бэкапа удаляет данные с перезаписью рандомом, поэтому в принципе если быстро среагировать, то данные вернуть можно довольно просто. Так что мутно тут все.
29.03.23 16:21
0 1

поэтому в принципе если быстро среагировать, то данные вернуть можно довольно просто.
Про это я тоже подумал. Но все же восстановление на бекап-серверах отдельный кейс, сильно зависящий от того, что там под капотом у них было, поэтому не стал заострять внимания.
29.03.23 16:30
0 1

Сильно сомневаюсь, что там был физический девайс. Облако всё же, хоть и дешманское. Скорее виртуалка, или вообще голый сетевой том. А это значит шара, и её просто так никто не даст руками трогать, потому что мало ли какие там ещё данные.
29.03.23 16:46
0 2

Кстати, не пора ли выпускать сиквел "Omert@. Руководство по компьютерной безопасности" ?
Много воды утекло и много мобильников поменялось.
29.03.23 13:08
0 1

Не храните, граждане, все яйца у одного провайдера! Делайте бэкапы в другие места - так намного надежнее!
Главное чтобы не оказалось, что эти самые "другие места" арендуются у провайдера номер 1. 😉

Но в целом, отчет выглядит дико. Там же для сертификации ЦОД определенному уровню предъявляется вагон и тележка требований. Вопрос, как же они в принципе были запущены в эксплуатацию при таких адовых нарушениях всего и вся?
29.03.23 13:07
0 19

А доклад местной пожарной службы, опубликованный через год после происшествия, просто шокировал: в дата-центре были деревянные перекрытия, отсутствовала автоматическая система пожаротушения,
В воздухе витал запах коррупции.
PS я так понял, весь год пожарная служба искала следы деревянных перекрытий после пожара.
29.03.23 16:28
0 3

Там же для сертификации ЦОД определенному уровню предъявляется вагон и тележка требований. Вопрос, как же они в принципе были запущены в эксплуатацию при таких адовых нарушениях всего и вся?
А зачем его сертифицировать?
29.03.23 17:01
0 1

А зачем его сертифицировать?
Как раз чтобы такой фигни не было.
29.03.23 18:06
0 0

А зачем его сертифицировать?
Сертифицировать не обязательно. Но серьезный бизнес не будет с ним работать. Сертификат подразумевает что ЦОД соответствует ряду серьезных требований и специально обученные серьезные люди это проверили.
Разумеется нет смысла переплачивать за услуги сертифицированного ЦОД для мелкого личного проекта чья копия параллельно есть дома на ноутбуке автора. Сгорит? Ну и черт с ним, подниму максимум через сутки простоя в другом месте.
29.03.23 18:08
1 1

PS я так понял, весь год пожарная служба искала следы деревянных перекрытий после пожара.
Ну в пожаре у деревянных перекрытий есть некоторая особенность... Они сгорают нафиг. Особенно при пожарах такого масштаба, когда даже металл горит как с добрым утром (хотя казалось бы).
111
29.03.23 21:47
0 0

Я вам расскажу, как - разумеется это только фантазии, все совпадения случайны 😉
Компания нанимает консультантов по сертификации, специалистам лень ехать за 100 миль по пробкам - поэтому присылают молодую даму-стажера. Которая не отличает датчик затопления от датчика задымления и вообще - по дороге с обеда ей звонят из яслей и говорят что ребенок чем-то обьелся и его тошнит. Дама пулей улетает за деткой, инженеры клянутся и божатся что проверят все сами - но обнаружив, что присланные стажершей документы это плохой машинный перевод не то с суахили, не то с иврита - просто забивают и идут пить пиво.
Слегка охреневший от таких раскладов ответственный менеджер звонит на прежнюю работу, и ему присылают пакет документов, от 5-летней давности сертификации. Эти документы пересылаются инженерам с пожеланием совместить описанное там строжайшее соблюдение всех требований (включая не относящиеся к деятельности компании и обьективно невыполнимые) с довольно грустной реальностью.
Инженеры, ничтоже сумняшеся, выкидывают половину критериев и кое-как проверяют оставшееся - забывая в куче мест поменять имена, адреса и названия. Попеняв им за это, и радуясь выздоровлению детки, стажерша вечером исправляет все "косяки" - кое-где вставляя какие-то левые данные (видимо, перепутав с другими клиентами) или вообще явную отсебятину. На следующий день инженеры опять исправляют отчет - попутно переформатировав его так, что уже никто не может отследить изменения - и все это отсылается в сертифицирующую организацию.
За пару дней до "дня Д" оттуда спрашивают - сможет ли компания показать все необходимое, если проверяющий не приедет лично - а будет смотреть по Зуму. "Разумеется", отвечают инженеры, и было сделанные планы что-нибудь привести в порядок и где-нибудь прибрать - летят в корзину.
Разумеется, в "день Д" проверяющему быстро надоедает "летать" вместе с камерой ноута кого-то из инженеров по коридорам и закоулкам - и придравшись к каким-то недоисправленным местам в документе, он ставит "пройдено с мелкими замечаниями".
30.03.23 01:11
1 2
Теги
Сортировать по алфавиту или записям
BLM 21
Calella 143
exler.ru 271
авто 441
видео 3983
вино 359
еда 497
ЕС 60
игры 114
ИИ 29
кино 1579
попы 190
СМИ 2751
софт 930
США 129
шоу 6