If this is a first time you visiting Scrolls, please register in Fight Club. If you already registered, please authorize on Fight Club start page with your login and password.
Был syn flood на веб сервера, также на завал обоих ДНС серверов UDP flood, дальше попытка завала фаерволл-кластера за счет истощения активных коннектов (т.е. открывает соединение и подвешивает его). Но благо машинки фаерволл ноды мощные! Но первую волну syn flood мы пропустили, неожиданно мощной оказалась.
График за сутки на ближайшем к нам свиче у провайдера (он не отображает полной картины):
Обычно когда идет атака, начинающие ддосеры используют параметры статические, а здесь была динамика - изменение параметров на лету каждые 5 минут (один блок ставишь, а он через 5 минут перестает работать). Потом стали отлавливать по сегментам откуда трафик идет, много очень было из Гонконга и Вьетнама, мы роутинг до них обрубили после того как те не ответили на 4 наших запроса. Ддос после этого упал резко. Выиграли время чтобы написать пару скриптов для авто-детекта новой волны атаки. Когда пошла следующая на 700 мегабит, там был просто syn flood на уязвимое место в скриптах, потому никто не мог авторизоваться в игру (что указывает на дополнительную подготовку к проведению атаки). Поставили rate-limiter так называемый - фиксировали количество пакетов за единицу времени, тем самым все что вылетало за рамки в блок сразу летело в мусор. И тут возникли проблемы с тем, что ИПов было сотни тысяч, таблица блока переполнилась. В результате мы пересобрали ядро на фаерволле и привинтили внешние листы для блокировок, чтобы сама таблица не была полной. Теперь до 2 миллионов уникальных IP можем держать. Также в детекции помог провайдер TeliaSonera, они дали полные данные по типам атаки достаточно быстро. Но вот с блокировкой они тормознули, не хотели сначала ничего делать. Пришлось поднимать регионального менеджера...в результате они блокировку также и у себя выставили. На данный момент он тихо отмирает, боты быстро не умирают сами ...
Для сравнительного анализа привожу данные графики: график понедельный (на нем Вы можете видеть слабенькую атаку, про которую мы даже не сообщали)
P.S. Выражаем благодарность провайдерам, хостерам и всем, кто принимал участие в устранении атак, а также ддосерам (которые прекратили атаки).
Вам запрещено комментирование в скроллах. Причина: Character level to low
Хорошо что отделались от этих ддосеров )) Только вопрос зачем им это надо было ? Что бы отбить у людей желание играть ? Так по моему наоборот все получилось игроки еще больше сплотились вокруг своей игры ))
Очень познавательно, честно как то рассказывали что данному место есть везде, но никогда в жизни я не читал подобное, да и вообще первый раз слышу такие термины как syn flood.;)
Вот админия описали свои действия как отбиться от атаки...а эти хакеры допустим читают это сейчас, и в след.раз будут знать, что могут сделать Админы Игры при Атаке...и не допустят такого поворота)))
Подход первый. Отбились и хорошо, будем надеяться, что больше не повториться. Подход второй. Надо что-то думать и организовывать. Лично мне это как-то ближе.
Пересмешник говорил, что об атаке было известно еще вчера, почему тогда все действия происходили в пожарном порядке? (В результате мы пересобрали ядро на фаерволле и привинтили внешние листы для блокировок, чтобы сама таблица не была полной. Теперь до 2 миллионов уникальных IP можем держать. (с)) Почему к этому не подготовились заранее?
Далее. 2 млн хватило сегодня, хорошо. Ради справедливости скажу, что для 99,9% атак этого и хватит, но... Пересмешник тот же сказал, что заказчик денег не жалел.. Вуаля - Конфикер, червь, который создал себе ботнет на 15+ млн машин. Сталкивался с ним по работе, штука очень гадкая и очень сложно излечимая. Хорошо, что этот ботнет еще не использовался, а если будет? А если не пожалеют денег на него?.. Тогда 2 млн не поможет и я не уверен, что сходу так на 15 млн можно будет переделать, что тогда?
В целом конечно молодцы, справились быстро, вдвойне молодцы, что тут это все выложили, но главный вопрос поста: почему пока гром не грянет... ?
Есть готовые решение против ДДОСа, есть специалисты в этой сфере, почему не воспользоваться их услугами заранее для предотвращения, а не по факту для устранения?
Пересмешник говорил, что ДДОСили двар и бк. Так вот, в двар я не играю, то ради интереса прошелся там по сайту, еще поковырялся немного.. все работало.. у БК висел даже форум и сайты модер структур, почему же так? Почему они оказались готовы, а БК нет? Это при том, что бюджет БК наверняка в разы превосходит бюджет двара.
Если не ответите, то пойму, но все таки очень хотел бы услышать аргумментированный ответ.
Не говорил я такого ) возможные цели и действие - немного разные вещи.
По поводу Грома - атака была достаточно мощной и подготовленной, я понимаю, что хотелось чтобы это длилось минуту )) но в реальности так не получается. )
Видимо мы еще не на том уровне, что бы остаться без синяков )
Значит я не правильно понял (про Двар), в таком случае прошу прощения. А на счет синяков, то главное, что б они на пользу пошли, опыт пригодиться это 100%, атака же не первая и не последняя, к сожалению.
>Почему к этому не подготовились заранее? Потому что была замена фаерволл-кластера недавно с увеличением доп. мощностей, элементарно не все успели сделать (работы хватает с серверами, и когда у игроков что-то лагает на это бросаются человекоресурсы в первую очередь).
>Тогда 2 млн не поможет и я не уверен, что сходу так на 15 млн можно будет переделать, что тогда? Балансировка каналов, слышали о таком? Кроме того, защищаться можно бесконечно от потенциальных атак, которые могут и не придти, и здесь уже стоит вопрос рентабельности - 10 гигабит стоят недешево, а на месяц их никто не дает. Но если оно пойдет - решим и эту проблему.
>но главный вопрос поста: почему пока гром не грянет... ? Потому что 1 сутки это всего лишь 24 часа. Стараемся как раз быть проактивными, чтобы заранее. Разницу думаю и так видите, хотя бы по количеству тех. работ которые делаются и по оперативности как они производятся.
>Есть готовые решение против ДДОСа, есть специалисты в этой сфере, почему не воспользоваться их услугами заранее для предотвращения, а не по факту для устранения? Потому что все эти решения - дорогостоящие, особенно если ддос 1 раз в год а то и реже, но мощный. Плюс ко всему если затраты сравнить на подобный договор и тормозящее открытие сайтов на 2 часа - стоимость эдак раз в 500 выше, к тому же справились и справляемся прекрасно своими средствами.
>Пересмешник говорил, что ДДОСили двар и бк. На двар ддоса не было, все просто. А заддосить их можно даже 1/4 той мощности которая шла сегодня. Но надо ли оно? :)
>Кроме того, защищаться можно бесконечно от потенциальных атак, которые могут и не придти. Немного не согласен с формуллировкой, имхо нужно просто правильно выставлять приоритеты, стоит ли защита от атаки того, что бы тратить на нее n денег.
>Разницу думаю и так видите, хотя бы по количеству тех. работ которые делаются и по оперативности как они производятся. Ну тут палка о двух концах. С одной стороны: работы часто, делают - супер. С другой: да что ж там за сервера/админы такие, что "насяльника, все упаля" каждую неделю происходит. Несколько утрировано, но не поспорить с тем, что каждый думает по своему.
Ну а теперь к главному: >Потому что все эти решения - дорогостоящие, особенно если ддос 1 раз в год а то и реже, но мощный. Могу быть не прав, но насколько я знаю, комплексная защита стоит до 80-100 тыс, сюда входит все, включая людей и железо (Циска за примерно 10 тыс. предлагает хардваре). Бюждет БК за миллионы (десятки миллионов?) переваливает.
>тормозящее открытие сайтов на 2 часа C одной стороны потерпят и никуда не уйдут - бесспорно. Но неприятный осадок от "горевших" сундуков, эмов, да и просто элей останеться, тут уже аспект уважения игроков свое играет.
И самое главное: >к тому же справились и справляемся прекрасно своими средствами. Как? Отрезали Гонконг и Вьетнам?.. А если ботнет будет на территории РФ, Украины и Азербайджана, а не в далекой Азии?.. И если атака не остановиться? Боюсь, что таким способом ничего не сделаете.. Либо сидеть в ДДОСе, либо отрезать 95% игроков на n времени, что уж точно потянет на больше чем 80к убытков.
>Немного не согласен с формуллировкой, имхо нужно просто правильно выставлять приоритеты, стоит ли защита от атаки того, что бы тратить на нее n денег. Согласен, это и имелось в виду.
Насчет работ - когда сервера ставились требовались машины с 8 процессорами АМД. На тот день был только 1 производитель (сейчас два), который мог дать сервера с теми спецификациями, которые требовались. А вот в том, что железо летит, админы не виноваты, это претензии к компании Tyan. И падает как раз не все - проблемы стабильности работы серверов случаются только когда неполадки с железом, в 99,99999% случаев.
>Могу быть не прав, но насколько я знаю, комплексная защита стоит до 80-100 тыс Ошибаетесь, комплексная защита стоит примерно 720к евро. Если мы говорим о действительно классной комплексной защите, с несколькими каналами, кластерами Arbor в связке с Juniper (Циска кстати отдыхает, прошлый век, сегодня Циска не поможет при бомбежке мелкими пакетами). Но дело не просто в единоразовой закупке, а в текущих расходах на подобное решение, мощные каналы и именно они очччень кусачие, даже при любых бюджетах. А если заруливать трафик сначала через стороннюю компанию, то что имеем? Верно, тормоза, причем недетские, это уже проходили.
>Как? Отрезали Гонконг и Вьетнам?.. А если ботнет будет на территории РФ, Украины и Азербайджана, а не в далекой Азии?.. Для этого есть другие методы, ноухау открывать здесь не буду дабы не плодить плюсы конкурентам проекта ;) Не волнуйтесь, решим проблемы. На всякое ЕСЛИ найдется ТО. Главное понимать что есть что, а с этим у нас порядок. Отрезание сегментов по странам не панацея, есть и другие более тонкие методы.
Насчет осадка - это не ко мне, я игровым процессом не занимаюсь ;)
Я и обращался как к человеку ответственному за техническую часть, игровые ангелы меня игнорят :)
На счет защиты значит таки был не прав, я этим интересовался года 2-3 назад, сейчас другим занимаюсь, в таком случае спасибо за инфу, а то что каналы это вечная беда, так это уж точно :'(
Про методы знаю более или мение хорошо, я всего лишь комментировал то, что вы тут написали :)
Ну и дело даже не в этом.
Тут ниже девушка написала: До того, как вы в начале написали на форуме, думала никто ничего объяснять не будет, напишите новость одной строкой на евентсе, типа сбой был и всё. Спасибо, что рассказали нам об этом, что не умолчали, а открыто написали пользователям. . Приятно, чёрт побери:) (с)
И таки да. Действительно приятно, что на твои адекватные комментарии и вопросы отвечают, что идет диалог и обсуждение. Жаль, что по игровым аспектам такого очень мало, хотя последнее время Пересмешник и появляеться на публике довольно часто, надо отдать ему должное.
В любом случае спасибо за беседу, будем верить, что все под контроллем, по итогам сегодняшнего дня и вечера лично у меня такой веры прибавилось значительно, чего и всем желаю.
Удачной борьбы, широких каналов, хороших админов, плохих хакеров и еще раз спасибо :)
Есть такое понятие - разведка, тот, кто заказывал ддос-атаку называл две цели, нас и двар и срок на который хочет заказать ее - три недели. Возможно, он продолжит свои попытки у других исполнителей Ddos-атак. Читайте внимательно.
До того, как вы в начале написали на форуме, думала никто ничего объяснять не будет, напишите новость одной строкой на евентсе, типа сбой был и всё. Спасибо, что рассказали нам об этом, что не умолчали, а открыто написали пользователям. . Приятно, чёрт побери:)