Категории: Серверы и сетиСети и серверы

Точки обмена трафиком или как устроен Интернет в России

Многие провайдеры подключаются к точкам обмена трафиком (IX, Internet eXchange) для агрегации и резервирования каналов связи. В случае если их основной канал связи станет недоступным, то трафик автоматически будет маршрутизирован по другим маршрутам. При этом будут задействованы дублирующие каналы, которые подключены к той же точке обмена трафиком. Одновременно с этим увеличивается суммарная пропускная способность каналов между участниками IX.

Наиболее известны следующие точки:

MSK-IX и SPB-IX

Самая крупная точка обмена трафиком в России — MSK-IX. Подключение к MSK-IX позволяет решать следующие задачи для владельцев интернет-сетей:

Публичный и приватный пиринг для доставки контента, улучшения доступности онлайн-сервисов, снижения расходов на транзит трафика и резервирования сетевых маршрутов
Доступ по локальному сетевому маршруту к корневым DNS-серверам; к авторитативным DNS-серверам национальных доменов RU, РФ и ряда других TLD
Организация виртуальных каналов и виртуальных частных сетей (802.1 VLAN) между техническими площадками MSK-IX для использования одним или несколькими участниками
Сокращение издержек на транзит трафика по более коротким маршрутам
Увеличение скорости доступа к контенту для абонентов
Распределенная доставка контента в регионах
Прямой доступ к контенту и сервисам Яндекс, Google, VK.
Передача и получение цифровых телевизионных сигналов между профессиональными участниками рынка телепроизводства и операторами связи (медиалогистика).

Подключенные к MSK-IX организации называются участниками MSK-IX. Межсетевое взаимодействие (пиринг) между участниками MSK-IX устанавливается на основе прямых двусторонних договоренностей. Участники самостоятельно определяют подходы и критерии для установления пиринга (пиринговую политику).

Для обмена сетевыми маршрутами между участниками используется протокол BGP. Участники устанавливают попарные BGP-сессии и/или используют службу Route Server, упрощающую администрирование пирингового взаимодействия.

Сервисы Piter-IX используют более 300 организаций, из них 210 из Санкт-Петербурга. К ней же подключены и все основные дата-центры СПб. Для реализации политики связности в Piter-IX в каждой географической точке присутствия размещены два сервера обмена анонсами (route-server), c которыми участники настраивают взаимодействие по протоколу BGP. Для более детальной настройки используется личный кабинет участника, где каждый может либо напрямую указать всех, с кем хочет обмениваться анонсами, либо сформировать черный или белый список, с учетом которого строится конфигурация обоих route-server для каждой локации.

Для подключения провайдерское оборудование должно поддерживать BGP-сессии с route-серверами. Для быстрой смены активных маршрутов в случае падения интерфейса или bgp-сессии используется протокол BFD; Активирован по умолчанию для всех участников. Параметры: интервалы 750 ms, множитель 5.

В качестве первичного механизма защиты от DDos-атак в Piter-IX используется механизм blackhole-community — перенаправление трафика на атакуемые адреса с интерфейса участника на систему фильтрации или «в /dev/null». Анонсируйте на роут-серверы любой /32 входящий в подсети из вашего as-set, с коммьюнити 65535:666 — так вы перекроете поступление трафика от участников на этот /32. Чтобы это срабатывало в случае исходящих атак с вашей стороны разрешите на своих бордерах приём связки /32+65535:666 от наших R/S.

Примечательно, что в Piter-IX входит Яндекс, Google, CloudFlare, VKontakte, Akamai.

Санкт-Петербургский Internet Exchange SPB-IX имеет распределённую структуру с точками подключения, расположенными на следующих технологических площадках^[1]:

Информационно-вычислительный центр Октябрьской железной дороги (ул. Боровая, д. 57)
Ленэнерго (Марсово поле, д. 1, ЗАО «ЛЭИВО», СКЦ)
Санкт-Петербургский государственный университет технологии и дизайна (ул. Большая Морская, д. 18)
ООО «Телехаус» (Большая Морская, д. 19)
ООО «Прометей» (Малая Морская, д. 11)
ООО «K12» (бывший «Радуга-2» (Кантемировская д. 12))

Историческая справка: В 1995 году представители шести провайдеров договорились о создании первого Internet eXchange, чтобы объединить российский интернет-сегмент. На напечатанном на пишущей машинке соглашении появились подписи первых участников, а через несколько недель на телефонной станции М9 на улице Бутлерова заработал первый коммутатор Московского Internet eXchange.

Основная точка MSK-IX — ММТС-9 (она же M9): ул. Бутлерова, д.7. «ММТС-9» — крупнейшая точка межоператорского обмена интернет-трафиком в России, где стоит более 2240 телекоммуникационных стоек. Клиентами компании являются более 480 телекоммуникационных компаний в 10 городах России. В том числе такие, как MSK-IX, МТС, Beeline, Мегафон, ТТК, Orange Business Services и многие другие. Почти весь интернет в России идет через узел М9.

Из Санкт-Петербурга к узлу MSK-IX 110 участников, общая пропускная способность между которыми достигает 8 Тбит/с. Им предоставляется:

Интерфейсы 1G, 10G, 100G для пиринга
Транковые порты. Доступ к нескольким приватным VLAN через один физический порт.
Etherchannel (LACP). Объединение нескольких физических портов в один логический порт.
Туннелирование Q-in-Q. Прозрачная передача трафика собственных VLAN участников.

7 узлов из Санкт-Петербурга подключены к MSK-IX, часть из которых относятся к SPB-IX.

Global-IX

Это сеть для обмена трафиком и пиринга с Европой. Она подключена к MSK-IX, SPB-IX в России и к 2 точкам обмена трафиком в Финляндии (Radiokatu, 5; Innopoli 2, Tekniikantie, 14) и Швеции (TelecityGroup Stockholm 1).

К этой сети напрямую подключен Vkontanke, Telegram, Mail.ru, Yandex, Odnoklasniki, Cloudfare, IVI, Rutube, OKKO, Megogo и несколько крупнейших дата-центров, таких как Selectel, Yota.

DATA-IX

Сеть обмена трафиком между операторами связи и контент-генераторами России, стран Европы и Азии. 38 точек включения в единую сеть обмена трафиком расположены в 7 странах: Россия, Украина, Казахстан, Германия, Швеция, Финляндия и Нидерланды, которые представляют суммарную мощность клиентских портов 106,5 Tbit/s. Проект организован в 2009 году. Более 400 ASN включены в пиринг, из них 80% — операторы связи, 20% — контент-генераторы. Пиковое значение нагрузки для этой сети 4,116 Tbit/s зафиксировано 28 февраля 2021 года.

В 2020 году в этой сети зафиксировано подключение аж 732 100 Гбитных портов, что в 23 раза больше чем годом ранее. Один из ключевых участников сети — Yandex, Facebook и Youtube. Для тех, у кого сайты хостятся в Германии будет интересным знать, что популярный дата-центр Hetzner также подключен к сети. Сюда же подключен и популярнейший дата-центр DigitalOcean, OVH и Microsoft. Из Российских крупных хостеров и дата-центров участником сети является FastVPS, Ru-Center, Selectel, SDN, Xelent, Infobox.

Cloud-IX

В 2012 г компания «ФИЛАНКО», владеющая дата-центрами в СПб и Москве, вышла на телекоммуникационный рынок России, Украины и Европы со своим новым проектом — Cloud IX.net . Сloud-IX.Net — распределенная сеть, соединяющая в себе IP-сети России, Украины, Казахстана (скоро), Белоруссии (скоро) и Европы в единое целое. Сервисы «Cloud-IX» реализуются в большинстве городов, на базе собственных провайдеро–независимых площадок, созданных в сети DataHouse. Национальная сеть провайдеро-независимых дата-центров «DataHouse.ru» и международная сеть обмена трафиком «Cloud-IX» — два взаимосвязанных проекта, реализующих принципы сетевой нейтральности.

Основная идея проекта «Cloud-IX» – это объединение всех включенных в этот проект операторов в единое информационное пространство без их физического присутствия в этих точках обмена. Включившись в точку обмена в своем городе, оператор-клиент может получить трафик с любых других exchange-й России и зарубежья, входящих в проект «Cloud-IX», а это: MSK-IX, SPB-IX, DE-CIX, LINX, AMS-IX, DATA-IX, D-TEL, UA-IX, и многие другие.

В большинстве городов строительство узлов сети базируется на собственной национальной сети провайдера-независимых дата-цетров DataHouse.ru. На сегодняшний день узлы DataHouse.ru функционируют или находятся в стадии строительства по следующим адресам:

Москва, ул. Варшавское шоссе, д.125, стр.1;
Москва, ул. Буракова, д.27;
Санкт-Петербург, ул. Лифляндская, д.3а;
Киев, ул. Леонтовича, д.9;
Екатеринбург, ул. Сибирский тракт, д.8;
Красноярск, ул. Телевизорная, д.6г;

Магистральная часть сети строиться на 10G лямбдах, на уровне ядра в Москве установлен маршрутизатор Juniper MX960, в других городах на уровне ядра для маршрутизации установлены маршрутизаторы Juniper MX80. Для агрегации и доступа в сети Cloud-IX используются коммутатор Juniper EX4500 и Extreme Networks 670 с оптическими портами SFP + 10G по производительности коммутации до 1.28 Тбит/с.

Подведем итоги

Исходя из понимания пиринга, важно знать, подключён ли ваш провайдер, хостер или дата-центр к одной из указанных сетей. Если да, то в таком случае, трафик до других участников и хостов в России пойдет по кратчайшему пути.

Например, если вы находитесь с Санкт-Петербурге, то трафик от вашего компьютера пойдет до точки обмена трафиком SPB-IX и затем или в MSK-IX, если сайт российский, или в AMS-IX или DE-IX по маршруту: Хельсинки -> Стокгольм -> Франкфурт.

Поскольку все популярные зарубежные контент провайдеры, такие как Youtube, подключены к нашим точкам, то до них трафик идет как локальный, не выходя за пределы России. Так до сайта Facebook трафик пойдет через DATA-IX:

А поскольку ближайшие серверы VK находятся в Санкт-Петербурге, то трафик пойдет через Piter-IX:

А вот до голландского дата-центра Leaseweb нет пиринга:

[Посещений: 2 985, из них сегодня: 1]