Как наладить Ethernet-подключения в промышленных зонах?
Первое, что приходит в голову, это установка Ethernet-коммутаторов, их соединение оптоволокном и использование витой пары для подключения устройств.Однако уже на этом этапе возникает первая сложность и значительное отличие промышленных сетей от офисных: большинство коммутаторов размещается не в серверных, а в монтажных шкафах, разбросанных по территории производственных помещений. Прокладка оптических линий от каждого шкафа по двум различным маршрутам является как дорогостоящей, так и трудоемкой задачей, что затрудняет создание привычной и надежной звездообразной топологии. В результате приходится прибегать к использованию кольцевых конфигураций. Тем, кто знаком с принципами построения Ethernet-сетей, известно, что кольца из коммутаторов представляют собой серьезную проблему. Применение протокола Spanning-Tree в кольцевой топологии может занять до 30 секунд, что для производственных процессов совершенно неприемлемо. Кроме того, скорость сходимости STP снижается с увеличением количества переходов от корневого до крайних коммутаторов; как правило, рекомендуется не превышать расстояние в 7 переходов, что означает, что в кольце должно быть не более 14 коммутаторов.
Возможные решения этой проблемы включают использование протокола Resilient Ethernet Protocol (REP) и его модификации REP Fast для коммутаторов Cisco. Данные протоколы специально разработаны для кольцевых топологий и обеспечивают сходимость сети в пределах 50-100 мс независимо от типов неисправностей и числа коммутаторов, не превышая 50. Время сходимости будет увеличиваться с увеличением размера кольца, тогда как Spanning-Tree в таких условиях никогда не сойдется. REP поддерживается не только промышленные, но и офисными коммутаторами, в том числе из серии Catalyst 9000, которые также могут использоваться для агрегации.
Протокол достаточно прост в настройке:
Для более сложных решений существуют протоколы PRP и HSR, которые обеспечивают полную дубликацию трафика по двум маршрутам. Это позволяет избежать потерь данных при отказе одного из путей, однако и затраты на реализацию такой высокой надежности тоже выше – поддерживаются они только в старших моделях промышленных Ethernet-коммутаторов (IE3400, IE4000, IE4010, IE5000). Тем не менее, требования к надежности и скорости сходимости в промышленной сети обычно определяются спецификой производственного процесса, который она будет обслуживать. Иногда даже минимальная задержка в 50 миллисекунд может оказаться значительно более затратной, чем хорошее сетевое оборудование.
Как обеспечить необходимую надежность работы?
Требования к надежности и отказоустойчивости в промышленном сегменте сети выше, чем в офисном. Поэтому промышленное сетевое оборудование разрабатывается и тестируется для соответствия этим требованиям. В случае коммутаторов Cisco это означает следующие характеристики: они монтируются в компактные шкафы на DIN-рейке и питаются от постоянного тока; защищены от электростатических разрядов до 4000 кВ; функционируют без вентиляторов благодаря высокоэффективному конвективному охлаждению при малых габаритах; выдерживают скачки напряжения согласно стандартам IEC 61000-4-11 и IEC 61850, продолжая работать даже при отсутствии питания до 50 мс, а при отключении отправляют сигнал «Dying Gasp»; обладают высокоточными внутренними часами; позволяют быстро заменить неисправный коммутатор с помощью переноса SD-карты, обеспечивая идентичную конфигурацию и образ IOS; имеют короткое время загрузки (до 80 секунд) и прошли обширное тестирование на соответствие промышленным сертификациям.
Тесты с воздействием водой на коммутатор с уровнем защиты IP67
Не редкость, когда промышленные коммутаторы подсоединяются к обычным офисным коммутаторам, что, в случае отказа последних, может привести к прекращению работы промышленной сети. Чтобы этого избежать, важно использовать специальные промышленные коммутаторы агрегации, такие как Cisco IE5000, которые монтируются в 19-дюймовые шкафы и могут работать как от постоянного, так и от переменного тока, предоставляя высокую плотность портов и производительность, сохраняя при этом надежность и поддержку промышленных протоколов, включая PTP, PRP, HSR и PROFINET MRP. Эти коммутаторы также могут принимать сигналы тревоги от охранных систем и выдавать их для активации сирен или других систем оповещения, помимо отправки SNMP и Syslog-сообщений о состоянии коммутатора.
Поддержка промышленных протоколов
В промышленных Ethernet-сетях используют Ethernet-версии различных промышленных протоколов, таких как PROFINET, CCLINK и CIP. При этом от сетевого оборудования обычно требуется поддержка этих протоколов. Например, для работы с PROFINET необходимо управлять этим протоколом не только контроллерами, сенсорами и исполнительными устройствами, но и самими коммутаторами. В моделях промышленных коммутаторов Cisco начиная с IE3000 реализована поддержка работы по PROFINET как устройства ввода-вывода. Также существует возможность управления некоторыми моделями коммутаторов Cisco через портал Siemens TIA.Еще одним важным стандартом является Time-Sensitive Networking (TSN), который обеспечивает доставку Ethernet-фреймов с предсказуемой задержкой. В отличие от обычного Ethernet, который функционирует асинхронно, TSN гарантирует стабильность во времени. Поддержка функционала TSN присутствует в коммутаторах Cisco IE3400, IE4000, IE4010 и IE5000.
Как защитить промышленную сеть?
Многие стандарты и практические рекомендации по созданию промышленных сетей предполагают использование демилитаризованной зоны (DMZ) между офисной и промышленной сетями. В этой зоне могут быть размещены рабочие станции для удаленного доступа к промышленным компонентам. Существуют некоторые рекомендации по организации такой DMZ. Например, трафик не должен пересекаться между офисной и промышленной сетями; все протоколы, разрешенные между DMZ и промышленным сегментом, должны быть явным образом запрещены для общения с офисным сегментом; доступ из интернета в промышленный сегмент сети не допускается, даже через межсетевые экраны; и, конечно, в политике межсетевого экранирования ни в коем случае не должно встречаться "Any" в полях для IP-адресов, портов и протоколов.Идеальная схема DMZ предполагает ее выключение из сети, при этом промышленная сеть должна продолжать функционировать.
Сегменты промышленной, офисной и DMZ отделяются друг от друга межсетевыми экранами. В этом плане Cisco имеет явное преимущество: на ее устройствах можно построить полностью защищенную сеть. Межсетевые экраны Cisco могут распознавать не только промышленные сетевые протоколы,
а также могут отслеживать и управлять действиями в рамках этих протоколов.
Это значительно упрощает создание правил межсетевого экранирования, которые учитывают не только IP-адреса и TCP/UDP-порты, но и конкретные модели устройств и протоколы взаимодействия. Для большинства сценариев в межсетевом экране уже заложены преднастроенные правила, которые можно адаптировать под свои нужды, защищая систему не только от внешних атак, но и от случайных человеческих ошибок.
Межсетевые экраны гарантируют так называемую макросегментацию сети, обеспечивая разделение на крупные участки, трафик между которыми либо запрещен, либо фильтруется по правилам. Это значит, что ДМЗ, промышленный и офисный сегменты, а также различные цеха и производственные линии могут быть эффективно отделены друг от друга. Для этой цели может быть полезен межсетевой экран Cisco Industrial Security Appliance (ISA), который выполняет функцию полноценного фаерволла в промышленном исполнении.
Как правильно организовать удалённый доступ?
Часто в промышленных сетях нужно обеспечивать удалённый доступ для сервисных организаций, обслуживающих системы автоматизации. Здесь важно строго контролировать, кому и куда предоставляется доступ, защищая сеть от несанкционированного вторжения. Удалённый доступ организуется через вышеупомянутую DMZ.В этом контексте помимо межсетевых экранов Cisco Firepower решение Cisco Identity Services Engine (ISE) также играет важную роль. Межсетевые экраны осуществляют подключение через AnyConnect VPN или проксирование трафика удалённого рабочего стола, а ISE позволяет строго идентифицировать как пользователя, так и целевой объект в сети, к которому предоставляется доступ, а также устанавливать управляемые политики доступа.
Кроме того, система предотвращения вторжений в межсетевых экранах Cisco помогает выявлять и блокировать атаки на уровне промышленных протоколов. Это актуально не только для случаев, когда сотрудники производителей могут проявить недобросовестное поведение в сети заказчика, но и для потенциальных угроз со стороны зараженного оборудования или программного обеспечения, использующего недоступные каналы для вторжений.
Как соблюсти требования регуляторов?
Международные стандарты и документация Cisco Validated Design предоставляют лишь рекомендации, но также существуют требования регулирующих органов, которые нужно соблюдать при построении промышленных сетей. В России, например, это приказ №239 ФСТЭК «Об утверждении требований по обеспечению безопасности значимых объектов критической информационной инфраструктуры Российской Федерации», который описывает архитектурные решения и функционал, которые должны быть реализованы. Часть требований этого приказа, такие как установка межсетевого экрана с обновляемой IPS на периметре промышленного сегмента, сегментация сети и организация DMZ, могут быть реализованы с помощью межсетевых экранов Cisco Firepower. Аутентификация и авторизация выполняются с использованием решения Cisco ISE. Кроме того, для мониторинга промышленной сети применяется Cisco CyberVision. Cisco CyberVision позволяет собирать данные с промышленной сети в виде SPAN-трафика или с помощью специальных сенсоров, встроенных в сетевые устройства, и представлять эту информацию администраторам, а также пересылать необходимые данные в системах управления конфигурациями и SIEM. Система дает возможность получить полную картину подключенных к сети устройств, не только Ethernet-коммутаторов, но и средств автоматизации, проверять их на известные уязвимости и отслеживать их поведение.