Фильтрация контента для чего она служит
To-do: Фильтруем вся и всё
Данная статья представляет из себя скорее более FAQ, чем полноценный мануал. Впрочем, многое уже написано на хабре и для того присутствует поиск по тегам. Смысла переписывать всё заново большого нет.
В последнее время наше государство, к счастью или не к счастью, принялась за интернет и его содержимое.
Многие, несомненно, скажут что нарушаются права, свободы и т.п. Конечно, думаю мало у кого возникнуть сомнения по поводу того, что то что придуманные законы сделаны мало понимающими людьми в деле интернетов, да и основная их цель это не защита нас от того, что там есть. Будучи ответственным человеком да подгоняемый и прокурорами в некоторых учреждениях, встаёт вопрос ограничения поступающей информации. К таким учреждениям, к примеру, относятся школы, детсады, университеты и т.п. им учреждения. Да и бизнесу то-же надо заботится об информационной безопасности.
И первый наш пункт на пути к локальному контент фильтру-это
Анализ того, что такое есть интернет и как он работает.
Не для кого не секрет, что 99 процентов интернета-это http. Далее известно, что у каждого сайта есть имя, содержания страницы, url, ip адрес. Известно, также, что на одном ip может сидеть несколько сайтов, как и наоборот. Так-же, url адреса могут быть как динамичны, так и постоянны.
А то, что записано на страничке, то написано. Отсюда делаем выводы, что сайты можно мониторить по:
Cредства их осуществления.
Тут опять два пути:
Платные решения-это аппаратные(тобишь коробка с неизвестно чем, но делающая своё дело), аппаратно-программные(это то-же коробка, но уже с полноценной ос и соответствующими приложениями) и программные.
Бесплатные решения-это только программные. Но бывают и исключения, но это как раз тот случай, подтверждающий правило.
К платным относятся такие, как Kaspersky антивирус соответствующего функционала, ideco.ru, netpolice, kerio и т.п. Найти их легко, ибо их хорошо рекламируют и достаточно в строке поиска ввести что-то вроде — контентный фильтр купить.
Бесплатные решения имеют один недостаток-они всё сразу делать не умеют. найти их затруднительнее. Но вот их список: PfSense, SmoothWall(бывает двух видов-платный и бесплатный. Бесплатный немного не функционален), UntangleGateway, Endian Firewall(тоже есть платный и бесплатный), IPCOP, Vyatta, ebox platform, Comixwall(Чудное решение. Можете скачать с моего сайта 93.190.205.100/main/moya-biblioteka/comixwall). Все данные решения обладают одним недостатком — ограниченность.
Где происходит фильтрация.
Возможны следующие варианты:
Теперь следующий вопрос:
Надёжность фильтрации.
Думаю, ясно. Защиту нужно делать многоуровневой, ибо то, что просочится на одном уровне защиты, перекроется другим уровнем.
Давайте поговорим о
О недостатках уровней защиты.
Возможность обхода пользователем контентной фильтрации.
Вопрос-производительность.
Вопрос-иерархия кэшей и прокси.
Если у вас много компьютеров и вы имеете возможность использовать несколько в качестве фильтрации, то делайте так. На одном ставите прокси сервер squid и указываете на нём параметры родительских кэшей с параметром round-robin(http://habrahabr.ru/post/28063/). В качестве родительских на каждом конкретном компьютере выступает выступает dansguardian со squid в связке(ибо без вышестоящего dansguardian не умеет). Вышестоящие располагаются на тех-же компьютерах, на которых располагаются и dansguardians. Для вышестоящих большой кэш не имеет смысла делать, а для первого-обязательно самый большой кэш. Даже если у вас одна машина, то на ней всё-равно делайте связку squid1->dansguardian->squid2->провайдер с таким-же распределением кэширования. На dansguardian не возлагайте ничего, кроме анализа написанного на страницах, перерисовки контента, заголовков и некоторых url, блокировки mime типов. Не в коем случае не вешайте на него антивирус и чёрные листы, иначе будут тормоза.
Анализ по спискам пусть будут делать squid1 и squid2.
Проверку на вирусы пусть будет делать squidclamav через c-icap на squid2. Белые списки вешаем на squid1.
Всё, что в белом списке, должно идти напрямую в интернет, минуя родительские прокси.
DNS сервер обязательно используем свой, в котором используем перенаправление на skydns или dns от yandex. Если есть локальные ресурсы провайдера, то добавляем зону forward на dns провайдера. Так-же в dns сервере прописываем локальную зону для нужных внутрисетевых ресурсов(а что-бы было красиво, они нужны). Указываем nosslsearch поиска google. В конфигах squid обязательно используем свой dns.
Для всего используем вебку Webmin и командную строчку. На windows серверах всё делаем через мышку.
Настройка локальной сети
К нам идёт проверка.
В данном случае-все ползунки в максимум.
Дополнительно-запрещаем все видеосайты, контакт, социальные сети, музыкальные порталы, файлообменники и файлообменные сети.
Запрещаем mp3.
Ставим галочку напротив безопасного поиска в личном кабинете SKYDNS.
Обязательно приводим в порядок документацию.
Контентная фильтрация: зачем и как это делать
Привет, Хабр! Сегодня мы поговорим о фильтрации интернет-контента. Три года назад вступил в силу федеральный закон 139-ФЗ, дополнивший уже принятый 436-ФЗ «О защите детей от информации, причиняющей вред их здоровью и развитию». В соответствии с российским законодательством, доступ в интернет в школах возможен лишь «при условии применения административных и организационных мер, технических, программно-аппаратных средств защиты детей от информации, причиняющей вред их здоровью и (или) развитию». Другими словами, закон требует обязательной фильтрации интернет-контента. Добро пожаловать под кат.
Возможно, кто-то считает, что это исключительно российская новация. Вовсе нет. Практика фильтрации контента давно есть во многих странах, делается это по-разному. Например, во Франции министерство народного образования запустило автоматизированную и централизованную фильтрацию контента в школах на основании двух «чёрных списков»: в первом списке – порнографические ресурсы, во втором – расистские и антисемитские сайты. Он составлен в соответствии с общеевропейским проектом по развитию безопасного интернета (Safer Internet Action Plan).
В США «Акт о защите детей от интернета» был принят еще в 2001 году. Для фильтрации используются коммерческие фильтрующие программные пакеты, а в некоторых штатах — блокирование IP-адресов на уровне провайдера.
В Канаде в рамках проекта «Чистая связь» с 2006 года провайдеры, добровольно участвующие в программе, блокирует переход по ссылкам из «черного списка», который формируется аналитиками Канадского центра по защите детей (Canadian Centre for Child Protection). Провайдеры сами решают, как блокировать контент — по IP-адресу или доменному имени, а Sasktel BellCanada и Telus принципиально блокируют только ссылки, чтобы избежать случайного блокирования ресурсов, не содержащих запрещенного контента.
Большинство поисковых систем в Германии — Google, Lycos Europe, MSN Deutschland, AOL Deutschland, Yahoo!, T-Online и T-info — присоединились к соглашению «Добровольный самоконтроль для мультимедийных сервис-провайдеров». Они фильтруют интернет-сайты на основе списка, который определяется Федеральным департаментом по медиаресурсам, вредным для молодежи.
Контентная и url-фильтрация необходима не только в библиотеках, школах и университетах, где делать это нужно обязательно.
Уже давно большинство компаний старается закрыть доступ к развлекательным ресурсам и социальным сетям для своих сотрудников. Нет нужды объяснять — почему. С другой стороны, делать это необходимо с умом. Ведь доступ к Facebook и LinkedIn для HR, PR и сотрудникам отдела продаж нужен для повседневной работы. Да, полностью закрыть доступ к ресурсам, которые в компании считаются нежелательными для посещения, нельзя. Можно обойти эти запреты, выходя в интернет со смартфона или планшета. Но хотя бы не через корпоративную сеть.
Для простоты рассмотрим настройки фильтрации контента на примере обычной школы. Настройка модуля NetPolice и правил пользователей по типу, группе и категории для любой другой организации происходит аналогично.
Что нам нужно сделать? Запретить для всех доступ к сайтам из списка Росреестра, настроить школьникам доступ только по разрешенным категориям, а учителям — доступ по всем категориям, кроме запрещенных.
1. Начинаем с создания групп пользователей. В нашем случае это группы «Учителя» и «Школьники». Разумеется, в компании необходимо будет создать больше групп: «Руководители», «Сотрудники», «PR», «HR» и так далее. Принцип создания групп пользователей тот же, что и в нашем примере.
Для создания группы пользователей переходим в раздел консоли управления «Пользователи и группы». В блоке «Пользователи и группы» во вкладке «Действия» нажимаем на ссылку «Добавить группу»:
2. Сначала создаём группу «Учителя»:
3. Теперь создаём правила для пользователей при помощи модуля NetPolice. В консоли управления переходим в раздел «Модули расширения – NetPolice – Правила» и добавляем его:
4. Называем правило «Запрет по категориям (учителя)» и выбираем категории запрета:
5. создаём пользовательское правило и выбираем тип правила «Запретить доступ»:
6. В настройке правила выбираем группу «Учителя». На этом настройка для этой группы завершена:
7. Теперь переходим к созданию правил для группы «Школьники». Сначала (пусть это не покажется странным) нам необходимо запретить доступ ко всем ресурсам:
7. Добавляем правило, разрешающее пользователям работу с DNS (53 порт), чтобы выход в интернет был возможен. Для этого создаём правило «DNS-клиент», выбираем протоколы TCP/UDP и изменяем диапазон портов назначения на 53 порт:
8. Теперь добавляем пользовательское правило, разрешающее ученикам просмотр сайтов:
9. В отличие от группы «Учителя», которой разрешено посещать любые ресурсы, кроме запрещенных, пользователи из группы «Школьники» могут попасть только на определенные интернет-ресурсы:
10. Создаём новую категорию и подтверждаем автоматическое создание нового правила на разрешение:
11. И, наконец, настраиваем правило для работы с группой «Школьники».
12. Возвращаемся к настройкам групп пользователей, ведь нам еще необходимо, чтобы весь трафик проходил через прокси-сервер и блокировался при запросах мимо прокси.
13. Первыми в списке должны идти правила на разрешения. Для группы «Учителя» правило «Запрет по категориям (учителя)» добавляется автоматически:
Нам осталось только внести пользователей в определенные группы и проверить правильность настроек, перейдя по ссылке www.smart-soft.ru/ru/solutions/check-federal-law/.
Этим возможности Traffic Inspector не ограничиваются. Кроме контентной фильтрации мы можем, создав так называемый «черный» список, запретить доступ к определенным сайтам, которые могут не быть включены в уже запрещенные категории. Например, таким образом в компании можно запретить для определенных категорий сотрудников доступ к социальным сетям и развлекательным сервисам.
Подробнее о настройках «черного» списка здесь.
Если наши читатели знают другие интересные решения этой проблемы, как всегда, приглашаем к обсуждению.
Что такое контентная фильтрация?
Контентная фильтрация — это способ распознавания и ограничения нежелательного контента. Часто о контентной фильтрации можно слышать в контексте обеспечения информационной безопасности школ и ВУЗов.
В учебных заведениях распространена практика предоставлять учащимся возможность доступа в интернет с общественных компьютеров, к примеру, в библиотеках. При этом нужно обеспечить защиту сети от нежелательного контента, к которому могут иметь доступ студенты.
Для обеспечения такой защиты как раз используются инструменты, которые осуществляют контентную фильтрацию. Эти инструменты могут быть либо узкоспециализированными, либо фильтрация может быть функцией инструмента более широкого профиля, как в случае с DLP-системами.
Принципы контентной фильтрации
Фильтрации могут подвергаться различные сущности — непосредственно контент веб-страниц, URL-адреса, на уровне провайдеров могут блокироваться целые ресурсы, хоть здесь уже идет речь несколько о другом.
В общем виде принцип работы любого контент-фильтра прост. Это программа, которая пропускает через себя текст и сравнивает последовательности символов с образцами, хранящимися в базе программы. База может быть предустановлена разработчиком, либо может создаваться службой безопасности под конкретные нужды.
Если в процессе сравнения появляется совпадение, система выполняет предписанные ей действия. К примеру, она может заблокировать отправку сообщения, может сделать скриншот, записать информацию о событии в специальную базу данных, отправить сообщение офицеру безопасности.
У разных программ есть разные возможности. Одни срабатывают только при строгом совпадении слов или последовательностей символов. Другие умеют работать со словоформами, словами, написанными транслитом, и даже с ошибками. Наша DLP-система SecureTower относится как раз ко второму типу. Несмотря на то, что реализовать такой функционал сложнее, такой инструмент будет гораздо надежнее защищать от трафика нежелательного контента.
Также некоторые программы могут позволять создавать группы пользователей и для каждой группы устанавливать особые правила и разрешения. К примеру, можно заблокировать соцсети для всех сотрудников, но специалистам SMM-отдела разрешить доступ к ним.
Контент-фильтр DLP-системы
DLP-системы сканируют контент на предмет наличия конфиденциальных документов или употребления слов, которые могут свидетельствовать о вредоносной деятельности сотрудников. К примеру, о ведении переговоров с третьим сторонами, заключении сделок в обход компании, поиске новой работы, разглашении корпоративной информации.
Базу контента, на который программа должна обращать внимание, офицеры безопасности, как правило, создают сами. Хотя при установке системы уже с самого начала в ней есть преднастроенные словари, которые можно использовать для создания собственных политик безопасности.
Программа при обнаружении подозрительного контента отправляет сообщение офицеру службы безопасности, а также в зависимости от настроек программы, может блокировать отправку сообщения или копирование текста, распечатку документа. Происходит запись информации об инциденте в базу данных для дальнейшего проведения расследования.
Также стоит упомянуть, что DLP-система может проверять не только текстовое содержимое файла, но и графическое. К примеру, в базу можно занести образцы печатей, и система будет срабатывать при обнаружении попыток отправки сканов документов с соответствующими печатями.
Сферы применения контентной фильтрации
Как было сказано в самом начале, контентная фильтрация широко применяется в сфере образования. Помимо этого, инструменты контентной фильтрации применяются в промышленности, государственном секторе, организациях охраны правопорядка, не говоря об органах обеспечения государственной безопасности.
Следует отметить, что фильтрация применяется как для ограничения доступа к «внешнему контенту», так и для защиты от утечек «внутреннего контента». Принципиальных различий на низком уровне в работе фильтра в обоих случаях нет. Разница в том, что для ограничения доступа сканируются запросы, а также содержание поступающих ответов, а для защиты от утечек сканируется контент пересылаемых сообщений (в мессенджерах, по почте, через протоколы передачи файлов и т.д.). Однако анализ запросов и изучение посещаемых ресурсов имеет важное значение в обоих случаях.
Контентная фильтрация в образовательных учреждениях
Приветствую, %username%
Вот уже несколько лет я работаю в школе, и сейчас в мои обязанности входит поддержка школьной сетевой инфраструктуры. Хочу поделиться с вами своим небольшим опытом по организации контентной фильтрации у нас в школе.
Суть проблемы
В последнее время стало приходить очень много писем от министерства, о том, что нужно организовать контентную фильтрацию в школах, тем самым защитить юных дарований от негативной информации. Каждый раз, читая очередное письмо, как две капли воды похожее на предыдущее, я недоумевал. Было написано что нужно сделать, но не как это сделать. Да, были отсылки на проприетарные продукты но меня и мое руководство данный вариант не особо устраивал.
Разумеется, следом за письмами пожаловал помощник прокурора с целью проверить качество фильтрации. Искал через поисковые системы слова: Скинхеды, Дезоморфин, Кодеин. Конечно же без проблем нашел описание кодеина и дезоморфина в википедии, возмутился и выписал предписание.
Значит, нужно срочно что-то придумать, чтобы как минимум в следующий раз пройти проверку и не получить штраф. Было найдено несколько решений данного вопроса, тем не менее ни одно из них меня не удовлетворило полностью. Во всем есть свои плюсы и минусы, и я пришел к выводу что фильтрация контента должна быть комплексной.
Как это должно быть в идеале
Вариант №1
Министерство образования нанимает группу разработчиков, и те пишут продукт, который позволит без лишних затрат организовать сетевую инфраструктуру в школе и распространяет его по образовательным учреждениям бесплатно. Разумеется, должна вестись постоянная поддержка продукта и улучшение функционала, плюс учитывать мнение и пожелание конечных пользователей.
Вариант №2
Организовать сообщество людей, которое будет разрабатывать на базе UNIX-подобной операционной системы интернет-шлюз с удобной графической оболочкой и необходимым функционалом.
К сожалению, в жизни все по другому. По сути, школы представлены сами себе, а у министерства явно не в приоритете помочь школам в данном вопросе. Предвидя реплики типа: «в школе есть системный администратор, вот пусть этим и занимается», по своему личному опыту знаю, что в некоторых школах ставка системный администратор вообще не предусмотрена. В моем случае, я просто специалист по кабинету информатики.
Что можно использовать
Интернет-цензор
Бесплатный интернет-фильтр для детей. К сожалению, он только под Windows и нет возможности централизованного управления для всех компьютеров в сети. Это решение больше подойдет для небольшой группы компьютеров. При установке просит придумать пароль и указать электронную почту для восстановления пароля и отправки уведомлений.
Личный опыт: На нескольких компьютерах, через некоторое время после установки программа сообщала что она повреждена и просила переустановку. После переустановки работала пару дней, и все повторялось. Что интересно, фильтрация по прежнему работала. Также были случаи, когда пользователь просто забывал пароль, и при нажатии на кнопку «Восстановить пароль» программа сообщала, что интернет отсутствует и соответственно узнать/восстановить пароль через электронную почту не выйдет. Удалить без знания пароля и вреда для системы лично у меня не вышло.
SkyDNS
Российский облачный интернет-сервис, предоставляющий услуги контент-фильтрации. Вся суть в замене DNS-серверов компьютера на предоставленный DNS-сервер компании. Можно указать вручную, или установить программу-клиент с официального сайта, которая сделает все сама, плюс прямо из программы можно выбрать категории фильтрации. Клиент только для ОС Windows. Если клиент не использовать, необходим внешний статический IP-адрес и вручную сделать привязку в личном кабинете на сайте.
Личный опыт: В целом, сервис довольно неплохой. Имеются черные и белые списки сайтов, статистика, можно включить переадресацию всех поисковых систем на безопасный поиск самого сервиса. За небольшую плату в год, можно настроить страницу блокировки и включить режим работы только по белому списку сайтов, который включает в себя несколько тысяч адресов безопасных сайтов.
Как вариант, можно использовать другие безопасные DNS-серверы, например от Яндекс:
DNS1: 77.88.8.7
DNS2: 77.88.8.3
P.S. Логичней всего DNS-сервер указывать на роутере, или в настройках DHCP-сервера, если таковой используется.
UserGate Proxy & Firewall
Представляет собой интернет-шлюз, который устанавливается на отдельный компьютер под управлением Windows. В комплекте идет трехъядерный антивирус, межсетевой экран, контент-фильтр, контроль и мониторинг пользователей и еще пару полезных плюшек.
Личный опыт: Изначально я считал плохой идеей держать компьютер под управлением Windows для таких задач, но тем не менее данный продукт проработал у нас более года. За это время, частенько падал интернет, были различные глюки и приходилось делать рестарт системы. Учитывая, что доступ к этому компьютеру был не только у меня, находились умельцы посидеть за этим компьютеров и притащить туда вирусы.
Финал настал, когда фирма каждый раз выпуская новую версию просила доплатить за обновление. Более того, за лицензию на контент-фильтр Entensys URL Filtering надо было приобретать отдельно, и причем каждый год.
KinderGate
Контент-фильтр, разработан компанией Entensys, как и UserGate. Есть клиенты под основые ОС, фильтрация по содержимому сайта, фильтр по категориям, родительский контроль, безопасный поиск, контроль загрузки файлов, поддерживает кластеризацию и фильтрацию HTTPS-протокола. Стоимость составляет 490 рублей на компьютер в год.
Личный опыт: Данное ПО очень активно рекламируют в образовательных учреждениях. Наша школа данный продукт не заказывала, ввиду большой конечной стоимости. В соседних школах и детских садах были куплены 1-2 лицензии, говорят стал медленнее работать интернет и очень частые срабатывания, а значит поиск в интернете стал в разы больше. Видимо работает по принципу лучше пере, чем недо.
Интернет Контроль Сервер
Интернет-шлюз, разработанный на базе FreeBSD. Имеет внушительный функционал. В комплекте идут контентная фильтрация, категории трафика SkyDNS, модуль DLP и IP-телефонии, встроенный антивирус, учет трафика и контроль доступа, прокси-сервер, защита корпоративной сети, почта, FTP, Web и Jabber сервер. Явные преимущества этого решения в том, что можно бесплатно использовать полнофункциональную версию на 8 пользователей.
Технологии контентной фильтрации
Что такое контентная фильтрация?
Контентная фильтрация — это функция управления доступом пользователей к интернет-ресурсам. Фильтрация может осуществляться аппаратными и программными средствами.
Наиболее широкое распространение получили три алгоритма фильтрации:
Лучшие в мире системы контентной фильтрации используют URL фильтрацию, основанную на анализе и категоризации интернет-ресурсов. Такой механизм признан наиболее эффективным методом фильтрации контента.
Как работает фильтр?
При неуправляемом доступе к интернет-ресурсам запрос от пользователя транслируется через точку доступа в Сеть к любому ресурсу. Пользователь получает запрашиваемую информацию, как показано на рисунке ниже.
При использовании фильтра перед исполнением запроса ресурс проверяется на принадлежность к конкретной категории. Если веб-ресурс принадлежит к одной из запрещенных категорий, то доступ пользователя к такому ресурсу будет блокирован. Схема запрета доступа к опасному ресурсу представлена на рисунке ниже.
Если ресурс НЕ относится к одной из запрещенных категорий, то доступ к ресурсу будет разрешен (см. ниже).
Разрешение доступа к неизвестному ресурсу
Если пользователь запрашивает доступ к ресурсу, не определенному в базе ресурсов, то доступ будет разрешен или запрещен в зависимости от пользовательских настроек фильтра.