Сергей Кузнецов

Как вести бизнес-разведку в "невидимом" интернете?

«CNews», 07.09.06

Интернет является каналом оперативного доступа к чужой критической бизнес-информации, правда, более 97% ее - невидимо. Но, используя авторские методы интернет-поиска и бизнес-разведки, можно получить легальный доступ к конфидециальным данным. Предложенная технология поиска позволяет обеспечить на любых поисковых системах интернета высокий уровень точности, увеличить число найденных документов в 20 раз.

Значение интернета как экономичного канала распространения и доступа к неограниченным объемам информации неоценимо и будет со временем только возрастать. Феномен "серой литературы" делает Сеть единственным каналом оперативного доступа к критической деловой информации. При этом более 97% критичной для бизнеса онлайновой информации невидимо. Но использование ошибок на сайтах позволяет легально получить доступ к персональной и коммерческой информации разного рода (через уязвимости, забытые ссылки и пароли, скрытые данные). Статус интернета как глобальной сети открытых источников информации сводит к нулю риск правонарушения в процессе корректно проведенного расследования (поиск или конкурентная разведка через интернет).

Практическое решение проблем невидимого интернета позволяет, по крайней мере, в три раза увеличить полноту сбора документов, касающихся конкретных объектов (предприятий, персон, технологий). При сборе и слежении по открытым источникам за информацией по комплексным проблемам бизнеса, например, "способы аудита лояльности персонала" или "тенденции развития рынка кондитерских изделий", в среднем число найденных документов возрастает в 20 раз.

Техниками поиска и мониторинга онлайновой информации в интересах корпораций о настоящих и будущих рисках и возможностях занимается специальная дисциплина – "разведка через интернет". Однако использование значительных возможностей интернета для бизнеса своими силами неэффективно, либо дорого и рискованно при заказе услуг на стороне (по крайней мере, в России). Если средства позволяют и минимален риск утечки информации о расследовании, можно дополнительно использовать агентурные технологии.

Авторская технология поиска позволяет обеспечить практически на любых поисковых системах интернета уровень точности не ниже 90%. Иными словами, доля неподходящих документов, собранных по профессионально сделанным запросам, не превышает 10%. В результате, становится возможным строить открытые корпоративные базы знаний для предприятий, работающих в условиях высоких финансовых рисков и быстрых изменений, в том числе и глобальных.

Интернет, видимый и невидимый

Видимый Интернет (Visible Web) или Поверхностный Интернет (Surface Web) – это все то, что может быть проиндексировано программами-роботами публичных поисковых машин и редакторами поисковых каталогов интернета (Open Directory). Иными словами, это то, что пользователь в принципе может найти, используя всевозможные поисковые системы и каталоги.

Для обеспечения процесса быстрого поиска в базах данных, в частности, во Всемирной Паутине требуется заблаговременное формирование и последующее обновление т.н. индексов поисковых систем. Число индексов в конкретной базе данных может быть большим, но всегда конечно. Полнотекстовый индекс содержит информацию о том, какие слова и, возможно, в каком лексическом окружении (контексте) содержатся в конкретном источнике текста. В полнотекстовом индексе возможно сохранение информации о порядковом номере слова от начала текста, абзаца, предложения; о порядковом номере предложения от начала текста, абзаца и о порядковом номере абзаца от начала текста. Индекс ссылок может включать данные о наименовании ссылки, адресе источника и цели, а также возможно о типе ссылки. Для поддержки разнообразных операций со ссылками также используют представления, основанные на графах. Индексы метаданных содержат информацию об источниках, в частности, к какой рубрике (теме) конкретного классификатора относится содержание файла данных в целом или конкретного его фрагмента. Процесс создания индексов называют индексированием. Индексирование может быть ручным (так формируются поисковые каталоги интернета, библиографические базы данных…) или автоматическим (индексы полнотекстовых поисковых систем интернет создаются программами-роботами). Поисковые системы интернета без проблем могут индексировать только документы стандартных или коммуникативных форматов по протоколам http или ftp. К таковым относятся файлы в формате языка гипертекстовой разметки с расширениями htm, html, jsp, asp, php. Также без осложнений индексируются обычные тексты без форматирования: расширения asc, txt, text.

"Невидимый интернет" (Invisible Web) или "глубинный интернет" (Deep Web) или "скрытый интернет" (Hidden Web) – это все то, что, в принципе, доступно через подключенный в интернет компьютер (по протоколу http и через http-шлюзы, специализированные клиенты, иные протоколы и сети), но по разным причинам в нужный момент не попадает в поле зрения заинтересованных лиц.

Почему сложно находить видимое?

Непрофессиональное использование поисковых систем. Неумение использовать известные ресурсы интернета и обходить ограничения поисковых систем делает недоступными даже проиндексированные документы. Для снижения остроты этой проблемы нужно уметь применять разнообразные стратегии поиска (по аналогии) и в полной мере использовать синтаксис языка запросов конкретной поисковой системы, в том числе и ее недокументированные возможности. При "грамотном" поиске и мониторинге интернета объем собранных материалов возрастает в 10-1000 раз. Также для информационных брокеров и интернет-аналитиков обязательно умение тестировать поисковые системы.

Структурирование страниц открывает возможности специфического поиска конкретных документов по содержимому различных внутренних полей (заголовок, описание, аннотация, ключевые слова, названия ссылок, картинок) или с учетом характера и инфраструктуры их гипертекстовых связей (обратная стратегия поиска). Таким образом можно находить невидимую (скрытую) информацию.

Поиск в одном документе. Сложность расследований по открытым источникам через интернет усугубляются фундаментальными пороками самого поиска в текстах. При полнотекстовом поиске все условия запроса ограничены рамками одного документа. В большинстве случаев конкретного документа, включающего все существенные элементы решения, в природе не существует. Решение "размазано" по множеству документов, и процесс подготовки отчета напоминает классическое уголовное расследование. Операция поиска становится многоходовой и требует грамотного выбора самого экономичного сценария. Каждый следующий этап поиска решения опирается на результаты предыдущего (полная аналогия с лестницей). Поэтому, например, невозможно "в лоб" решить задачу: "Найти санаторий на Финском заливе, принимающий семьи с детьми двух лет, с хорошими отзывами, низкими ценами и свободными за месяц местами на первую декаду июля 2007 года". Разбивайте сложный проект на мелкие этапы, всегда имея в виду возможность выбора наиболее экономичной последовательности исполнения отдельных шагов.

Сложности анализа связей. Публичные поисковые системы общего назначения в принципе не позволяют учитывать при поиске содержимое группы документов и наличие/характер их связей, как формальных (гипертекстовые ссылки), так и содержательных (субъект А в одно время в конкретном месте находился с субъектом В, или А и В работали над одним проектом). Частным решением такого класса задач является применение специальных стратегий полнотекстового поиска и анализа по связям и/или прикладных программ извлечения и анализа связей и досье на статических коллекциях документов небольшого объема (как правило, до 20000 записей).

Изменчивость языка. Большинство публичных поисковых систем при индексировании текстов и формировании метаданных не учитывают словоизменения конкретного естественного языка. Для эффективного поиска и интернет-мониторинга требуется вместо одной словоформы (инфинитив) "резать" давать в поисковом запросе полный ряд словоизменений (в данном случае их "всего" 99). Необходимо использовать генераторы словоформ русского языка и многоязычные тезаурусы.

Ограниченная функциональность поисковых систем. Любимый народом Google при индексировании никакие словоизменения не учитывает и имеет на основной форме поиска максимальную длину запроса всего 32 слова. Применяйте технику оптимизации поисковых запросов (универсальная поисковая спецификация), метапоисковые системы и локальные поисковые системы/корпоративные хранилища, учитывающие морфологию языков стран Евросоюза и/или "большой восьмерки".

Отсутствие поиска по метаданным и его слабость. В процессе поиска редко применяются метаданные (информация об информации, объединенная в существующие классификаторы). При использовании классификаторов игнорируется степень неполноты рубрицирования неструктурированной информации. Согласно ранним исследованиям автора, в коллекциях более 50000 текстов не более 3-5% из доступного материала оснащено необходимыми метаданными. Для выбора подходящих рубрик (кодов) классификатора нужно, при возможности, использовать поиск в самом классификаторе, а ограничение по метаданным добавлять либо отдельно, либо в качестве альтернативы условию полнотекстового поиска для выбранной классификационной рубрики. Таким способом, полнотекстовый поиск сочетается с ограничением по метаданным. При отсутствии в открытом доступе нужной информации в электронной форме (интернет, локальные базы данных) следует использовать метаданные (например, библиографические описания из систематических каталогов библиотек) и агентурные технологии разведки.

Почему много информации невидимо?

Неясно, что искать, хотя сама проблема может быть в общих чертах понятна. Требуется применять процедуры поиска аналогий и/или изучать методы целеполагания из арсенала изобретателей (формулирование цели поиска исходя из стоящей проблемы).

Ничего не найдено и не ясно, где искать. Интуитивный выбор поисковых систем и неквалифицированная работа только со знакомыми базами данных дают, как правило, разочаровывающий результат. Нужно научиться находить проблемно-ориентированные базы данных. Необходимо использовать публичные каталоги поисковых систем по тематике, языку, месту или странам мира и иные из десятка известных способов поиска баз данных. Для промышленных систем сбора и мониторинга информации через интернет по конкретному объекту или проблеме применяются, как правило, не более 50 проблемно-ориентированных поисковых систем, удовлетворяющих следующим требованиям: во-первых, приемлемая достоверность; во-вторых, удовлетворительная абсолютная полнота (число подходящих документов больше, чем в других источниках) или относительная полнота (доля подходящих документов выше, чем в других источниках). Доля подходящих документов - отношение числа подходящих документов к общему числу документов в базе данных. В-третьих, высокая оперативность (абсолютная или относительная полнота, рассчитанная по документам за последний период актуальности: час, день, неделю, месяц).

Найдено слишком много (проблема "проклятие размерности"). Любые попытки собрать всю информацию с открытых для индексирования страниц интернета по всему миру упираются в проблему колоссальности объемов доступной информации. По некоторым оценкам, объем информации в интернете удваивается каждые три года. Чем больше информации, тем медленнее идет обновление индексов поисковых систем и тем дороже становится обеспечение услуг поиска в интернете. Централизованная архитектура "звезда" (единый полнотекстовый и другие индексы поисковых машин) для Сети в принципе малоэффективна. Для решения профессиональных задач надо использовать метапоисковые системы, техники построения реестра проблемно-ориентированных баз данных и искать ближе к потенциальным источникам и каналам распространения критической информации. В ряде случаев приемлемым решением является создание локальной копии интересного сайта или использование техники закачки проблемно-ориентированных материалов с разных сайтов через поисковые системы с последующим их изучением средствами локального полнотекстового поиска. Для разрешения проблемы проклятия размерности весьма продуктивна техника морфологического анализа результатов поиска с последующей систематизацией и детальной разработкой более конкретных проблем или объектов. При создании корпоративного хранилища надо развивать сервис "корпоративный метапоиск".

Тексты доступны в нестандартном формате (офисные: doc, pdf, xls, ppt; архивные: zip, rar, arj, chm, msi …, устаревшие chi и др.), или вообще на неизвестном языке и в неизвестной кодировке. Проблему несколько облегчают корпоративные информационные системы, снабженные определителями языка и кодировок, конверторами файлов, программы для скачивания файлов и сайтов из интернета в паре с программами поиска на локальных дисках, а также специализированные поисковые системы интернета и определители языка.

Закрытая часть офисных документов. В большинстве документов офисных форматов есть "невидимая" часть, которая может включать персональные и корпоративные данные, метаданные и, как правило, не индексируется. Например, невидимыми являются данные об авторе (MS Word: "Главное меню – Файл – Свойства – Документ" или "Главное меню – Файл – Свойства – Прочие"), скрытые и удаленные куски текста и много другое. Для обнаружения и удаления таких фрагментов в файлах DOC, RTF, XLS, PPT, PDF и др. форматов используют специализированные программы и возможности отдельных поисковых систем интернета.

Найденный текст не виден или не копируется. Затруднения доступа к онлайновой информации вызывают сами интернет-технологии, например, всплывающие на страницах интернет подсказки с фактографической информацией, данные MacroMedia Flash или шифрование html-кода. Критическая информация скрыта в html-коде найденной страницы и не всегда корректно показывается программой – обозревателем ресурсов интернет. Надо использовать 2-3 разных обозревателя параллельно. Следует изучать исходный html-код интересующей страницы (MS Internet Explorer: "Главное меню - Вид - В виде HTML") и искать непосредственно в нем нужный текст. Надо сделать локальную копию сайта и искать в html-коде страниц требуемые фрагменты текста, используя, например, полнотекстовый поиск Windows. После удаления html-дескрипторов оставшийся текст можно использовать в отчетах.

Нетекстовая информация и метаданные. Нетекстовые файлы и их фрагменты (звуки, изображения, числа, формулы, и их ряды) могут содержать разнообразные неоцифрованные сведения, пространственную или иную нетекстовую информацию и метаданные. Для их поиска и аналитической обработки можно использовать специализированные поисковые системы и прикладные программы мониторинга, оцифровки, извлечения и анализа данных, метаданных и зависимостей. Как правило, такого рода инструментами комплектуются специализированные поисковые системы и корпоративные хранилища ведущих производителей.

Проблемы средств поиска

Переходы по гипертекстовым ссылкам малопродуктивны и не рекомендованы для профессионального поиска фактографической информации. Однако, нужно отметить уникальную методику получения скрытой информации через интернет – обратную стратегию поиска, использующую индекс ссылок.

Поисковые каталоги неполны и покрывают лишь тысячные доли процента из доступных ресурсов интернета, например, крупнейший проект "Открытый каталог", поддерживаемый более 60 тыс. редакторов-добровольцев, учитывает чуть более 4 млн. из доступного триллиона страниц интернета.

Ошибки и ограничения поисковых систем. Разнообразные пороки проектирования, ошибки программной реализации и ограничения анализаторов текстов и поисковых запросов при формировании и обновлении индексов поисковой системы и поиске не позволяют найти нужную информацию без применения специальных техник поиска. Никогда не индексируются спецсимволы – разделители слов. В частности, находить в текстах сумму в долларах "$123" может только Google, остальные поисковые системы показывают 123, 00123 и т.п. Некоторые спецсимволы, попавшие в запрос, вызывают сбои работы конкретной поисковой системы. В результате при значительном количестве подходящих документов и "правильном" запросе пользователь получает "ничего не найдено". В данном случае выручает только знание принципов работы поисковых систем и умение их оперативно тестировать.

Ограничения для роботов поисковых систем. Робот публичной поисковой системы всегда четко выполняет предписания web-мастеров, которые могут ограничить индексирование сайта целиком или его частей, отдельных документов и их частей, а также переходы по ссылкам. По мнению специалистов поисковых систем Altavista и Lycos, в 2002 году такие ограничения были введены на 5-6% сайтов. Если такие ограничения обнаружены, то эти папки сайта, ссылки или документы поисковыми системами не индексируются, и их целесообразно исследовать в первую очередь. Нужно предварительно применять программы копирования сайтов и локального полнотекстового поиска.

Робот не может выполнить элементарный сценарий. Робот поисковой системы, как правило, не может пройти регистрацию на сайте, авторизацию для входа на закрытую часть корпоративного сайта или ресурс с коммерческим доступом, равно как и выполнить элементарный сценарий – последовательность операций доступа к конкретному файлу, выбора необходимых условий или ввода данных в форму поискового запроса. Практически все динамические документы, формируемые "на лету" по запросам пользователей, большинством поисковых систем не индексируются. Для поиска, мониторинга изменений и выкачивания записей из баз данных используются разнообразные стратегии съема информации и специализированные программы – сеансовые роботы и макрокоманды некоторых программ мониторинга страниц и серверов интернета, а также корпоративные хранилища и системы поиска на локальных дисках.

Административные и технические барьеры не позволяют увидеть через поисковую систему как существующий на сайте документ, так зачастую и весь сайт (нужный текст исключается согласно негласной политике индексирования конкретной поисковой системы). Причины такого исключения могут быть самыми разнообразными: официальные предписания и судебные решения, авторское право, корпоративная политика, требования хостинг-провайдеров, высокая стоимость перекачки всего подряд, предполагаемое дублирование, поисковый спам, провокации конкурентов,произвол системных администраторов и др. При достаточности ресурсов надо использовать программы для полного перекачивания сайтов из интернета в паре с программами поиска на локальных дисках и/или корпоративное хранилище.

Результат индексирования крупнейшими поисковыми машинами отдельных сайтов.

Доля проиндексированных документов *

* По состоянию на 11 ноября 2005 года. В приведенной таблице для оценки числа уникальных страниц использовались программы для создания локальных копий сайтов (WinHtTrack и Offline Explorer Pro), для оценки числа проиндексированных документов - запросы Google / Yahoo! / AllTheWeb MSN: site:www.fuld.com, запрос Yandex: #url="www.fuld.com".

Источник: CNews Analytics, 2005

Неполнота известных поисковых систем. Поисковая система расширяет индексы, в основном, двумя способами: по ссылкам из известных ей документов и по информации web-мастеров, введенной через формы "регистрации в поисковой системе". Если сайт интересующей компании или нужная информация никак не находится через известные поисковые системы, ищите другие подходящие поисковые системы, используйте национальные и глобальные метапоисковые системы, базы данных национальных регистраторов доменных имен, а также поиск по базам газетных публикаций (традиционная реклама).

Страницы только для персонала. Для авторизованного доступа служащих компании и партнеров предназначена закрытая часть корпоративных сайтов. Из-за некомпетентности и/или неаккуратности их администраторов в ряде случаев конфиденциальная информация предприятий может быть легально получена через интернет. В некоторых случаях роботы поисковых систем проникают на закрытую часть сайтов, но это скорее исключение, чем правило. Попытки интуитивного поиска закрытой информации на корпоративных сайтах собственными силами, как правило, малопродуктивны. Аутсорсинг такого рода услуг может быть квалифицирован как заказ на промышленный шпионаж и приводит к судебным разбирательствам, утечкам информации и быстрой ликвидации "ценных" брешей. Для выявления ошибок и уязвимостей на корпоративных сайтах конкурентов, а также аудита защищенности собственного сайта можно использовать специализированные программы для копирования сайтов и поиска на локальных дисках, сеансовые роботы, базы известных уязвимостей сайтов и типовых ошибок системных администраторов, а также все прочие технологии интернет-разведки.

Сложность процесса индексирования массы документов сильно замедляет процесс обновления индексов. В этой связи практически полностью выпадают из индекса поисковых систем общего назначения новости, объявления, дискуссии, блоги (персональные дневники), форумы, рассылки, пресс-релизы, тендерная информация и т.п. В этом случае применяются специализированные сервера и службы для поиска и мониторинга актуальной информации – агрегаторы новостей, а также специализированные приложения.

Феномены Сети

У интернета есть много особенностей и присущих ему явлений, которые затрудняют поиск необходимой информации. Но, в то же время, их знание может значительно повысить качество интернет-разведки.

Разнообразие протоколов интернет. Документы доступны по иным (не только http) протоколам передачи и поиска данных (WAIS, Gopher, WAP, ftp, telnet, gopher, z3950, rss, imap, pop3, smtp ). Информация части сервисов интернета просто мимолетна – это сообщения электронной почты, чаты. Нужно уметь искать или знать адреса http-шлюзов для поиска в соответствующих коллекциях, либо установить специализированные программы мониторинга и просмотра (клиенты telnet, z3950, rss) или конверторы. Рекомендуется для сбора нежелательной корреспонденции регистрировать на бесплатных почтовых серверах корпоративные почтовые ящики-ловушки и обязательно сохранять любые сообщения, затрагивающие интересы предприятия. В ряде случаев оказываются полезными базы данных борцов со спамом.

Альтернативы Сети. Клиенты для обмена файлами по фирменным протоколам (Ares, BitTorrent, DirectConnect, ED2K, EDonkey, EMule, Gnutella, Kazaa/FastTrack, Magnet, Napster, OpenNapster, Overnet, Piolet, Torrent) и поиска в файловых архивах (FTP) позволяют находить весьма интересные материалы. Для повышения эффективности нахождения файлов используются специальные стратегии поиска.

Интернет неоднороден в пространстве. На практике интернет является лишь частично прозрачной для сетевого трафика сетью, в которой согласно трехлетнему исследованию (отчет 2001 года) специалистов Arbor Networks из-за различных организационных и технических проблем между отдельными подсетями и узлами существуют т.н. "черные дыры". Это сегменты сети, постоянно или временно доступные только через конкретную подсеть и невидимые через остальные конкурирующие подсети. Черные дыры интернета обуславливают малую вероятность индексирования и обновления информации более 5% серверов. Если критическая информация обнаружена на таком сервере, качайте ее на рабочую станцию или в хранилище, используя местных агентов и провайдеров услуг мониторинга, поиска и доступа к базам данных. В качестве хорошей, не недешевой альтернативы Сети и решения проблемы ее черных дыр можно рассматривать технологии агентурной разведки.

Интернет не является единой сетью. Целенаправленная политика властей Китая по регулированию национального сегмента интернета и защиты граждан и интересов Поднебесной от вредоносного воздействия США и др. иностранных государств естественным образом завершилась введением с 1 марта 2006 года национальной системы регистрации доменных имен в четырех зонах: .cn (англоязычный домен), а также .china, .net и .com (китайскоязычные), каждый из них представляет собой два иероглифа. Создан прецедент – национальный сегмент интернета, адресация в котором не обеспечивается зарубежными DNS-серверами, принадлежащие американской организации ICANN. Для работы в таких сегментах интернета используйте несколько местных сотрудников, работающих под хорошим прикрытием через национальных провайдеров интернета.

Интернет неоднороден во времени. Вчера критическая для бизнеса информация или доказательство правонарушения были обнаружены, а сегодня ее по-тихому убрали с сайта. Нужные тексты могут быть недоступны из-за проблем на серверах (реорганизация, отказы в обслуживании, простои оборудования) . Для получения доступа к таким документам следует использовать метапоисковые сервера и программы и обязательно смотреть сохраненные поисковыми системами копии документов (кэш поисковых систем). Применяйте программы мониторинга страниц и сайтов интернета, а также интернет-архивы.

Неизвестные домены. Служебная часть корпоративных сайтов может быть размещена не только на основном корпоративном домене второго уровня, но и на доменах третьего и четвертого уровней. При этом на "закрытый" домен третьего или четвертого уровня может не быть ни одной ссылки с домашней и других открытых страниц изучаемого сайта, а его просмотр может быть открытым. Роботы поисковых систем их могут не видеть. Для обнаружения таких доменов на корпоративном домене второго уровня используются специализированные публичные поисковые сервера доменных имен.

Вместо заключения

В условиях нарастающей глобальной конкуренции фактором выживания предприятий является их способность быстрее предоставить потребителям большую или уникальную ценность при меньших издержках. Сильной стороной интернет-разведки является невысокая стоимость, безграничность охвата и высочайшая оперативность. Но она не может заменить иные виды деловой разведки, в частности, работу персонала на местах. Она не может компенсировать недостатки традиционного (репрессивного) управления предприятием, а лишь до предела обнажает его слабости.

Об авторе.

Более подробно об авторе данной статьи вы можете узнать здесь.

На сайте доступны материалы по темам: конкурентная разведка | конкурентный анализ | общество конкурентной разведки | конкурентный маркетинг | деловая разведка | бизнес разведка | исследование рынка | угрозы бизнесу | возможности бизнеса | анализ конкурента | анализ рынка

Публикации по конкурентной разведке: сбор конкурентной информации | кадры и КР | клиент и исполнитель задач КР | КР и конкурентная контрразведка | конкурентная разведка и ПЭВМ | примеры КР и конкурентной борьбы | смежные сферы и КР