Информационные процессы что такое поиск
Поиск информации
Информационный поиск (ИП) (англ. Information retrieval ) — процесс поиска неструктурированной документальной информации и наука об этом поиске.
Содержание
История
Термин «информационный поиск» был впервые введён Кельвином Муром в 1948 в его докторской диссертации, опубликован и употребляется в литературе с 1950.
Сначала системы автоматизированного ИП, или информационно-поисковые системы (ИПС), использовались лишь для управления информационным взрывом в научной литературе. Многие университеты и публичные библиотеки стали использовать ИПС для обеспечения доступа к книгам, журналам и другим документам. Широкое распространение ИПС получили с появлением сети Интернет. У русскоязычных пользователей наибольшей популярностью пользуются поисковые системы Яндекс и Рамблер.
Информационный поиск как процесс
Поиск информации представляет собой процесс выявления в некотором множестве документов (текстов) всех таких, которые посвящены указанной теме (предмету), удовлетворяют заранее определенному условию поиска (запросу) или содержат необходимые (соответствующие информационной потребности) факты, сведения, данные.
Процесс поиска включает последовательность операций, направленных на сбор, обработку и предоставление необходимой информации заинтересованным лицам.
В общем случае поиск информации состоит из четырех этапов:
Виды поиска
Полнотекстовый поиск — поиск по всему содержимому документа. Пример полнотекстового поиска — любой интернет-поисковик, например www.yandex.ru,
Поиск по метаданным — это поиск по неким атрибутам документа, поддерживаемым системой — название документа, дата создания, размер, автор и т. д. Пример поиска по реквизитам — диалог поиска в файловой системе (например, MS Windows).
Поиск по изображению — поиск по содержанию изображения. Поисковая система распознает содержание фотографии (загружена пользователем или добавлен URL изображения). В результатах поиска пользователь получает похожие изображения. Так работают поисковые системы:
Методы поиска
Адресный поиск
Процесс поиска документов по чисто формальным признакам, указанным в запросе.
Для осуществления нужны следующие условия:
Адресами документов могут выступать адреса веб-серверов и веб-страниц и элементы библиографической записи, и адреса хранения документов в хранилище.
Семантический поиск
Процесс поиска документов по их содержанию.
Условия:
Документальный поиск
Процесс поиска в хранилище информационно-поисковой системы первичных документов или в базе данных вторичных документов, соответствующих запросу пользователя.
Два вида документального поиска:
Фактографический поиск
Процесс поиска фактов, соответствующих информационному запросу.
К фактографическим данным относятся сведения, извлеченные из документов, как первичных, так и вторичных и получаемые непосредственно из источников их возникновения.
Различают два вида:
Информационный поиск как наука
Информационный поиск — большая междисциплинарная область науки, стоящая на пересечении когнитивной психологии, информатики, информационного дизайна, лингвистики, семиотики, и библиотечного дела.
ИП рассматривает поиск информации в документах, поиск самих документов, извлечение метаданных из документов, поиск текста, изображений, видео и звука в локальных реляционных базах данных, в гипертекстовых базах данных таких, как Интернет и локальные интранет-системы.
Существует некоторая путаница, связанная с понятиями поиска данных, поиска документов, информационного поиска и текстового поиска. Тем не менее, каждое из этих направлений исследования обладает собственными методиками, практическими наработками и литературой.
В настоящее время ИП — это бурно развивающаяся область науки, популярность которой обусловлено экспоненциальным ростом объемов информации, в частности в сети Интернет. ИП посвящена обширная литература и множество конференций. Одной из наиболее известных является Министерством обороны США совместно с Институтом Стандартов и Технологий (NIST) с целью консолидации исследовательского сообщества и развития методик оценки качества ИП.
Запрос и объект запроса
Говоря о системах ИП, употребляют термины запрос и объект запроса.
Запрос — это формализованный способ выражения информационных потребностей пользователем системы. Для выражения информационной потребности используется язык поисковых запросов, синтаксис варьируется от системы к системе. Кроме специального языка запросов, современные поисковые системы позволяют вводить запрос на естественном языке.
Объект запроса — это информационная сущность, которая хранится в базе автоматизированной системы поиска. Несмотря на то, что наиболее распространенным объектом запроса является текстовый документ, не существует никаких принципиальных ограничений. В частности, возможен поиск изображений, музыки и другой мультимедиа информации. Процесс занесения объектов поиска в ИПС называется индексацией. Далеко не всегда ИПС хранит точную копию объекта, нередко вместо неё хранится суррогат.
Задачи информационного поиска
Центральная задача ИП — помочь пользователю удовлетворить его информационную потребность. Так как описать информационные потребности пользователя технически непросто, они формулируются как некоторый запрос, представляющий из себя набор ключевых слов, характеризующий то, что ищет пользователь.
Классическая задача ИП, с которой началось развитие этой области, — это поиск документов, удовлетворяющих запросу, в рамках некоторой статической коллекции документов. Но список задач ИП постоянно расширяется и теперь включает:
Оценки эффективности
Существует много способов оценить насколько хорошо документы, найденные ИПС, соответствуют запросу. К сожалению, понятие степени соответствия запроса, или другими словами релевантности, является субъективным понятием, а степень соответствия зависит от конкретного человека, оценивающего результаты выполнения запроса.
Точность (precision)
Определяется как отношение числа релевантных документов, найденных ИПС, к общему числу документов:
,
где Drel — это множество релевантных документов в базе, а Dretr — множество документов, найденных системой. По результатм исследований компании, оценивающей релевантность показателей основных русских и зарубежных поисковых систем.
0.698 Эти показатели были получены на основе анализа запроса на слово cat и по тому, как много релевантных ссылок выдаёт поисковик на 100 первых ответов.
Полнота (recall)
Отношение числа найденных релевантных документов, к общему числу релевантных документов в базе:
,
где Drel — это множество релевантных документов в базе, а Dretr — множество документов, найденных системой.
Выпадение (fall-out)
Выпадение характеризует вероятность нахождения нерелевантного ресурса и определяется, как отношение числа найденных нерелевантных документов к общему числу нерелевантных документов в базе:
,
где Dnrel — это множество нерелевантных документов в базе, а Dretr — множество документов, найденных системой.
F-мера (F-measure, мера Ван Ризбергена)
Традиционно F-мера определяется, как гармоническое среднее точности и полноты:
Часто ее также называют F1 мерой, потому что точность и полнота присутствуют в этой формуле с одинаковым весом.
Более общая формула для положительного вещественного α имеет вид:
См. также
Ссылки
Литература
Полезное
Смотреть что такое “Поиск информации” в других словарях:
Поиск информации — в узком смысле процесс выявления в массиве информации записей, удовлетворяющих заранее определенному условию поиска (запросу). По английски: Information retrieval Синонимы: Поиск данных См. также: Автоматизированный информационный поиск… … Финансовый словарь
поиск (информации) — — [http://slovarionline.ru/anglo russkiy slovar neftegazovoy promyishlennosti/] Тематики нефтегазовая промышленность EN retrieval … Справочник технического переводчика
поиск информации — — [http://www.iks media.ru/glossary/index.html?glossid=2400324] Тематики электросвязь, основные понятия EN information retreival … Справочник технического переводчика
поиск информации — informacijos paieška statusas T sritis automatika atitikmenys: angl. information retrieval vok. Informationserschließung, f; Wiederauffinden von Informationen, n; Wiedergewinnung von Nachrichten, f rus. информационный поиск, m; поиск информации,… … Automatikos terminų žodynas
ПОИСК ИНФОРМАЦИИ — совокупность логических и технических операций, конечной целью которых является извлечение из массива документов нужной информации или документа по заданным признакам в соответствии с запросом … Большой экономический словарь
Ретроспективный поиск информации — информационный поиск, проводимый во всем накопленном массиве документов или фактов по любому запросу, соответствующему тематике и виду информационного массива. По английски: Retrospective searching См. также: Информационный поиск Финансовый… … Финансовый словарь
ХРАНЕНИЕ И ПОИСК ИНФОРМАЦИИ — ХРАНЕНИЕ И ПОИСК ИНФОРМАЦИИ, отрасль КОМПЬЮТЕРНОЙ НАУКИ, изучающая функционирование массивов информации. Система поиска баз данных предполагает нахождение больших компьютерных файлов, содержащих необходимые ДАННЫЕ. Эти данные могут быть… … Научно-технический энциклопедический словарь
упорядоченный поиск информации — — [Л.Г.Суменко. Англо русский словарь по информационным технологиям. М.: ГП ЦНИИС, 2003.] Тематики информационные технологии в целом EN ordered retrieval … Справочник технического переводчика
хранение и поиск информации — — [http://www.iks media.ru/glossary/index.html?glossid=2400324] Тематики электросвязь, основные понятия EN information storage and retrievalISR … Справочник технического переводчика
Поиск подстроки — Поиск информации одно из основных использований компьютера. Одна из простейших задач поиска информации поиск точно заданной подстроки в строке. Тем не менее, эта задача чрезвычайно важна она применяется в текстовых редакторах,… … Википедия
Информационный поиск
Содержание
История
Термин «информационный поиск» был впервые введён Кельвином Муром в 1948 в его докторской диссертации, опубликован и употребляется в литературе с 1950.
Сначала системы автоматизированного ИП, или информационно-поисковые системы (ИПС), использовались лишь для управления информационным взрывом в научной литературе. Многие университеты и публичные библиотеки стали использовать ИПС для обеспечения доступа к книгам, журналам и другим документам. Широкое распространение ИПС получили с появлением сети Интернет. У русскоязычных пользователей наибольшей популярностью пользуются поисковые системы Google, Яндекс и Рамблер.
Информационный поиск как процесс
Поиск информации представляет собой процесс выявления в некотором множестве документов (текстов) всех тех, которые посвящены указанной теме (предмету), удовлетворяют заранее определенному условию поиска (запросу) или содержат необходимые (соответствующие информационной потребности) факты, сведения, данные.
Процесс поиска включает последовательность операций, направленных на сбор, обработку и предоставление информации.
В общем случае поиск информации состоит из четырех этапов:
Виды поиска
Полнотекстовый поиск — поиск по всему содержимому документа. Пример полнотекстового поиска — любой интернет-поисковик, например www.yandex.ru, www.google.com. Как правило, полнотекстовый поиск для ускорения поиска использует предварительно построенные индексы. Наиболее распространенной технологией для индексов полнотекстового поиска являются инвертированные индексы.
Поиск по метаданным — это поиск по неким атрибутам документа, поддерживаемым системой — название документа, дата создания, размер, автор и т. д. Пример поиска по реквизитам — диалог поиска в файловой системе (например, MS Windows).
Поиск изображений — поиск по содержанию изображения. Поисковая система распознает содержание фотографии (загружена пользователем или добавлен URL изображения). В результатах поиска пользователь получает похожие изображения. Так работают поисковые системы: Polar Rose, Picollator и др.
Методы поиска
Адресный поиск
Процесс поиска документов по чисто формальным признакам, указанным в запросе.
Для осуществления нужны следующие условия:
Адресами документов могут выступать адреса веб-серверов и веб-страниц и элементы библиографической записи, и адреса хранения документов в хранилище.
Семантический поиск
Процесс поиска документов по их содержанию.
Принципиальная разница между адресным и семантическим поисками состоит в том, что при адресном поиске документ рассматривается как объект с точки зрения формы, а при семантическом поиске — с точки зрения содержания.
При семантическом поиске находится множество документов без указания адресов.
В этом принципиальное отличие каталогов и картотек.
Библиотека — собрание библиографических записей без указания адресов.
Документальный поиск
Процесс поиска в хранилище информационно-поисковой системы первичных документов или в базе данных вторичных документов, соответствующих запросу пользователя.
Два вида документального поиска:
Фактографический поиск
Процесс поиска фактов, соответствующих информационному запросу.
К фактографическим данным относятся сведения, извлеченные из документов, как первичных, так и вторичных и получаемые непосредственно из источников их возникновения.
Различают два вида:
Информационный поиск как наука
Информационный поиск — большая междисциплинарная область науки, стоящая на пересечении когнитивной психологии, информатики, информационного дизайна, лингвистики, семиотики, и библиотечного дела.
Поиск информации — процесс выявления в массиве информации записей, удовлетворяющих заранее определенному условию поиска или запросу.
ИП рассматривает поиск информации в документах, поиск самих документов, извлечение метаданных из документов, поиск текста, изображений, видео и звука в локальных реляционных базах данных, в гипертекстовых базах данных таких, как Интернет и локальные интранет-системы.
Существует некоторая путаница, связанная с понятиями поиска данных, поиска документов, информационного поиска и текстового поиска. Тем не менее, каждое из этих направлений исследования обладает собственными методиками, практическими наработками и литературой.
В настоящее время ИП — это бурно развивающаяся область науки, популярность которой обусловлено экспоненциальным ростом объемов информации, в частности в сети Интернет. ИП посвящена обширная литература и множество конференций. Одной из наиболее известных является TREC, организованной в 1992 Министерством обороны США совместно с Институтом Стандартов и Технологий (NIST) с целью консолидации исследовательского сообщества и развития методик оценки качества ИП.
Запрос и объект запроса
Говоря о системах ИП, употребляют термины запрос и объект запроса.
Запрос — это формализованный способ выражения информационных потребностей пользователем системы. Для выражения информационной потребности используется язык поисковых запросов, синтаксис варьируется от системы к системе. Кроме специального языка запросов, современные поисковые системы позволяют вводить запрос на естественном языке.
Объект запроса — это информационная сущность, которая хранится в базе автоматизированной системы поиска. Несмотря на то, что наиболее распространенным объектом запроса является текстовый документ, не существует никаких принципиальных ограничений. В частности, возможен поиск изображений, музыки и другой мультимедиа информации. Процесс занесения объектов поиска в ИПС называется индексацией. Далеко не всегда ИПС хранит точную копию объекта, нередко вместо неё хранится суррогат.
Задачи информационного поиска
Центральная задача ИП — помочь пользователю удовлетворить его информационную потребность. Так как описать информационные потребности пользователя технически непросто, они формулируются как некоторый запрос, представляющий из себя набор ключевых слов, характеризующий то, что ищет пользователь.
Классическая задача ИП, с которой началось развитие этой области, — это поиск документов, удовлетворяющих запросу, в рамках некоторой статической коллекции документов. Но список задач ИП постоянно расширяется и теперь включает:
Также, перед движками ИП ставятся некоторые задачи по обработке естественных языков, что включает в себя морфологический анализ, разрешение лексической многозначности и так далее.
Оценки эффективности
Существует много способов оценить насколько хорошо документы, найденные ИПС, соответствуют запросу. К сожалению, понятие степени соответствия запроса, или другими словами релевантности, является субъективным понятием, а степень соответствия зависит от конкретного человека, оценивающего результаты выполнения запроса.
Точность (precision)
Определяется как отношение числа релевантных документов, найденных ИПС, к общему числу найденных документов:
,
где 
— это множество релевантных документов в базе, а 
— множество документов, найденных системой. По результатам исследований компании, оценивающей релевантность показателей основных русских и зарубежных поисковых систем.
Полнота (recall)
Отношение числа найденных релевантных документов, к общему числу релевантных документов в базе:
,
где — это множество релевантных документов в базе, а — множество документов, найденных системой.
Выпадение (fall-out)
Выпадение характеризует вероятность нахождения нерелевантного ресурса и определяется, как отношение числа найденных нерелевантных документов к общему числу нерелевантных документов в базе:
,
где 
— это множество нерелевантных документов в базе, а — множество документов, найденных системой.
F-мера (F-measure, мера Ван Ризбергена)
Иногда бывает полезно объединить точность и полноту в одной усреднённой величине. Для этой цели среднее арифметическое не подходит, так как, например, поисковой системе достаточно вернуть вообще все документы, чтобы обеспечить равную единице полноту при близкой к нулю точности, и среднее арифметическое точности и полноты будет не меньше 1/2. Среднее гармоническое не обладает этим недостатком, поскольку при большом отличии усредняемых значений приближается к минимальному из них.
Поэтому хорошей мерой для совместной оценки точности и полноты является F-мера, которая определяется как взвешенное гармоническое среднее точности P и полноты R:
Обычно F-меру записывают в виде
При 
либо 
F-мера придает одинаковый вес точности и полноте и называется сбалансированной или 
–мерой (в нижнем индексе принято указывать величину 
), выражение для неё упрощается
Использование сбалансированной F-меры не является обязательным: при 
предпочтение отдаётся точности, а при 
1″ border=”0″ /> больший вес приобретает полнота.
Информационный процесс, понятие
Определение информационного процесса
Информационный процесс — процесс получения, создания, сбора, обработки, накопления, хранения, поиска, распространения и использования информации. [1]. Люди знакомые с информатикой, конечно же, знают этот термин, да и не только они. Вполне можно утверждать, что информационные процессы являются основой той жизни, которую мы знаем. В этой статье представлены основные алгоритма информационного процесса, различные формы его исполнения.
Информационный процесс как научное понятие
Любые действия, производимые с информацией, называются информационными процессами. Основную роль тут играют сбор, обработка, создание, сохранение и передача информации. На протяжении всей своей истории человечество развивала эти и другие процессы, а так же смежные отрасли. Одним из основных критериев развития общества было именно совершенствование информационных процессов. Искусство, религия, письменность, шифрование, книгопечатание, авторское право, телеграф, радиоэлектроника, компьютеры, интернет – это лишь основная часть достижений человечества в области работы с информацией.
Нужно отметить, что несмотря на кажущуюся определенность, научном сообществе не прекращаются споры об универсальности самого термина «информация». В частности, «информация» не синоним «данным», хотя в разговорной речи зачастую это и так. «Данные» это интерпретированная, обработанная и зарегистрированная в понятном виде информация, продукт информационного процесса [2]. То есть, информация это ресурс, данные это конечный, обработанный продукт прошедший обработку информационным процессом. Но как и любой продукт, данные потребляются для получения какого-то результата. В самом простом виде, можно представить такую схему:
| ИСТОЧНИК | ИНФОРМАЦИЯ | ПРИЕМНИК/ОБРАБОТЧИК | ДАННЫЕ |
| Звезда ХХХ | Световые, радио и прочие волны | Телескоп и ЭВМ | Температура, яркость, размер, дальность и т.д. |
| Иностранец | Речь на непонятном языке | Переводчик | Речь на понятном языке |
Информационные процессы присущи всем биологическим организмам на планете, от простейших до человека. Но человек создал вычислительные системы и специфические каналы информации, которые породили особый их вид — информатику. Несмотря на единую схему алгоритма информационного процесса, как в природе, так и в информатике, они достаточно сильно различаются по своей сути. И различия, в первую очередь, в интерпретации.
В частности, если поместить в комнату человека, собаку, змею, цветок и через громкоговоритель дать голосовой сигнал, реакция у всех будет принципиально разная, а значит из одной и той же информации, каждый обработчик выдаст совершенно разные данные. В частности собака и змея обе способны слышать, но если собака хоть как-то может понимать команды человека, то змея на это неспособна. Цветок вообще не сможет даже воспринять звуковой сигнал, хотя в принципе он способен получать и обрабатывать информацию — некоторые растения могут даже двигаться вслед за солнцем или если их потревожить. Итак, следующей схемой является возможность интерпретации:
| ВОСПРИЯТИЕ | ИНТЕРПРЕТАЦИЯ | ЭФФЕКТ | |
| Человек | Да | Да | Полный |
| Собака | Да | Да | Частичный |
| Змея | Да | Нет | Нет |
| Растение | Нет | Нет | Нет |
Основные элементы информационного процесса
Информационный процесс – это последовательные действия выстроенные в алгоритм, совершаемые с информацией, представленной в любом виде (цифровые/аналоговые данные, слухи, теории, факты, наблюдения и т.п.) для достижения некой цели (любой). Данный алгоритм состоит из ряда шагов, которые могут значительно отличаться в той или иной ситуации, но общая концепция выглядит следующим образом:
Основные виды информационных процессов
Сбор информации. Нахождение и сбор первичной информации, извлечение ее из ее «среды». Иногда, возможно даже без конкретной итоговой цели. Полученная в итоге сбора информация может быть использована различными обработчиками с различной целью. Так археологи, ведущие раскопки собирают все найденные ими предметы, которые покажутся им интересными, но лишь после тщательного анализа они превратятся в какие-то научные данные, причем итог анализа может оказаться совершенно неожиданным, а так же кроме осколков древних кувшинов могут быть обнаружены залежи полезных ископаемых.
Поиск информации. Нахождение более-менее конкретной информации по определенному вопросу с конкретной целью из конкретных источников. При этом поиск происходит среди ранее кем-то собранной и возможно обработанной информации, а не из «среды». Для поиска в основном используются различные базы данных (места хранения информации), например вопрос к поисковой сети «как варить борщ».
Обработка информации. Совокупность действий направленных на то или иное преобразование исходной информации в новую. Вероятно самый важный и сложный информационный процесс. Хотя, иногда в обществе может быть сложно отличить его от других, например от представления информации, но у обработки информации всегда есть задача добиться чего-то нового от уже существующей информации, фактически создать новый информационный объект. Писатель, записывающий свои мысли на бумагу фактически ведет представление информации, но вот обработка прошла в его мозгу чуть раньше — из собственных знаний, опыта и эмоций он создал слова, которые в итоге представил в виде текста.
Представление информации. Изменение исходной информации в вид удобный и актуальный для ее использования в текущей ситуации. Наиболее часто встречается в информатике — в памяти компьютера вся информация храниться в виде двоичного кода, но пользователю представляется в виде графических данных и звуков. Но и человек очень часто представляет информацию, например, в виде составления картотек из разрозненных документов, переводя иностранные тексты или играя музыку по нотам на бумаге.
Хранение информации. Возможно, наиболее широко используемый вид информационного процесса. Так или иначе, все биологические объекты хранят информацию, хотя бы в виде генома. Хранение информации разделяется на два основных вида — долговременное и кратковременное. Предназначены они, само собой для совершенно разных целей. Под хранение информации может подходить только те действия, которые в итоге должны приводить к повторному использованию сохраненной информации.
Передача информации. Доставка информации от источника к потребителю без фактического участия передающего в каких-либо других частях информационного процесса. В качестве передатчика может выступать совершенно любой объект, как биологический (гонец с депешей, собака лающая на чужого во дворе), так и любые физические носители или ретрансляторы (книга, радиопередатчик, флеш-карта). Передача информации не всегда тождественна коммуникациям, в виду того что здесь передающий объект выступает лишь инструментом.
Защита информации. Любые действия, использующие какие-то дополнительные средства для защиты информации от использования другой стороной. Защита информации актуальна лишь в сложных информационных системах со многими участниками, в виду туго, что она нужна исключительно для того чтобы не дать нежелательному элементу воспользоваться некой информацией. Фактически единственный способ защиты информации это шифрование того или иного рода. Скрывание информации было бы неверно называть способом ее защиты, так как сокрытая информация и не требует защиты, ибо не участвует ни в каком процессе.
Использование информации. Самый объемный информационный процесс. Являет собой обоснованное принятие решений в разных видах человеческой деятельности в самом широком смысле.