ТЕМА 3 ДОКУМЕНТАЛЬНЫЕ БАЗЫ ДАННЫХ 

      Базу данных (БД) можно определить как унифицированную совокупность данных, совместно используемую для решения различных задач в рамках некоторой единой ав­томатизированной информационной системы (АИС). Таким образом, АИС предназначена для нако­пления, хранения, актуализации и обработки систематизированной информации в какой-либо предметной области и представления требуемой информации по за­просам пользователей. АИС может функционировать самостоятельно либо являться компонентой более сложной системы (например, автоматизированной системы управления – АСУ или системы автоматизированного проектирования – САПР).
      В настоящее время термин информационная система (подразумевается автома­тизированная информационная система) часто используют в более широком смысле. Под информационной системой понимается лю­бая автоматизированная система (АС), используемая как средство сбора, накопления, хранения, обработки, пе­редачи и представления информации с целью сопровождения и поддержки ка­кого-либо вида профессиональной деятельности. По характеру информационных ресурсов АИС делятся на два вида: докумен­тальные и фактографические.

   3.1 Документальные и документографические  базы данных

      Классические модели и методы в теории БД изначально ориентировались на организацию хранения и обработку детально структурированных данных. Чаще всего эти данные представляли собой числовые значения, описывающие те или иные характеристики информационных объектов. Однако на практике оказалось, что чаще информация представлена не в виде структурированных массивов данных, а в виде простых текстовых документов. Вследствие этого документальные БД (иногда их еще называют полнотекстовыми) сразу выделились в особый тип баз данных. В отличие от традиционных БД, ориентированных на полное и точное представление данных достаточно простой смысловой структуры, документальные БД ориентиро­ваны на частичное,  приближенное представление данных, имеющих значительно более сложную смысловую структуру и представленных в виде текста.
      Основной функцией любой документальной информационно-поисковой системы (ДИПС) является информационное обеспечение потребителей на основе выдачи ответов на их запросы. Осуществление выдачи системой требуемых данных реализуется с помощь главной операции ДИПС – проведения информационного поиска.
      Информационный поиск является процедурой отыскания документов, содержащих ответ на заданные потребителем вопросы.
      Информационный поиск в системе проводится на основе поступившего от по­требителя запроса на отыскание необходимой ему информации. Потребность чело­века в определенной информации в процессе его практической деятельности носит название информационной потребности. Под действием получаемой информации информационная потребность людей постоянно изменяется и трансформируется. Вследствие этого ее невозможно однозначно выразить и описать. Однако информационная потребность может быть представлена в виде некоторой последовательности ее частных значений в фиксированные моменты времени. Такое частное значе­ние информационной потребности пользователя в определенные моменты времени, выраженное на естественном языке (ЕЯ), и представляет собой информационный запрос, с которым пользователь обращается к системе.
      Однако запрос может быть сформулирован пользователем неправильно, и не отражать его истинной информационной потребности в момент обращения к системе. Таким образом, при проведении информационного поиска в системе фактически рассматривается не информационная потребность пользователя, а только информационный запрос, в ответ на который и выдаются те или иные документы системы. Следовательно, реакцию системы необходимо рассматривать не только по отношению к информационной потребности, но по отношению к информационному за­просу.
      Для выражения данных отношений в теории ДИПС введены два фундаменталь­ных понятия: пертинентность и релевантность. Под пертинентностью понимается соответствие смыслового содержания документа информационной потребности потребителя.  Документы, содержание которых удовлетворяет информационной потребности, называют пертинентными. Релевантность представляет собой соответствие содержания документа информационному запросу в том виде, в каком он сформулирован, а документы, содержание которых отвечает запросу пользователей, носят название релевантных.
      Автоматизация процесса информационного поиска потребовала формализации представления основного смыслового содержания информационного запроса и документов в том  виде, в котором они соответствуют поисковому предписанию (ПП) и поисковому образу документов (ПОД). Для записи ПП и ПОД применяются специальные языки, называемые информационно-поисковыми (или просто информационными).
      В процессе проведения информационного поиска в ДИПС определяется сте­пень соответствия содержания документов и запроса пользователя путем сопостав­ления ПОД с ПП. В результате такого сопоставления принимается решение о выдаче документа (если он признается релевантным) или его невыдаче (если он считается нерелевантным).
      Решение о выдаче или невыдаче документа в ответ на запрос принимается на основе кри­терия смыслового соответствия (КСС), под которым понимается набора правил, определяющих степень смысловой близости между ПОД и ПП. Такой набор правил и получил название КСС. Этот критерий может задаваться явно или неявно. Понятие КСС базируется не на ранее введенном понятии релевантности, а на понятии формальной релевантности, то есть соответствии содержания ПОД и ПП. Однако факти­ческая релевантность, понимаемая как смысловое соответствие содержания доку­мента информационному запросу, может быть установлена только человеком в про­цессе осмысления содержания документа и запроса.
      В состав типичной ДИПС входят, как правило, четыре основные подсистемы:

  • ввода и регистрации документации;
  • хранения;
  • обработки;
  • поиска.
      Подсистема ввода и регистрации решает следующие основные задачи:
  • создание электронных копий бумажных документов (например, сканирование с последующим распознаванием текста или ввод с клавиатуры);
  • обеспечение подключения к каналам доставки электронных документов;
  • распознавание, а при необходимости и преобразование формата электронных документов;
  • присвоение электронным документам уникальных идентификаторов (регистрация), а также ведение таблицы синхронизации имен (при необходимости сохранения прежних имен).

      Все поступающие документы без внесения в них каких-либо изменений направляются в подсистему для хранения в базе документов. База документов может представлять собой простую совокупность файлов, распределенную по каталогам жесткого диска. Однако такой тип представления базы документов характеризуется двумя недостатками:

  • неэффективным использованием дискового пространства;
  • низкой скоростью доступа при большом количестве файлов.

      Поэтому для хранения документов применяют средства сжатия и быстрого поиска информации. В этом случае подсистема хранения представляет собой совокупность стандартных или специализированных средств архивации, СУБД и т.п., обеспечивающих возможность доступа к данным по предъявляемому идентификатору.
      Далее документы поступают на вход подсистемы обработки, которая выполняет следующие задачи:

  • формирование для каждого документа ПОД, в который заносится инфор­мация, необходимая для последующего поиска документа;  
  • ПОД сохраняется в индексе, представляющем таблицу, строки которой соответствуют документам, а столбцы – информационным признакам, на основе которых строится ПОД. В ячейках таблицы могут храниться значения либо 1, либо 0 – в зависимости от наличия или отсутствия данного признака в данном документе.
  • oднако, такая таблица будет сильно разреженной, и хранить все значения не имеет смысла. Поэтому на практике используют свертку таблицы по строкам или столбцам. Такую форму хра­нения данных называют прямой или инверсной соответственно. Поскольку при свертке таблицы структура индекса усложняется, для его под­держания могут использоваться средства СУБД.

      При поступлении на вход системы запрос пользователя он преобразуется в ПП и передается в подсистему поиска, задачей которой является отыскание в индексе ПОД информационных признаков, удовлетворяющих ПП с точки зрения КСС. Идентификаторы релевантных документов подаются с выхода подсистемы поиска на вход подсистемы хранения, которая осуществляет выдачу пользователю самих релевантных документов.
      Как известно, естественный язык (ЕЯ) является универсальной знаковой системой, служащей для обмена информацией между людьми. Поскольку документы, поступающие на вход ДИПС, записаны на ЕЯ, справедливо было бы задаться вопросом, а нельзя ли использовать ЕЯ в качестве основного средства преставления информации во время всего цикла функционирования ДИПС? Ответ будет положительным, если речь идет о тех ИПС, в которых соответствие между запросом и до­кументом устанавливает человек. Однако в современных ЭВМ эта операция выпол­няется компьютером, что практически исключает применение ЕЯ в качестве основного средства представления информации. Это объясняется существенными недостатками ЕЯ с точки зрения машинной технологии обработки информации, основные из которых рассмотрены ниже: многообразие средств передачи смысла, соматическая неоднозначность.
      Существует большое многообразие средств передачи смысла. Однако, несмотря на то, что основным средством передачи смысла сообщения является лексика естественного языка,  в сообщениях на ЕЯ функцию передачи смысла выполняет ряд других элементов:

  • контекст;
  • парадигматические отношения между словами;
  • текстуальные отношения между словами;
  • ссылки на слова (словосочетания, фразы и т.д.), ранее упоминавшиеся в тексте сообщения.
      Сообщения, записанные  на естественном  языке, могут быть семантически неоднозначными. Семантическая неоднозначность возникает в основном из-за синонимии и многозначности слов естественного языка.
      Синонимия представляет собой тождественность или близость по значению слов, выражающих одно и то же понятие, которые отличаются одно от другого оттенками значений, или стилистической окраской, или одновременно обоими названными признаками. Синонимами естественного языка являются как отдельные слова, так и словосочетания.
      Многозначность характеризует возможность неоднозначного понимания ее смысла отдельных слов естественного языка. Многозначность слов представлена двумя разновидностями – полисемией и омонимией.
      Полисемия – это совпадение названий различных предметов, имеющих между собой какие-либо общие свойства или признаки. К типичным общим свойствам, служащим базой полисемии, следует отнести сходство предметов, их смежность (пространственную, временную и т.д.), а также одинаковое функциональное назначение. Примерами полисемии являются: «команда» (воинское подразделение) – «команда» (экипаж судна) – «команда» (спортивная), – «команды в программе» (персонального компьютера).
      Омонимия – это совпадение названий различных предметов, не имеющих между собой каких-либо общих свойств. Например: «лук» (оружие) – «лук» (растение); «ключ» (родник) – «ключ» (дверной). Омонимичные слова, совпадающие между собой как по написанию, так и по звучанию, следует отличать от омографов «слов, обозначающих различные предметы, одинаковые по написанию, но разные по звучанию, например: «замок» (дверной) и «замок» (дворец).

     3.2 Виды документальных и документографических БД

      Документальными называются полнотекстовые БД, содержащие полные тексты документов. К этим базам можно отнести базы данных рефератов, журнальных и газетных статей, научных сборников статей, авторефератов и диссертаций и т.д.
      Документографические базы данных (ДБД) содержат описания документов. В  зависимости от содержания описания различают документографические БД типов БО (только библиографическое описание документа), БК (библиографическое описание и ключевые слова) и БКР (библиографическое описание, ключевые слова, реферат или аннота­ция).
      Документографические системы, как правило, строятся по двухконтурной схеме. Первый контур содержит документографическую БД и используется для автоматизированного поиска документов. Второй контур обеспечивает выдачу полного текста документа в виде копии первоисточника на бумаге, микро­фильме или выводит текст на экран с оптического диска (в некоторых случаях с жесткого магнитного диска большой емкости).
      В составе данного класса выделены следующие виды БД:

  • по публикуемым научно-техническим документам;
  • по патентным документам;
  • по отчетам по научно-исследовательским работам (НИР), опытно-конструкторским работам (ОКР) и программным средствам;
  • по материалам межотраслевого обмена (научно-техническим достижениям, каталожная, выставочная и др. информация);
  • по стандартам другой нормативно-технической  документации;
  • по публикуемым документам в области общественных  наук;
  • реферативные и полнотекстовые БД по общественно-политической информа­ции, создаваемые средствами массовой информации;
  • БД законодательной и правовой информации;
  • ДБД по специальным видам документов;
  • БД по архивным документам.

      Анализ состояния дел с ДБД различных видов показывает, что наибольшее развитие получили базы данных до­кументографического типа: по опубликованным документам в об­ласти научно-технической информации, общественных наук, патентным докумен­там, отчетам по НИР и ОКР и другим видам документов, созданные в рамках системы научно-технической информации (НТИ). В системе НТИ создан распределенный банк данных (РБнД) общим объемом более 20 млн. записей, в котором 30-40% записей относятся к отечественным первоисточникам, остальные – к зарубежным. В рамках РБнД созданы абонентские сети удаленных пользова­телей, охватывающие региональные центры.
      Доступ к БД предоставляется частями по жесткому расписанию. Доля одновременно доступных БД составляет 20% общего объема банка данных (БнД) системы НТИ.
      РБнД, поддержанный вторым контуром, обеспечивает выдачу  пользователям исходных текстов документов. Однако, функционирование второго контура системы НТИ в настоящее время не соответствует современным требованиям, так как не обеспечивает гарантированного получения копии любого первоисточника в прием­лемые сроки.
      Не в полной мере соответствует современным требованиям и актуальность записей в РБнД системы НТИ, так как сроки поступления первоисточников в России, об­работки их и ввода в БД в совокупности составляют достаточно большой период времени.
      К документографическим БД НТИ тесно примыкают библиографические БД, создаваемые в библиотеках, книгоиздательских и книготорговых организациях. Функции этих систем почти полностью совпадают, поэтому их целесообразно объединить.
      Крупным недостатком сложившейся системы ДБД следует признать полное отсутствие полнотекстовых БД научно-технической информации, в особенности, полнотекстовых БД стандартов и нормативно-технической документов.Однако широкое распространение полнотекстовых БД общенормативного и нормативноправового характера дает возможность проиллюстрировать, какое огромное значение может иметь система подобного типа.
      Средствами массовой информации (в основном центральными) создан и ведется ряд БнД по общественно-политической информации. Основная проблема БнД средств массовой информации заключается в полном отсутствии координации их создания и ведения, откуда проистекает разнобой в технологии, технических решениях, подходах к отбору и обработке информации.
      Документографические БД по специальным видам документов  функционируют для документов следующих видов:

  • картографические документы представляют собой, в сущности, обычные библиографические БД. В настоящее время объем совокупного банка данных картографических документов незначителен.
  • чертежно-конструкторские и проектные документы. Документографические БД по документам этого вида существуют на отдельных предприятиях, где они разраба­тываются, как правило, самостоятельно с использованием имеющихся программно-аппаратных средств. В результате полученные массивы, как правило, не совместимы между собой. Кроме того, эти массивы создаются в интересах управления деятель­ностью самого предприятия, и заинтересованность предприятия-генератора в  пре­доставлении доступа к ним внешних потребителей обычно отсутствуют.
  • аудиовизуальные документы. В телекомпаниях существует документографи­ческая БД по аудиовизуальным документам Центрального телевидения, используе­мая в интересах этих организаций. Теледоступ внешних потребителей к этой БД технически осуществим, но в настоящее время не предусматривается руководством этой организации. Формирование документографического БнД по архивным доку­ментам ведется достаточно интенсивно. Однако, основная проблема в этом виде БнД состоит  в очень большом объеме данных, подлежащих переработке и вводу в БнД, что тре­бует огромных денежных средств и длительного времени. Задача облегчается наличием четкой структуры архивных органов и существованием координации этой работы  между ними.

      В целом можно отметить, что существует несколько отдельных, не связанных между собой систем документографических БнД и отдельных БД этого класса, между которыми не всегда обеспечивается совместимость даже по данным. Планомерное и скоординированное развитие таких систем возможно только внутри следующих подсистем: документов научно-технической информации; по общественным наукам; патентных документов; отчетных документов; документов межотраслевого обмена; стандартов и нормативно-технической документов; законо­дательных документов; архивных документов.
      В тех подсистемах, которые развиваются планомерно, имеет место совершенно неоправданное дублирование функций, связанное с искусственным разделением информационных потоков по отрасли-источнику на общие документальные потоки и потоки группы отраслей промышленности. Применительно к открытой информации такое разделе­ние излишне.
      Сопоставление состояния дел в России и за рубежом в области документографи­ческих БнД позволяет также отметить отсутствие или слабое развитие, неорганизо­ванность и разрозненность некоторых видов документографических и до­кументальных БнД, в том числе:

  • реферативных и полнотекстовых ДБнД по статьям из центральных и региональ­ных периодических изданий;
  • ДБнД обзорной и прогнозной экономической информации;
  • ДБнД по научным статьям с индексами цитирования ;
  • ДБнД по правительственным документам не законодательного характера (заявлениям, сообщениям для прессы, выступлениям государственных деятелей и т.п.);
  • ДБнД по программному обеспечению;
  • ДБнД деловой и коммерческой информации;
  • ДБнД по зарегистрированным торговым маркам и другие.