Перейти к содержимому

Isam что это

  • автор:

ISAM

ISAM (англ. Indexed Sequential Access Method — Индексно-Последовательный Метод Доступа) — способ хранения данных для быстрого доступа к ним. Способ был разработан компанией IBM для мейнфреймов в 1963 году, в настоящее время это основной способ представления данных почти во всех базах данных (реляционных и пр.).

В ISAM отдельно хранятся записи с данными и индексы (служебные данные), служащие для быстрого доступа к записям. Данные хранятся последовательно (изначально ISAM использовался для хранения данных на ленточных накопителях, обеспечивающих только последовательные чтение/запись). Второй набор данных — хеш-таблица — индексы, содержащие указатели, которые позволят извлечь определенные записи без поиска по всей базе данных. Это несколько отличается от индексов в современных поисковых базах данных, так как в них индексы хранятся прямо в записях. Ключевая особенность ISAM — индексы малы, и поиск по ним быстр. Изменение в записях не требует изменять все записи, требуется только перестроить индекс.

Реляционные базы данных могут быть построены на способе хранения данных ISAM с добавленной логикой по сохранению целостности связей между таблицами. Обычно поле, используемое для связи (внешний ключ), индексируется для быстрого поиска. Конечно, это медленнее, чем просто хранить указатели на нужные записи в другой таблице непосредственно в записях, но зато изменения на физическом уровне хранения данных не потребуют изменения указателей. (нужно улучшить объяснение).

ISAM легко реализуется и это дешевый метод. Плата за это — каждая клиентская машина должна держать собственные соединения с каждым файлом, к которому происходит доступ. Это может привести к конфликтам при одновременной работе нескольких клиентов при попытке изменить или вставить новые значения и привести к потере данных. Обычно эта проблема решается добавлением клиент-серверного приложения, которое обслуживает запросы пользователей и управляет ими, чтобы сохранять целостность данных. Это основная концепция СУБД, которая создает клиентский уровень над надлежащими данными.

ISAM был заменен IBM методологией, названной VSAM (Virtual Storage Access Method). Позднее, IBM разработал DB2, которая стала основной СУБД от IBM. VSAM — это способ физического хранения данных в DB2.

MySQL реализовало расширение ISAM — MyISAM.

См. также

  • Найти и оформить в виде сносок ссылки на авторитетные источники, подтверждающие написанное.

ISAM

ISAM, Indexed Sequential Access Method — индексно-последовательный метод доступа, способ хранения данных для быстрого доступа к ним. Способ изначально был разработан компанией IBM для мейнфреймов, в настоящее время это основной способ представления данных почти во всех базах данных (реляционных и пр.).

В ISAM отдельно хранятся записи с данными и индексы (служебные данные), служащие для быстрого доступа к записям. Данные хранятся последовательно (изначально ISAM использовался для хранения данных на ленточных накопителях, обеспечивающих только последовательные чтение/запись). Второй набор данных — хеш-таблица — индексы, содержащие указатели, которые позволят извлечь определенные записи без поиска по всей базе данных. Это несколько отличается от индексов в современных поисковых базах данных, так как в них индексы хранятся прямо в записях. Ключевая особенность ISAM — индексы малы, и поиск по ним быстр. Изменение в записях не требует изменять все записи, требуется только перестроить индекс.

Реляционные базы данных могут быть построены на способе хранения данных ISAM с добавленной логикой по сохранению целостности связей между таблицами. Обычно поле, используемое для связи (внешний ключ), индексируется для быстрого поиска. Конечно, это медленнее, чем просто хранить указатели на нужные записи в другой таблице непосредственно в записях, но зато изменения на физическом уровне хранения данных не потребуют изменения указателей.

ISAM легко реализуется и это дешевый метод. Плата за это — каждая клиентская машина должна держать собственные соединения с каждым файлом, к которому происходит доступ. Это может привести к конфликтам при одновременной работе нескольких клиентов при попытке изменить или вставить новые значения и привести к потере данных. Обычно эта проблема решается добавлением клиент-серверного приложения, которое обслуживает запросы пользователей и управляет ими, чтобы сохранять целостность данных. Это основная концепция СУБД, которая создает клиентский уровень над надлежащими данными.

ISAM был заменен IBM методологией, названной VSAM (Virtual Storage Access Method). Позднее, IBM разработал DB2, которая стала основной СУБД от IBM.

VSAM — это способ физического хранения данных в DB2.

MySQL реализовало расширение ISAM — MyISAM.

MyISAM

MyISAM — одна из основных (наряду с InnoDB) систем хранения данных в СУБД MySQL. Она основывается на коде ISAM и обладает в сравнении с ним рядом полезных дополнений.

Таблицы MyISAM прекрасно подходят для использования в WWW и других средах, где преобладают запросы на чтение. Таблицы типа MyISAM показывают хорошие результаты при выборках SELECT. Во многом это связано с отсутствием поддержки транзакций и внешних ключей. Однако при модификации и добавлении записей вся таблица кратковременно блокируется, это может привести к серьёзным задержкам при большой загрузке.

Для таблиц этого типа создан ряд специализированных утилит, позволяющих манипулировать табличными файлами. Сюда входят утилита myisamchk для проверки и восстановления таблиц и индексов (требует полной остановки процесса MySQL и создает время неработоспособности системы, исполнение заключается в создании с нуля нового целостного файла таблицы и перезаписи данных в него) и утилита myisampack для создания сжатых таблиц.

Таблицы MyISAM являются платформенно-независимыми. Табличные файлы можно перемещать между компьютерами разных архитектур и разными операционными системами без всякого преобразования. Для этого MySQL хранит все числа с плавающей запятой в формате IEEE, а все целые числа — в формате с прямым порядком следования байтов.

Индексные файлы имеют расширение .MYI (MYIndex). Файлы с расширением .MYD (MYData) содержат данные, а с расширением .frm — схему таблицы. Если индексный файл по какой-то причине теряется, программа перестраивает индексы, используя информацию из frm-файла.По умолчанию в каждой таблице может быть не более тридцати двух индексов, но это значение можно повысить до шестидесяти четырёх. Индексы создаются в виде двоичных деревьев. Разрешается индексировать столбцы типа BLOB и TEXT, а также столбцы, допускающие значения NULL.

В таблицах MyISAM могут быть фиксированные, динамические либо сжатые записи. Выбор между фиксированным и динамическим форматом диктуется определениями столбцов. Для создания сжатых таблиц предназначена утилита myisampack.

Недостатки MyISAM

Отсутствие самовосстановления по журналу при сбоях (возможность присутствует во всех развитых СУБД).

Отсутствие блокировок регионов, меньших, чем целые таблицы. Приводит к отсутствию масштабируемости, то есть к сильной деградации производительности с повышением нагрузки.

Отсутствие средств резервного копирования. Утилита mysqldump, предлагаемая для создания резервных копий, является не инструментом резервного копирования, а инструментом экспорта в текст (в последовательность операторов INSERT, воссоздающих содержимое таблицы). Для выполнения задачи с сохранением целостности базы данных mysqldump захватывает блокировку таблицы, приводя к полной остановке работы системы на все время своего исполнения. Останов процесса MySQL и создание копии инструментами копирования файлов из UNIX приводит к меньшему времени простоя системы. Особенно удачен для этого gzip в режиме минимальной компрессии, который при незначительной для современного оборудования нагрузке процессора снижает объём данных, подлежащих записи в полученный файл, и тем самым ускоряет операцию.

Слабая реализация сортировки, которой является клауза ORDER BY языка SQL при отсутствии подходящего индекса. MyISAM сортирует данные слиянием, с использованием qsort для первоначально сливаемых небольших регионов. Это требует не только крайне неоптимального по дисковому вводу/выводу создания на каждую операцию сортировки 2 временных файлов, растущих с нулевого размера, с работой с ними через неоптимальные вызовы fopen() и fwrite(), но и выделения sort buffer для каждого клиента MySQL. Размер sort buffer (устанавливается параметром настройки MySQL sort_buffer_size) для достижения оптимальной производительности должен быть порядка сотен килобайт, что под большой нагрузкой приводит к полному исчерпанию не только кучи, но и пользовательского адресного пространства в 32-битных ОС семейства UNIX (во FreeBSD на x86 — 3 ГБ), и влечет за собой отказы вызовов malloc() во всем коде MySQL, а не только в коде сортировки. Так как такие отказы далеко не всегда проверяются в коде, результатом может быть крах MySQL по сигналу SIGSEGV. Стоит отметить, что проблема с адресным пространством пользователя не присутствует в 64-битных операционных системах и на 2009 год большая часть выпускаемых серверов снабжена значительно большим объёмом памяти, чем 4Гб, что способствует применению именно 64-битных систем для полного использования возможностей оборудования, поэтому этот недостаток в данный момент становится менее критичен.

Данные недостатки проявляются в заметной степени при нагрузке порядка 400 клиентов, исполняющих сложные запросы по базе данных размером 2-3 ГБ.

В более развитых реализациях нижнего уровня MySQL, таких как InnoDB, значительная часть данных проблем решена. Данные проблемы также могут решаться их учетом при разработке приложения, работающего с MySQL.

Знаете ли Вы, что модификаторы — это операции, которые модифицируют объекты соответствующего им типа. Например, операция push для стека.

ISAM

ISAM ( аббревиатура от индексированного метода последовательного доступа ) — это метод создания, поддержки и управления компьютерными файлами данных, чтобы записи можно было извлекать последовательно или случайным образом с помощью одного или нескольких ключей . Индексы ключевых полей поддерживаются для быстрого поиска необходимых файловых записей в индексированных файлах . IBM изначально разработала ISAM для мэйнфреймов , но его реализации доступны для большинства компьютерных систем.

Термин ISAM используется для нескольких связанных понятий:

  • Продукт IBM ISAM и используемый в нем алгоритм . [1]
  • Система базы данных , в которой разработчик приложения напрямую использует интерфейс прикладного программирования для поиска по индексам, чтобы найти записи в файлах данных. Напротив, реляционная база данных использует оптимизатор запросов, который автоматически выбирает индексы. [2]
  • Алгоритм индексации, обеспечивающий как последовательный, так и управляемый доступ к данным. [3] В большинстве баз данных для этой цели используются некоторые вариации B-дерева , хотя в исходных реализациях IBM ISAM и VSAM этого не было.
  • Как правило, любой индекс для базы данных. Индексы используются практически во всех базах данных.

Организация

В системе ISAM данные организованы в записи, которые состоят из полей фиксированной длины, первоначально сохраненных последовательно в ключевой последовательности. Вторичный набор (и) записей, известный как индексы , содержит указатели на расположение каждой записи, что позволяет извлекать отдельные записи без необходимости поиска по всему набору данных. Это отличается от современных навигационных баз данных , в которых указатели на другие записи хранились внутри самих записей. Ключевым улучшением ISAM является то, что индексы имеют небольшой размер и их можно быстро искать, возможно, полностью в памяти, что позволяет базе данных получать доступ только к нужным записям. Дополнительные изменения данных не требуют изменения других данных, а только рассматриваемых таблиц и индексов.

Когда создается файл ISAM, узлы индекса фиксируются, и их указатели не меняются во время вставок и удалений, которые происходят позже (после этого изменяется только содержимое конечных узлов). Как следствие этого, если вставки в какой-либо листовой узел превышают емкость узла, новые записи сохраняются в цепочках переполнения. Если вставок из таблицы намного больше, чем удалений, эти цепочки переполнения могут постепенно стать очень большими, и это влияет на время, необходимое для извлечения записи. [4]

Реляционные базы данных могут быть легко построены на основе ISAM с добавлением логики для поддержания достоверности связей между таблицами. Обычно поле, используемое в качестве ссылки, внешний ключ , индексируется для быстрого поиска. Хотя это медленнее, чем просто сохранять указатель на связанные данные непосредственно в записях, это также означает, что изменения в физическом макете данных не требуют обновления указателей — запись по-прежнему будет действительной.

ISAM прост для понимания и реализации, поскольку он в основном состоит из прямого доступа к файлу базы данных. Компромисс заключается в том, что каждая клиентская машина должна управлять своим собственным подключением к каждому файлу, к которому он обращается. Это, в свою очередь, приводит к возможности конфликтующих вставок в эти файлы, что приводит к несогласованному состоянию базы данных. Обычно это решается добавлением клиент-серверной инфраструктуры, которая обрабатывает клиентские запросы и поддерживает порядок. Это основная концепция системы управления базами данных (СУБД), которая представляет собой клиентский уровень над базовым хранилищем данных.

В IBM вместо ISAM используется методология VSAM (метод доступа к виртуальному хранилищу). Еще позже IBM разработала DB2, которую с 2004 года IBM продвигает в качестве своей основной системы управления базами данных . VSAM — это метод физического доступа, используемый в DB2. [ необходима цитата ]

OpenVMS операционная система использует файлы-11 файловой системы в сочетании с RMS ( Record Management Services ). RMS обеспечивает дополнительный уровень между приложением и файлами на диске, который обеспечивает единообразный метод организации данных и доступа на нескольких языках 3GL и 4GL. RMS предоставляет четыре различных метода доступа к данным; последовательный доступ по относительному номеру записи, доступ по адресу файла записи и индексированный доступ.

Индексированный метод доступа для чтения или записи данных обеспечивает желаемый результат только в том случае, если на самом деле файл организован как файл ISAM с соответствующими, ранее определенными ключами. Доступ к данным через ранее определенный ключ (ключи) очень быстрый. Поддерживаются несколько ключей, перекрывающиеся ключи и сжатие ключей в хэш-таблицах. Предоставляется утилита для определения / переопределения ключей в существующих файлах. Записи можно удалять, хотя «сборка мусора» выполняется с помощью отдельной утилиты.

Соображения по дизайну

ISAM был разработан в то время, когда компьютерная память была дефицитным ресурсом. Соответственно, IBM разработала систему для использования минимального объема памяти. Компромисс заключался в том, что канал ввода / вывода , блок управления и диск оставались более загруженными. Файл ISAM состоит из набора записей данных и двух или трех уровней индекса. Индекс дорожки содержит наивысший ключ для каждой дорожки диска на индексируемом им цилиндре . Индекс цилиндра хранит наивысший ключ цилиндра и дисковый адрес соответствующего индекса дорожки. Необязательный главный индекс , обычно используемый только для больших файлов, содержит наивысший ключ на дорожке индекса цилиндра и дисковый адрес этого индекса цилиндра. После загрузки файла записи данных не перемещаются; вставленные записи помещаются в отдельную область переполнения . Для поиска записи по ключу в индексах на диске выполняется поиск сложной самомодифицирующейся канальной программы . [5] Это увеличило время занятости канала, блока управления и диска. С увеличением размеров физической и виртуальной памяти в более поздних системах это было сочтено неэффективным, и VSAM был разработан, чтобы изменить компромисс между использованием памяти и активностью диска.

Использование ISAM в самомодифицирующегося программ канала позже вызвало трудности для CP-67 поддержки OS / 360 , так как CP-67 скопировали всю программу канала в постоянной памяти , когда операция ввода / вывода была начата и переводил виртуальные адреса на реальные адреса. [6]

Реализации в стиле ISAM

  • Менеджер баз данных Advantage Database Server
  • Berkeley DB
  • Btrieve
  • БД FairCom [7]
  • C-ISAM
  • Собственная база данных DataFlex
  • dBase и сопутствующие продукты Clipper и Foxpro
  • Услуги по управлению записями Digital Equipment Corporation
  • Enscribe — это метод структурированного доступа к файлам HP Tandem
  • Расширяемый механизм хранения
  • Microsoft Access
  • MySQL реализует и расширяет ISAM как MyISAM
  • Парадокс
  • Реализация pblIsam GPL, написанная на C [8]
  • Менеджер баз данных Raima
  • Семейство баз данных Superbase
  • dbm DBM и базы данных Flat File, работающие в тандеме

Смотрите также

  • Память с последовательным доступом (SAM)
  • Метод доступа к виртуальному хранилищу (VSAM)
  • Плоский файл
  • NoSQL
  • dbm

Рекомендации

  1. ^ Chin, YH (1975). «Анализ поведения VSAM в свободном пространстве». VLDB ’75: Материалы 1-й Международной конференции по очень большим базам данных : 514–515.
  2. ^
  3. Бог, Роберт Л. (13 февраля 2004 г.). «Изучите различия между ISAM и реляционными базами данных» . Проверено 17 октября 2014 года .
  4. ^
  5. Ларсон, Пер-Оке (1981). «Анализ индексно-последовательных файлов с цепочкой переполнения». ACM-транзакции в системах баз данных . 6 (4).
  6. ^ Рамакришнан Рагху, Герке Йоханнес — Системы управления базами данных, Высшее образование Макгроу-Хилла (2000), 2-е издание (en), стр. 252
  7. ^
  8. Корпорация IBM (1973). DOS / VS LIOCS Том 3: Логика DAM и ISAM . стр. 63 -72 . Проверено 30 декабря 2018 года .
  9. ^
  10. Корпорация IBM (1972 г.). IBM Virtual Machine Facility / 370: Руководство по планированию (PDF) . п. 45 . Проверено 8 января 2018 года .
  11. ^
  12. «FairCom ISAM API для C — Руководство разработчика» .
  13. ^
  14. Граф, Питер. «Реализация pblIsamFile» . mission-base.com . Проверено 8 сентября 2017 года .

2.6.4. Метод доступа isam

ISAM (indexed sequential access method, индексно-последовательный метод доступа).

В методе доступа ISAM записи группируются так, чтобы они могли располагаться на отдельных дорожках цилиндров модуля дисков, и одна дорожка на каждом цилиндре отводится для индексов, указывающих на записи, расположенные на данном цилиндре.

Если необходимо включить новые записи в уже созданный файл, эти записи включаются в область переполнения.

При этом на дорожке, содержащей индексы, создаются указатели как на основную область (область первоначальных данных), так и на область переполнения.

Область переполнения может располагаться на дорожке того же цилиндра, на котором находятся первоначальные данные, в которые вносятся новые данные, переполняющие основную область.

С другой стороны, допускается расположение области переполнения за пределами этого цилиндра.

Если основная область и область переполнения расположены на одном цилиндре, доступ к записям ускоряется, так как нет необходимости перемещения головок чтения-записи с одного цилиндра на другой.

Обычно в каждом цилиндре отводится одна дорожка под область переполнения.

Однако при включении новых записей дорожка области переполнения может заполниться до отказа, причем это может произойти очень быстро.

Поэтому в системах, в которых применяется метод доступа ISAM, используется как область переполнения цилиндра, так и независимая область переполнения.

Если область переполнения цилиндра заполнена до отказа, то для новых записей отводится дорожка из независимой области переполнения.

Метод ISAM допускает многоуровневое (плотное или неплотное) индексирование. См. предыдущую тему данного курса.

Рисунок 2.6.4.1 – Области переполнения в конце цилиндров

Рисунок 2.6.4.2 – Независимая область переполнения

2.6.5. Метод доспута MyIsam

MyISAM – подсистема низкого уровня (метод доступа) в MySQL.

Метод основан на коде метода ISAM и обладает в сравнении с ним большим количеством полезных дополнений.

MyISAM-таблицы оптимизированы для использования в веб-ориентированных приложениях, где преобладают простые запросы на чтение.

Во многом это связано с отсутствием поддержки транзакций и внешних ключей.

Однако при модификации и добавлении записей вся таблица кратковременно блокируется, что может привести к серьёзным задержкам при большой нагрузке.

Таблицы MyISAM являются платформенно-независимыми. Табличные файлы можно перемещать между компьютерами разных архитектур и разными операционными системами без всякого преобразования.

Для этого MySQL хранит все числа с плавающей запятой в формате IEEE, а все целые числа – в формате с прямым порядком следования байтов.

Индексные файлы имеют расширение .MYI (MYIndex). Файлы с расширением .MYD (MYData) содержат данные, а с расширением .frm – схему таблицы.

Если индексный файл по какой-то причине теряется, программа перестраивает индексы, используя информацию из frm-файла.

По умолчанию в каждой таблице может быть не более тридцати двух индексов, но это значение можно повысить до шестидесяти четырех.

Индексы создаются в виде двоичных деревьев.

Разрешается индексировать столбцы типа BLOB и TEXT, а также столбцы, допускающие значения NULL.

В таблицах MyISAM могут быть фиксированные и динамические записи. Выбор между фиксированным и динамическим форматом диктуется определениями столбцов.

Недостатки MyISAM

отсутствие самовосстановления по журналу при сбоях;

отсутствие блокировок областей меньших, чем целые таблицы, что приводит к отсутствию масштабируемости, т.е. к сильной деградации производительности с повышением нагрузки;

отсутствие средств резервного копирования (утилита mysqldump является не инструментом резервного копирования, а инструментом экспорта в текст);

слабая реализация сортировки (MyISAM сортирует данные слиянием, с использованием qsort для первоначально сливаемых небольших регионов, что требует неоптимального по дисковому вводу/выводу создания на каждую операцию сортировки 2 временных файлов.

Данные недостатки проявляются в заметной степени на нагрузке порядка полутысячи клиентов, исполняющих сложные запросы по базе данных размером в 2-4 Гб.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *