Как работает лексический анализатор?
Как работает лексический анализатор?

Видео: Как работает лексический анализатор?

Видео: Как работает лексический анализатор?
Видео: Как работает лексический анализатор 2024, Ноябрь
Anonim

Лексический анализ первая фаза компилятора. В лексический анализатор разбивает эти синтаксисы на серию токенов, удаляя любые пробелы или комментарии в исходном коде. Если лексический анализатор находит токен недействительным, генерирует ошибку. В лексический анализатор работает близко к синтаксису анализатор.

Соответственно, что делает лексический анализатор?

Лексер, также называемый лексическим анализатором или токенизатором, - это программа, которая разбивает Вход исходный код в последовательность лексем. Читается Вход исходный код посимвольно распознает лексемы и выводит последовательность токенов, описывающих лексемы.

Точно так же в чем разница между лексическим анализатором и синтаксическим анализатором? Главный разница между лексическим анализом а также синтаксический анализ в том, что лексический анализ читает исходный код по одному символу за раз и преобразует его в значимые лексемы (токены), тогда как синтаксический анализ берет эти токены и создает дерево синтаксического анализа в качестве вывода.

Далее возникает вопрос, а что выдает лексический анализатор?

(I) выход из лексический анализатор это жетоны. (II) Общее количество токенов в printf ("i =% d, & i =% x", i, & i); - 10. (III) Таблица символов может быть реализована с использованием массива, хеш-таблицы, дерева и связанных списков.

Как работает лексер?

В лексер просто превращает бессмысленную строку в плоский список таких вещей, как «числовой литерал», «строковый литерал», «идентификатор» или «оператор», и может делать такие вещи, как распознавание зарезервированных идентификаторов ("ключевых слов") и удаление пробелов. Формально лексер распознает некоторый набор обычных языков.

Рекомендуемые: