Tokenizer - перевод, синонимы, произношение, примеры предложений, антонимы, транскрипция, определение
lexer, lexical analyzer, lexical interpreter
Tokenizer (computing) A system that parses an input stream into tokens.
Due to limitations of the tokenizer, raw strings may not have a trailing backslash. |
Из-за ограничений токенизатора необработанные строки могут не иметь завершающей обратной косой черты. |
For this purpose a tokenizer determines at first the word boundaries and solves abbreviations. |
Для этого токенизатор сначала определяет границы слова и решает аббревиатуры. |
The bit-oriented tokenized code used in PBASIC can be seen as a kind of Huffman-threaded code. |
Битовый токенизированный код, используемый в PBASIC, можно рассматривать как своего рода хаффмановский потоковый код. |
Вводимый текст сначала маркируется или разбивается на слова. |
|
Program text is tokenized as it is edited; the compiler operates on the tokenized form, so there is less work at compile-time. |
Текст программы маркируется по мере его редактирования; компилятор работает с маркированной формой, поэтому во время компиляции происходит меньше работы. |
Many BASIC interpreters can store and read back their own tokenized internal representation. |
Многие базовые интерпретаторы могут хранить и считывать свое собственное маркированное внутреннее представление. |
Only the tokenization system can tokenize data to create tokens, or detokenize back to redeem sensitive data under strict security controls. |
Только система токенизации может токенизировать данные для создания токенов или детоксицировать их обратно, чтобы использовать конфиденциальные данные под строгим контролем безопасности. |
Programs are stored in a tokenized format, using the SAVE command. |
Программы хранятся в маркированном формате с помощью команды SAVE. |
Some tagging systems provide a single text box to enter tags, so to be able to tokenize the string, a separator must be used. |
Некоторые системы маркировки предоставляют одно текстовое поле для ввода тегов, поэтому для маркирования строки необходимо использовать разделитель. |
Statements are analyzed for correct syntax as they are entered and then stored in tokenized form. |
Операторы анализируются на предмет правильного синтаксиса, поскольку они вводятся и затем хранятся в маркированной форме. |
Tokenized data is secure yet it can still be processed by legacy systems which makes tokenization more flexible than classic encryption. |
Токенизированные данные безопасны, но они все еще могут быть обработаны устаревшими системами, что делает токенизацию более гибкой, чем классическое шифрование. |
This allows tokenized data to be processed more quickly and reduces the strain on system resources. |
Это позволяет более быстро обрабатывать токенизированные данные и снижает нагрузку на системные ресурсы. |
Another is a contactless BLE token that combines secure storage and tokenized release of fingerprint credentials. |
Другой-бесконтактный токен BLE, который сочетает в себе безопасное хранение и маркированное высвобождение учетных данных отпечатков пальцев. |
The internal multipass compiler converts BASIC09 source code into a tokenized, optimized, bytecode, called I-code. |
Внутренний многопроходный компилятор преобразует исходный код BASIC09 в маркированный, оптимизированный байт-код, называемый I-кодом. |
