Full translation of chapter 6 of the course.

chapters/ru/_toctree.yml

@@ -53,6 +53,7 @@
   - local: chapter3/6
     title: Итоговый тест по главе
     quiz: 3
+
 - title: 4. Hugging Face Hub
   sections:
   - local: chapter4/1
@@ -68,6 +69,7 @@
   - local: chapter4/6
     title: Итоговый тест по главе
     quiz: 4
+
 - title: 5. Библиотека 🤗 Datasets
   sections:
   - local: chapter5/1
@@ -83,14 +85,35 @@
   - local: chapter5/7
     title: 🤗 Datasets, итоги!
   - local: chapter5/8
-    title: Тест по главе 5 
+    title: Тест по главе 5
+
 - title: 6. Бибилиотека 🤗 Tokenizers
-  sections: 
+  sections:
   - local: chapter6/1
     title: Введение
   - local: chapter6/2
-    title: Обучение токенизатора на основе существующего
+    title: Обучение нового токенизатора на основе старого
+  - local: chapter6/3
+    title: Особые возможности быстрых токенизаторов
+  - local: chapter6/3b
+    title: Быстрые токенизаторы в QA конвейере
+  - local: chapter6/4
+    title: Нормализация и предварительная токенизация
+  - local: chapter6/5
+    title: Токенизация Byte-Pair Encoding
+  - local: chapter6/6
+    title: Токенизация WordPiece
+  - local: chapter6/7
+    title: Токенизация Unigram
+  - local: chapter6/8
+    title: Создание токенизатора, блок за блоком
+  - local: chapter6/9
+    title: Токенизаторы, проверка!
+  - local: chapter6/10
+    title: Тест в конце главы
+    quiz: 6
+
 - title: Глоссарий
   sections:
   - local: glossary/1
-    title: Глоссарий
+    title: Глоссарий

chapters/ru/chapter6/1.mdx

@@ -1,19 +1,19 @@
-# Введение
+# Введение[[introduction]]
 
 <CourseFloatingBanner
     chapter={6}
     classNames="absolute z-10 right-0 top-0"
 />
 
-В [главе 3](/course/ru/chapter3), мы рассмотрели, как настроить модель под конкретную задачу. Когда мы это делаем, мы используем тот же токенизатор, с помощью которого была предварительно обучена модель, но что нам делать, когда мы хотим обучить модель с нуля? В этих случаях использование токенизатора, предварительно обученного на корпусе из другого домена или языка, обычно неоптимально. Например, токенизатор, обученный на английском корпусе, будет плохо работать с корпусом японских текстов, поскольку использование пробелов и пунктуации в этих двух языках сильно различается.
+В [Главе 3](/course/chapter3) мы рассмотрели, как дообучить модель для конкретной задачи. При этом мы используем тот же токенизатор, на котором была предварительно обучена модель, но что делать, когда мы хотим обучить модель с нуля? В таких случаях использование токенизатора, который был предварительно обучен на корпусе из другой области или языка, как правило, является неоптимальным. Например, токенизатор, обученный на корпусе английских текстов, будет плохо работать на корпусе японских текстов, поскольку использование пробелов и знаков препинания в этих двух языках сильно отличается.
 
-В этой главе вы узнаете, как обучить совершенно новый токенизатор на корпусе текстов, чтобы затем его можно было использовать для предобучения языковой модели. Все это будет сделано с помощью библиотеки [🤗 Tokenizers](https://github.com/huggingface/tokenizers), которая предоставляет «быстрые» токенизаторы в [🤗 Transformers](https://github.com/huggingface/transformers). Мы внимательно рассмотрим функции, предоставляемые этой библиотекой, и выясним, чем быстрые токенизаторы отличаются от «медленных» версий.
+В этой главе вы узнаете, как обучить совершенно новый токенизатор на корпусе текстов, чтобы затем использовать его для предварительного обучения языковой модели. Все это будет сделано с помощью библиотеки [🤗 Tokenizers](https://github.com/huggingface/tokenizers), которая предоставляет "быстрые" токенизаторы в библиотеке [🤗 Transformers](https://github.com/huggingface/transformers). Мы подробно рассмотрим возможности, которые предоставляет эта библиотека, и выясним, чем быстрые токенизаторы отличаются от "медленных" версий.
 
-Темы, которые мы рассмотрим: 
+Мы рассмотрим следующие темы:
 
-* Как обучить новый токенизатор, аналогичный тому, который используется конкретной моделью, на новом корпусе текстов
+* Как обучить новый токенизатор, аналогичный тому, который используется в данной контрольной точке, на новом корпусе текстов
 * Особенности быстрых токенизаторов
-* Различия между тремя основными алгоритмами токенизации составных частей слов, используемыми сегодня в NLP.
-* Как создать токенизатор с нуля с помощью библиотеки 🤗 Tokenizers и обучить его на собственных данных
+* Различия между тремя основными алгоритмами токенизации по подсловам, используемыми в NLP сегодня
+* Как создать токенизатор с нуля с помощью библиотеки 🤗 Tokenizers и обучить его на некоторых данных
 
-Методы, представленные в этой главе, подготовят вас к разделу [главы 7](/course/ru/chapter7/6), где мы рассмотрим создание языковой модели для исходного кода Python. Давайте начнем с рассмотрения того, что значит «обучить» токенизатор.
+Техники, представленные в этой главе, подготовят вас к разделу в [Главе 7](/course/chapter7/6), где мы рассмотрим создание языковой модели по исходному коду Python. Для начала давайте разберемся, что значит "обучить" токенизатор.