Merge branch 'main' into main

chapters/en/chapter0/get_ready.mdx

@@ -25,9 +25,18 @@ to brush up on your understanding of transformers, check out our [NLP Course](ht
 
 To go through the course materials you will need:
 - A computer with an internet connection
-- [Google Colab](https://colab.research.google.com) for hands-on exercises. The free version is enough.
+- [Google Colab](https://colab.research.google.com) for hands-on exercises. The free version is enough. If you have never used Google Colab before, check out this [official introduction notebook](https://colab.research.google.com/notebooks/intro.ipynb).
 
-If you have never used Google Colab before, check out this [official introduction notebook](https://colab.research.google.com/notebooks/intro.ipynb).
+<Tip>
+
+As an alternative to the free tier of Google Colab, you can use your own local setup, or Kaggle Notebooks. Kaggle Notebooks 
+offer a fixed number of GPU hours and have similar functionality to Google Colab, however, there are differences when it 
+comes to sharing your models on 🤗 Hub (e.g. for completing assignments). If you decide to use Kaggle Notebooks as your 
+tool of choice, check out the [example Kaggle notebook](https://www.kaggle.com/code/michaelshekasta/test-notebook) created by 
+[@michaelshekasta](https://github.com/michaelshekasta). This notebook illustrates how you can train and share your 
+trained model on 🤗 Hub.
+
+</Tip>
 
 ## Step 5. Join the community
 

chapters/en/chapter6/pre-trained_models.mdx

@@ -187,7 +187,11 @@ pre-trained checkpoint only supports English language:
 
 Bark is a transformer-based text-to-speech model proposed by Suno AI in [suno-ai/bark](https://github.com/suno-ai/bark).
 
-Bark is made of 4 main models:
+Unlike SpeechT5, Bark generates raw speech waveforms directly, eliminating the need for a separate vocoder during inference – it's already integrated. This efficiency is achieved through the utilization of [`Encodec`](https://huggingface.co/docs/transformers/main/en/model_doc/encodec), which serves as both a codec and a compression tool.
+
+With `Encodec`, you can compress audio into a lightweight format to reduce memory usage and subsequently decompress it to restore the original audio. This compression process is facilitated by 8 codebooks, each consisting of integer vectors. Think of these codebooks as representations or embeddings of the audio in integer form. It's important to note that each successive codebook improves the quality of the audio reconstruction from the previous codebooks. As codebooks are integer vectors, they can be learned by transformer models, which are very efficient in this task. This is what Bark was specifically trained to do. 
+
+To be more specific, Bark is made of 4 main models:
 
 - `BarkSemanticModel` (also referred to as the 'text' model): a causal auto-regressive transformer model that takes as input tokenized text, and predicts semantic text tokens that capture the meaning of the text.
 - `BarkCoarseModel` (also referred to as the 'coarse acoustics' model): a causal autoregressive transformer, that takes as input the results of the `BarkSemanticModel` model. It aims at predicting the first two audio codebooks necessary for EnCodec.
@@ -273,9 +277,8 @@ speech_output = model.generate(**inputs).cpu().numpy()
 Your browser does not support the audio element. 
 </audio> 
 
-Unlike SpeechT5, Bark directly generates raw speech waveforms. This means that you do not need to add a vocoder for inference, it's already "built-in".
 
-In addition, Bark supports batch processing, which means you can process several text entries at the same time, at the expense of more intensive computation.
+In addition to all these features, Bark supports batch processing, which means you can process several text entries at the same time, at the expense of more intensive computation.
 On some hardware, such as GPUs, batching enables faster overall generation, which means it can be faster to generate samples all at once than to generate them one by one.
 
 Let's try generating a few examples:

chapters/en/chapter7/voice-assistant.mdx

@@ -48,6 +48,13 @@ the device.
 
 Again, we've done this several times now, so the process will be very familiar!
 
+<Tip>
+ The following section requires the use of a microphone to record a voice input. Since Google Colab machines do not
+ have microphone compatibility, it is recommended to run this section locally, either on your CPU, or on a GPU if you
+ have local access. The checkpoint sizes have been selected as those small enough to run adequately fast on CPU, so
+ you will still get good performance without a GPU.
+</Tip>
+
 ## Wake word detection
 
 The first stage in the voice assistant pipeline is detecting whether the wake word was spoken, and we need to find ourselves

chapters/ru/chapter6/pre-trained_models.mdx

@@ -181,6 +181,161 @@ Audio(speech, rate=16000)
  height="450">
 </iframe>
 
+## Bark
+
+Bark - это модель преобразования текста в речь на основе трансформера, предложенная компанией Suno AI в [suno-ai/bark](https://github.com/suno-ai/bark).
+
+В отличие от SpeechT5, Bark генерирует непосредственно "сырые" формы волны речи, что избавляет от необходимости использования отдельного вокодера при инференсе - он уже интегрирован. Такая эффективность достигается за счет использования [`Encodec`](https://huggingface.co/docs/transformers/main/en/model_doc/encodec), который служит одновременно и кодеком, и инструментом сжатия.
+
+С помощью `Encodec` можно сжимать звук в облегченный формат для уменьшения занимаемой памяти и впоследствии распаковывать его для восстановления исходного звучания. Процесс сжатия осуществляется с помощью 8 кодовых книг (codebook), каждая из которых состоит из целочисленных векторов. Эти кодовые книги можно рассматривать как представления или эмбеддинги звука в целочисленной форме. Важно отметить, что каждая последующая кодовая книга улучшает качество восстановления звука из предыдущих кодовых книг. Поскольку кодовые книги являются целочисленными векторами, они могут быть выучены с помощью трансформерных моделей, которые очень эффективно справляются с этой задачей. Именно для этого и был специально обучен Bark. 
+
+Если говорить более конкретно, то Bark состоит из 4 основных моделей:
+
+- `BarkSemanticModel` (также называемая 'текстовой' моделью): каузальная авторегрессионная трансформерная модель, принимающая на вход токены из текста и предсказывающая семантические токены, отражающие смысл текста.
+- `BarkCoarseModel` (также называемая моделью 'грубой акустики'): каузальный авторегрессионный трансформер, принимающий на вход результаты работы модели `BarkSemanticModel`. Его цель - предсказать первые две кодовые книги, необходимые для работы [EnCodec](https://github.com/facebookresearch/encodec).
+- `BarkFineModel` (модель 'тонкой акустики'), на этот раз некаузальный автоэнкодерный трансформер, который итеративно предсказывает последние кодовые книги на основе суммы эбеддингов предыдущих кодовых книг.
+- спрогнозировав все каналы кодовой книги из `EncodecModel`, Bark использует ее для декодирования выходного звукового массива.
+
+Следует отметить, что каждый из первых трех модулей может поддерживать условные эмбеддинги диктора, обусловливающие выходной звук в соответствии с определенным заранее заданным голосом.
+
+Bark - это высокоуправляемая модель преобразования текста в речь, то есть ее можно использовать с различными настройками, в чем мы сейчас убедимся.
+
+Прежде всего, загрузите модель и ее процессор.
+
+Роль процессора здесь двухсторонняя:
+1. Он используется для токенизации входного текста, т.е. для разбиения его на небольшие фрагменты, понятные модели.
+2. В нем хранятся эбеддинги дикторов, т.е. голосовые предустановки, которые могут обуславливать генерацию.
+
+```python
+from transformers import BarkModel, BarkProcessor
+
+model = BarkModel.from_pretrained("suno/bark-small")
+processor = BarkProcessor.from_pretrained("suno/bark-small")
+```
+
+Bark очень универсален и может генерировать звук, обусловленный [библиотекой эбеддингов дикторов](https://suno-ai.notion.site/8b8e8749ed514b0cbf3f699013548683?v=bc67cff786b04b50b3ceb756fd05f68c) которая может быть загружена через процессор.
+
+```python
+# add a speaker embedding
+inputs = processor("This is a test!", voice_preset="v2/en_speaker_3")
+
+speech_output = model.generate(**inputs).cpu().numpy()
+```
+
+<audio controls> 
+ <source src="https://huggingface.co/datasets/ylacombe/hf-course-audio-files/resolve/main/first_sample.wav" type="audio/wav"> 
+Your browser does not support the audio element. 
+</audio> 
+
+Он также может генерировать готовую многоязычную речь, например, на французском и китайском языках. Список поддерживаемых языков можно найти [здесь](https://huggingface.co/suno/bark). В отличие от MMS, о котором речь пойдет ниже, здесь не нужно указывать используемый язык, а достаточно просто адаптировать входной текст к соответствующему языку.
+
+```python
+# try it in French, let's also add a French speaker embedding
+inputs = processor("C'est un test!", voice_preset="v2/fr_speaker_1")
+
+speech_output = model.generate(**inputs).cpu().numpy()
+```
+
+<audio controls> 
+ <source src="https://huggingface.co/datasets/ylacombe/hf-course-audio-files/resolve/main/second_sample.wav" type="audio/wav"> 
+Your browser does not support the audio element. 
+</audio> 
+
+
+Модель также может генерировать **невербальные коммуникации**, такие как смех, вздох и плач. Для этого достаточно модифицировать входной текст соответствующими подсказками, такими как `[clears throat]`, `[laughter]` или `...`.
+
+```python
+inputs = processor(
+ "[clears throat] This is a test ... and I just took a long pause.",
+ voice_preset="v2/fr_speaker_1",
+)
+
+speech_output = model.generate(**inputs).cpu().numpy()
+```
+
+<audio controls> 
+ <source src="https://huggingface.co/datasets/ylacombe/hf-course-audio-files/resolve/main/third_sample.wav" type="audio/wav"> 
+Your browser does not support the audio element. 
+</audio> 
+
+
+Bark может даже генерировать музыку. Вы можете помочь, добавив ♪ музыкальные ноты ♪ вокруг ваших слов.
+
+```python
+inputs = processor(
+ "♪ In the mighty jungle, I'm trying to generate barks.",
+)
+
+speech_output = model.generate(**inputs).cpu().numpy()
+```
+
+<audio controls> 
+ <source src="https://huggingface.co/datasets/ylacombe/hf-course-audio-files/resolve/main/fourth_sample.wav" type="audio/wav"> 
+Your browser does not support the audio element. 
+</audio> 
+
+В отличие от SpeechT5, Bark напрямую генерирует форму волны сырой речи. Это означает, что для инференса не нужно добавлять вокодер, он уже "встроен".
+
+Кроме того, Bark поддерживает пакетную обработку, то есть можно одновременно обрабатывать несколько текстовых записей за счет более интенсивных вычислений.
+На некоторых аппаратных средствах, таких как GPU, пакетная обработка позволяет ускорить общую генерацию, что означает, что генерация всех образцов одновременно может быть быстрее, чем генерация их по одному.
+
+Попробуем сгенерировать несколько примеров:
+
+```python
+input_list = [
+ "[clears throat] Hello uh ..., my dog is cute [laughter]",
+ "Let's try generating speech, with Bark, a text-to-speech model",
+ "♪ In the jungle, the mighty jungle, the lion barks tonight ♪",
+]
+
+# также добавляем эмбеддинги диктора
+inputs = processor(input_list, voice_preset="v2/en_speaker_3")
+
+speech_output = model.generate(**inputs).cpu().numpy()
+```
+
+Давайте прослушаем выводы по очереди.
+
+Первый:
+```python
+from IPython.display import Audio
+
+sampling_rate = model.generation_config.sample_rate
+Audio(speech_output[0], rate=sampling_rate)
+```
+
+<audio controls> 
+ <source src="https://huggingface.co/datasets/ylacombe/hf-course-audio-files/resolve/main/batch_1.wav" type="audio/wav"> 
+Your browser does not support the audio element. 
+</audio> 
+
+
+Второй:
+```python
+Audio(speech_output[1], rate=sampling_rate)
+```
+
+<audio controls> 
+ <source src="https://huggingface.co/datasets/ylacombe/hf-course-audio-files/resolve/main/batch_2.wav" type="audio/wav"> 
+Your browser does not support the audio element. 
+</audio> 
+
+Третий:
+```python
+Audio(speech_output[2], rate=sampling_rate)
+```
+
+<audio controls> 
+ <source src="https://huggingface.co/datasets/ylacombe/hf-course-audio-files/resolve/main/batch_3.wav" type="audio/wav"> 
+Your browser does not support the audio element. 
+</audio> 
+
+<Tip>
+
+Bark, как и другие 🤗 модели трансформеров, могут быть оптимизированы всего в нескольких строках кода в отношении скорости и потребления памяти. Чтобы узнать, как это сделать, нажмите на [этот демонстрационный блокнот Colab](https://colab.research.google.com/github/ylacombe/notebooks/blob/main/Benchmark_Bark_HuggingFace.ipynb).
+
+</Tip>
+
 ## Massive Multilingual Speech (MMS)
 
 Что делать, если вам нужна предварительно обученная модель на языке, отличном от английского? Массивная многоязыковая речь (Massive Multilingual Speech, MMS) - это 

chapters/ru/chapter7/voice-assistant.mdx

@@ -47,6 +47,12 @@
 
 Опять же, мы делали это уже несколько раз, так что процесс будет очень знакомым!
 
+<Tip>
+ Следующий раздел требует использования микрофона для записи голосового ввода. Поскольку машины Google Colab не совместимы с микрофоном,
+ рекомендуется выполнять этот раздел локально, либо на CPU, либо на GPU, если у вас есть доступ к локальным ресурсам. Размеры контрольных точек
+ были выбраны достаточно малыми для достаточно быстрой работы на CPU, поэтому Вы получите хорошую производительность и без GPU.
+</Tip>
+
 ## Обнаружение слова активации
 
 Первым этапом работы голосового помощника является определение того, было ли произнесено слово активации, для решения этой задачи нам необходимо найти подходящую