Updates to doc

Author: alarmfox

Documentazione_Capasso-M63001498.pdf

@@ -16,10 +16,8 @@ build:
 
 ## dev: creates nats and postgres container; executes backend and frontend locally
 dev:
-	docker run -d --network=host nats
-	docker run -d --network=host -e POSTGRES_PASSWORD=postgres postgres
 	cargo watch -wq backend/ -w common -x "cargo run --bin backend" &
-	trunk serve &
+	RUSTFLAGS=--cfg=web_sys_unstable_apis trunk serve
 
 .PHONY: help
 ## help: prints this help message

Makefile

@@ -29,7 +29,7 @@ pub const WEB_TRANSPORT_ALPN: &[&[u8]] = &[b"h3", b"h3-32", b"h3-31", b"h3-30",
 
 pub const QUIC_ALPN: &[u8] = b"hq-29";
 
-const MAX_UNIDIRECTIONAL_STREAM_SIZE: usize = 500_000;
+const MAX_UNIDIRECTIONAL_STREAM_SIZE: usize = 1000_000;
 
 #[derive(Debug)]
 pub struct WebTransportOpt {

backend/src/web/webtransport.rs

@@ -76,6 +76,8 @@ \section*{Introduzione}
   \item Eliminazione dell'implementazione mediante websocket;
   \item Eliminazione della parte di screen-sharing;
   \item Modifica della parte audio per inviare e ricevere audio stereo con codec opus;
+  \item Aggiunta di una callback per recuperare l'id della sorgente audio selezionata, per 
+    implemente un oscilloscopio;
 \end{itemize}
 
 \clearpage
@@ -754,9 +756,10 @@ \subsubsection{Protocollo QUIC} \label{section:quic-protocol}
 del codec è riportata in \cref{lst:audio-config}. Successivamente, per rendere effettive le modifiche dal punto 
 di vista dei dispositivi si è intervenuto sia sull'encoder che sul decoder (situati 
 rispettivamente nei file \textit{microphone\_encoder.rs} e \textit{config.rs}), 
-come mostrato \cref{lst:encoder-params} in e \cref{lst:decoder-params} . Infine, per migliorare la latenza, si è
-abbasata la dimensione del buffer utilizzato da $100Kb$ a $4Kb$, come mostrato in
-\cref{lst:encoder-buffer-size}. 
+come mostrato \cref{lst:encoder-params} in e \cref{lst:decoder-params}. Infine, per realizzare 
+il componente AudioVisualizer il cui scopo è quello di fornire un feedback visivo a chi 
+sta suonando è stata aggiunta una callback per catturare l'evento in cui l'utente cambia 
+la sorgente del dispositivo (\cref{lst:callback-audio-id}).
 
 \begin{lstlisting}[language=Rust, style=boxed, label={lst:audio-config}, captionpos=b,caption={Configurazione utilizzata per trasmettere l'audio}]
 pub static AUDIO_CODEC: &str = "opus";
@@ -811,20 +814,31 @@ \subsubsection{Protocollo QUIC} \label{section:quic-protocol}
 
 \end{lstlisting}
 
-
-\begin{lstlisting}[language=Rust, style=boxed, label={lst:encoder-buffer-size}, captionpos=b,caption={Riduzione del buffer size per l'encoder OPUS}]
-let audio_output_handler = {
-  let mut buffer: [u8; 4096] = [0; 4096];
-  let mut sequence = 0;
-  Box::new(move |chunk: JsValue| {
-    let chunk = web_sys::EncodedAudioChunk::from(chunk);
-    let packet: PacketWrapper =
-      transform_audio_chunk(&chunk, &mut buffer, &userid, sequence, aes.clone());
-      client.send_packet(packet);
-      sequence += 1;
-    })
-};
-
+\begin{lstlisting}[language=Rust, style=boxed, label={lst:callback-audio-id}, captionpos=b,caption={Modifica del file host.rs per invocare la callback}]
+pub enum Msg {
+    WsAction(WsAction),
+    MeetingAction(MeetingAction),
+    OnPeerAdded(String),
+    OnFirstFrame((String, MediaType)),
+    // aggiunta callback per ricavare l'id della sorgente audio
+    OnChangeMic(String),
+}
+// file host.rs
+fn update(&mut self, ctx: &Context<Self>, msg: Self::Message) -> bool {
+  match msg {
+    // invocazione della callback dichiarata in precedenza
+    Msg::AudioDeviceChanged(audio) => {
+      if self.microphone.select(audio.clone()) {
+        let link = ctx.link().clone();
+        let timeout = Timeout::new(1000, move || {
+        link.send_message(Msg::EnableMicrophone(true));
+      });
+      timeout.forget();
+    }
+    self.on_audio_src_changed.emit(audio);
+    false
+  }
+}
 \end{lstlisting}
 
 \subsubsection{Serializzazione binaria: protocol buffer} 
@@ -1238,6 +1252,42 @@ \subsection{Test dell'applicazione}
   \caption{Selezione della sorgente audio nell'applicazione}\label{fig:selecting-vmic}
 \end{figure}
 
+\paragraph{Performance}L'applicazione è intesa da utilizzare con dispositivi hardware (interfacce audio)
+con cui effettuare gran parte del workload con cui effettuare DSP. La demo con dispositivi virtuali serve
+a dimostrare il funzionamento, ma è possibile riscontrare bassa qualità dell'audio e fenomeni di glitch/distorsioni.
+Per rilassare lo stress sulla CPU è possibile aumentare la dimensione del buffer dell'encoder (aumentando una 
+possibile latenza). Il buffer (microphone\_encoder.rs della libreria videocall-client \cref{lst:encoder-size}) può essere aumentato
+in accordo con le dimensioni dell'head messo a disposizione dalla macchina WebAssembly (circa $500\_000$ byte)
+oltre al quale si ottiene un errore di accesso in memoria.
+
+\begin{lstlisting}[language=Rust, style=boxed, label={lst:encoder-size}, captionpos=b,caption={Dimensione del buffer per l'encoder OPUS}]
+pub fn start(&mut self) {
+  let device_id = if let Some(mic) = &self.state.selected {
+    mic.to_string()
+  } else {
+    return;
+  };
+  let client = self.client.clone();
+  let userid = client.userid().clone();
+  let aes = client.aes();
+  let audio_output_handler = {
+    let mut buffer: [u8; 500000] = [0; 500000];
+    let mut sequence = 0;
+    Box::new(move |chunk: JsValue| {
+      let chunk = web_sys::EncodedAudioChunk::from(chunk);
+      let packet: PacketWrapper =
+        transform_audio_chunk(&chunk, &mut buffer, &userid, sequence, aes.clone());
+      client.send_packet(packet);
+      sequence += 1;
+    })
+  };
+  let EncoderState {
+    destroy,
+    enabled,
+    switching,
+    ..
+  } = self.state.clone();
+\end{lstlisting}
 \clearpage
 
 

docs/report/main.tex

@@ -11,7 +11,7 @@ echo $SPKI
 echo "Opening google chrome"
 
 case $(uname) in
-    (*Linux*) brave --origin-to-force-quic-on=127.0.0.1:4433 --ignore-certificate-errors-spki-list="$SPKI" --enable-logging --v=1 ;;
+    (*Linux*) chromium --origin-to-force-quic-on=127.0.0.1:4433 --ignore-certificate-errors-spki-list="$SPKI" --enable-logging --v=1 ;;
     (*Darwin*) open -a "Google Chrome" --args --origin-to-force-quic-on=127.0.0.1:4433 --ignore-certificate-errors-spki-list="$SPKI" --enable-logging --v=1 ;;
 esac