random invalid results

[dportabella]

I am testing the latest localGPT version, with the defaults (original SOURCE_DOCUMENTS, ingest.py and run_localGPT.py). No other documents ingested. The only difference, in run_localGPT.py I changed max_ctx_size and max_length from 2048 to 20480.

Sometimes answers works as expected. Sometimes it provides invalid answers. Examples:

Question: how many articles does have the constitution of united states?
Answer: According to the text provided, there are 10 articles in the United States Constitution. The first 10 amendments to the Constitution, ratified in 1791, form what is known as the "Bill of Rights."

Question: cuantos articulos tiene la constitución de Estados Unidos? responde en castellano.
Answer: La Constitución de los Estados Unidos tiene 27 artículos en total.

Question: cuantos articulos tiene la constitución de Estados Unidos? responde en castellano.
Answer: La Constitución de los Estados Unidos está formada por 7 artículos y 27 addaciones o enmiendas. [...]
Also, from the list of 27 amendents, from 14 to 27 are repeated.

Why so, and how to fix it?

(localGPT) david@ubuntu2:~/localGPT$ time python run_localGPT.py 
2023-08-26 00:43:34,652 - INFO - run_localGPT.py:180 - Running on: cpu
2023-08-26 00:43:34,652 - INFO - run_localGPT.py:181 - Display Source Documents set to: False
2023-08-26 00:43:34,719 - INFO - SentenceTransformer.py:66 - Load pretrained SentenceTransformer: hkunlp/instructor-large
load INSTRUCTOR_Transformer
max_seq_length  512
2023-08-26 00:43:36,259 - INFO - __init__.py:88 - Running Chroma using direct local API.
2023-08-26 00:43:36,261 - WARNING - __init__.py:43 - Using embedded DuckDB with persistence: data will be stored in: /home/david/localGPT/DB
2023-08-26 00:43:36,263 - INFO - ctypes.py:22 - Successfully imported ClickHouse Connect C data optimizations
2023-08-26 00:43:36,264 - INFO - json_impl.py:45 - Using python library for writing JSON byte strings
2023-08-26 00:43:36,387 - INFO - duckdb.py:460 - loaded in 72 embeddings
2023-08-26 00:43:36,387 - INFO - duckdb.py:472 - loaded in 1 collections
2023-08-26 00:43:36,388 - INFO - duckdb.py:89 - collection with name langchain already exists, returning existing collection
2023-08-26 00:43:36,388 - INFO - run_localGPT.py:45 - Loading Model: TheBloke/Llama-2-7B-Chat-GGML, on: cpu
2023-08-26 00:43:36,388 - INFO - run_localGPT.py:46 - This action can take a few minutes!
2023-08-26 00:43:36,388 - INFO - run_localGPT.py:50 - Using Llamacpp for GGML quantized models
llama.cpp: loading model from /home/david/.cache/huggingface/hub/models--TheBloke--Llama-2-7B-Chat-GGML/snapshots/b616819cd4777514e3a2d9b8be69824aca8f5daf/llama-2-7b-chat.ggmlv3.q4_0.bin
llama_model_load_internal: format     = ggjt v3 (latest)
llama_model_load_internal: n_vocab    = 32000
llama_model_load_internal: n_ctx      = 20480
llama_model_load_internal: n_embd     = 4096
llama_model_load_internal: n_mult     = 256
llama_model_load_internal: n_head     = 32
llama_model_load_internal: n_layer    = 32
llama_model_load_internal: n_rot      = 128
llama_model_load_internal: ftype      = 2 (mostly Q4_0)
llama_model_load_internal: n_ff       = 11008
llama_model_load_internal: n_parts    = 1
llama_model_load_internal: model size = 7B
llama_model_load_internal: ggml ctx size =    0.07 MB
llama_model_load_internal: mem required  = 5407.71 MB (+ 1026.00 MB per state)
llama_new_context_with_model: kv self size  = 10240.00 MB
AVX = 1 | AVX2 = 1 | AVX512 = 1 | AVX512_VBMI = 1 | AVX512_VNNI = 1 | FMA = 1 | NEON = 0 | ARM_FMA = 0 | F16C = 1 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 0 | SSE3 = 1 | VSX = 0 | 

Enter a query: cuantos articulos tiene la constitución de Estados Unidos? responde en castellano.


llama_print_timings:        load time =   260.52 ms
llama_print_timings:      sample time =   559.41 ms /  1432 runs   (    0.39 ms per token,  2559.84 tokens per second)
llama_print_timings: prompt eval time = 36842.26 ms /  1179 tokens (   31.25 ms per token,    32.00 tokens per second)
llama_print_timings:        eval time = 158103.60 ms /  1431 runs   (  110.48 ms per token,     9.05 tokens per second)
llama_print_timings:       total time = 197897.14 ms


> Question:
cuantos articulos tiene la constitución de Estados Unidos? responde en castellano.

> Answer:
 La Constitución de los Estados Unidos está formada por 7 artículos y 27 addaciones o enmiendas. Los 7 artículos son:
1. Artículo I: El Congreso de los Estados Unidos tendrá el poder legislativo.
2. Artículo II: El presidente de los Estados Unidos será el jefe del gobierno y commander en jefe de las fuerzas armadas.
3. Artículo III: La Corte Suprema tendrá el power de interpretar la Constitución y las leyes federales.
4. Artículo IV: Establece las condiciones bajo las cuales los estados pueden expandirse y establecer relaciones entre sí.
5. Artículo V: Describe cómo se pueden aprobar enmiendas a la Constitución.
6. Artículo VI: Establece el poder de las leyes federales sobre las leyes estatales.
7. Artículo VII: Define cómo se organizará el gobierno federal y cómo se elegirán los funcionarios federales.
Las 27 addiciones o enmiendas incluyen:
1. La Decimotercera Adición (1865): Prohibe la esclavitud en todos los estados.
2. La Quinta Adición (1913): Prohíbe la discriminación por motivos raciales en el derecho de votar.
3. La Séptima Adición (1992): Prohíbe la discriminación por motivos raciales en el derecho de votar y en la aplicación de las leyes.
4. La Décima Adición (1919): Prohibe la venta de alcohol a menores de edad.
5. La Undécima Adición (1971): Prohíbe la discriminación por motivos de género en el derecho de votar.
6. La Duodécima Adición (1971): Prohíbe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
7. La Decimotercera Adición (1971): Prohibe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
8. La Quinta Adición (1992): Prohíbe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
9. La Séptima Adición (1971): Prohibe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
10. La Décima Adición (1982): Prohíbe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
11. La Undécima Adición (1975): Prohibe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
12. La Duodécima Adición (1975): Prohíbe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
13. La Decimotercera Adición (1984): Prohibe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
14. La Quinta Adición (1992): Prohíbe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
15. La Séptima Adición (1975): Prohibe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
16. La Décima Adición (1982): Prohíbe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
17. La Undécima Adición (1975): Prohibe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
18. La Duodécima Adición (1975): Prohíbe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
19. La Decimotercera Adición (1984): Prohibe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
20. La Quinta Adición (1992): Prohíbe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
21. La Séptima Adición (1975): Prohibe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
22. La Décima Adición (1982): Prohíbe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
23. La Undécima Adición (1975): Prohibe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
24. La Duodécima Adición (1975): Prohíbe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
25. La Decimotercera Adición (1984): Prohibe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
26. La Quinta Adición (1992): Prohíbe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.
27. La Séptima Adición (1975): Prohibe la discriminación por motivos de género en el derecho de votar y en la aplicación de las leyes.

Enter a query: Llama.generate: prefix-match hit