Initialize the sampler only once

Author: PeterBowman

libraries/YarpPlugins/LlamaGPT/DeviceDriverImpl.cpp

@@ -99,6 +99,10 @@ bool LlamaGPT::open(yarp::os::Searchable & config)
         }
     }
 
+    // initialize the sampler
+    smpl = llama_sampler_chain_init(llama_sampler_chain_default_params());
+    llama_sampler_chain_add(smpl, llama_sampler_init_greedy());
+
     return true;
 }
 
@@ -108,6 +112,12 @@ bool LlamaGPT::close()
 {
     bool ret = deleteConversation();
 
+    if (smpl)
+    {
+        llama_sampler_free(smpl);
+        smpl = nullptr;
+    }
+
     if (model)
     {
         llama_model_free(model);

libraries/YarpPlugins/LlamaGPT/ILLMImpl.cpp

@@ -167,15 +167,6 @@ bool LlamaGPT::ask(const std::string & question, yarp::dev::LLM_Message & answer
 #endif
     }
 
-    // initialize the sampler
-
-    auto sparams = llama_sampler_chain_default_params();
-    sparams.no_perf = true;
-
-    llama_sampler * smpl = llama_sampler_chain_init(sparams);
-
-    llama_sampler_chain_add(smpl, llama_sampler_init_greedy());
-
     // prepare a batch for the prompt
     llama_batch batch = llama_batch_get_one(prompt_tokens.data(), prompt_tokens.size());
 
@@ -228,7 +219,6 @@ bool LlamaGPT::ask(const std::string & question, yarp::dev::LLM_Message & answer
         }
     }
 
-    llama_sampler_free(smpl);
     llama_free(ctx);
 
     yCDebug(LLAMA) << "Generated:" << out;

libraries/YarpPlugins/LlamaGPT/LlamaGPT.hpp

@@ -53,6 +53,8 @@ class LlamaGPT : public yarp::dev::DeviceDriver,
 
 private:
     llama_model * model {nullptr};
+    llama_sampler * smpl {nullptr};
+
     std::vector<llama_chat_message> conversation;
 };