使用Ollama，您可以在本地运行各种大型语言模型（LLMs）并从中生成文本。Spring AI通过OllamaChatClient支持Ollama文本生成。
前提条件
您首先需要在本地计算机上运行Ollama。请参阅官方Ollama项目README来开始在本地计算机上运行模型。
安装ollama run llama2将下载一个4GB的Docker镜像。
添加仓库和BOM
Spring AI存储库中发布的工件在Spring里程碑和快照存储库中。请参阅部分以将这些存储库添加到您的构建系统中。
为了帮助管理依赖项，Spring AI提供了一个BOM（材料清单），以确保整个项目中使用一致版本的Spring AI。请参阅部分，将Spring AI BOM添加到您的构建系统中。
自动配置
Spring AI为Ollama Chat Client提供了Spring Boot自动配置。要启用它，请将以下依赖项添加到您项目的Maven pom.xml文件中：
<dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-ollama-spring-boot-starter</artifactId> </dependency>
或者添加到您的Gradle build.gradle构建文件中。
dependencies { implementation 'org.springframework.ai:spring-ai-ollama-spring-boot-starter' }
请参阅部分，将Spring AI BOM添加到您的构建文件中。
聊天属性
前缀spring.ai.ollama是用来配置到Ollama连接的属性前缀
属性 描述 默认值spring.ai.ollama.base-url
Ollama API服务器运行的基本URL。
localhost:11434
前缀spring.ai.ollama.chat.options是用来配置Ollama聊天客户端实现的属性前缀
这些options属性基于以及Ollama类型。默认值基于：。
spring.ai.ollama.chat.enabled
启用Ollama聊天客户端。
true
spring.ai.ollama.chat.options.model
要使用的的名称。
mistral
spring.ai.ollama.chat.options.numa
是否使用NUMA。
false
spring.ai.ollama.chat.options.num-ctx
设置用于生成下一个标记的上下文窗口的大小。
2048
spring.ai.ollama.chat.options.num-batch
???
512
spring.ai.ollama.chat.options.num-gqa
变换器层中GQA组的数量。某些模型需要此选项，例如，llama2:70b的值为8。
1
spring.ai.ollama.chat.options.num-gpu
要发送到GPU的层数。在macOS上，默认值为1以启用metal支持，为0以禁用。此处的1表示应动态设置NumGPU
-1
spring.ai.ollama.chat.options.top-k
与top-p一起使用。较高的值（例如0.95）会导致更多样化的文本，而较低的值（例如0.5）会生成更加专注和保守的文本。
0.9
spring.ai.ollama.chat.options.tfs-z
使用Tail-free sampling降低对输出中不太可能的令牌的影响。较高的值（例如2.0）会更有效地降低影响，而1.0的值会禁用此设置。
1.0
spring.ai.ollama.chat.options.typical-p
？？？
1.0
spring.ai.ollama.chat.options.repeat-last-n
设置模型向后查看的距离，以防止重复。（默认值：64，0=禁用，-1=num_ctx）
64
spring.ai.ollama.chat.options.temperature
模型的温度。增大温度会使模型回答更具创造性。
0.8
spring.ai.ollama.chat.options.repeat-penalty
设置如何惩罚重复。较高的值（例如1.5）会更强烈地惩罚重复，而较低的值（例如0.9）则更宽容。
1.1
spring.ai.ollama.chat.options.presence-penalty
？？？
0.0
spring.ai.ollama.chat.options.frequency-penalty
？？？
0.0
spring.ai.ollama.chat.options.mirostat
启用Mirostat采样以控制perplexity。(默认值：0，0=禁用，1=Mirostat，2=Mirostat 2.0)
0
spring.ai.ollama.chat.options.mirostat-tau
影响算法从生成的文本中快速响应反馈的速度。较低的学习率会导致更慢的调整，而较高的学习率会使算法更加敏感。
5.0
spring.ai.ollama.chat.options.mirostat-eta
控制输出的相关性和多样性的平衡。较低的值会导致更加聚焦和相关的文本。
0.1
spring.ai.ollama.chat.options.penalize-newline
？？？
true
spring.ai.ollama.chat.options.stop
设置要使用的停止序列。当遇到此模式时，LLM将停止生成文本并返回。可以通过在模型文件中指定多个单独的停止参数来设置多个停止模式。
-
chat选项列表正在审核中。这个问题将追踪进展。
所有以spring.ai.ollama.chat.options为前缀的属性都可以通过在Prompt调用中添加特定于请求的来在运行时重写。
聊天选项
OllamaOptions.java 提供了模型配置，例如要使用的模型、温度等。
在启动时，可以通过 OllamaChatClient(api, options) 构造函数或 spring.ai.ollama.chat.options.* 属性来配置默认选项。
在运行时，您可以通过向 Prompt 调用添加新的、针对请求的特定选项来覆盖默认选项。例如，要为特定请求覆盖默认模型和温度：
ChatResponse response = chatClient.call( new Prompt( "生成5个著名海盗的名字。", OllamaOptions.create() .withModel("llama2") .withTemperature(0.4) ));
除了特定于模型的 OllamaOptions，您还可以使用可移植的 ChatOptions 实例，通过 ChatOptionsBuilder#builder() 创建。
示例控制器（自动配置）
创建 一个新的 Spring Boot 项目，并将 spring-ai-openai-spring-boot-starter 添加到您的 pom（或 gradle）依赖项中。
在 src/main/resources 目录下添加一个 application.properties 文件，以启用并配置 OpenAi Chat 客户端：
spring.ai.ollama.base-url=http://localhost:11434 spring.ai.ollama.chat.options.model=mistral spring.ai.ollama.chat.options.temperature=0.7
用您的 Ollama 服务器 URL 替换 base-url。
这将创建一个可以注入到您的类中的 OllamaChatClient 实现。这里是一个简单的 @Controller 类示例，用于使用聊天客户端生成文本：
@RestController public class ChatController { private final OllamaChatClient chatClient; @Autowired public ChatController(OllamaChatClient chatClient) { this.chatClient = chatClient; } @GetMapping("/ai/generate") public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) { return Map.of("generation", chatClient.call(message)); } @GetMapping("/ai/generateStream") public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) { Prompt prompt = new Prompt(new UserMessage(message)); return chatClient.stream(prompt); } }
如果您有其他需要翻译的文本或其他问题，请告诉我！手动配置
如果您不想使用Spring Boot自动配置，可以在应用程序中手动配置OllamaChatClient。 OllamaChatClient 实现了ChatClient 和 StreamingChatClient 并使用 连接到 Ollama 服务。
要使用它，请将spring-ai-ollama依赖项添加到项目的 Maven pom.xml 文件中：
<dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-ollama</artifactId> </dependency>
或者添加到您的 Gradle build.gradle 文件中。
dependencies { implementation 'org.springframework.ai:spring-ai-ollama' }
参考部分将 Spring AI BOM 添加到您的构建文件中。
spring-ai-ollama 依赖项还提供对 OllamaEmbeddingClient 的访问。有关 OllamaEmbeddingClient 的更多信息，请参阅Ollama Embedding Client 部分。
接下来，创建一个 OllamaChatClient 实例并使用它进行文本生成请求：
var ollamaApi = new OllamaApi(); var chatClient = new OllamaChatClient(ollamaApi).withModel(MODEL) .withDefaultOptions(OllamaOptions.create() .withModel(OllamaOptions.DEFAULT_MODEL) .withTemperature(0.9f)); ChatResponse response = chatClient.call( new Prompt("生成5个著名海盗的姓名。")); // 或者使用流式响应 Flux<ChatResponse> response = chatClient.stream( new Prompt("生成5个著名海盗的姓名。"));
OllamaOptions 提供了所有聊天请求的配置信息。
低级 OpenAiApi 客户端
OllamaApi 提供了轻量级的 Java 客户端用于 Ollama Chat API 。
以下类图说明了 OllamaApi 的聊天接口和构建模块：
这是如何以编程方式使用 API 的简单代码片段：
OllamaApi ollamaApi = new OllamaApi("YOUR_HOST:YOUR_PORT"); // 同步请求 var request = ChatRequest.builder("orca-mini") .withStream(false) // not streaming .withMessages(List.of( Message.builder(Role.SYSTEM) .withContent("你是地理老师。你正在和一名学生交谈。") .build(), Message.builder(Role.USER) .withContent("保加利亚的首都是什么？大小如何？国歌是什么？") .build())) .withOptions(OllamaOptions.create().withTemperature(0.9f)) .build(); ChatResponse response = ollamaApi.chat(request); // 流式请求 var request2 = ChatRequest.builder("orca-mini") .withStream(true) // streaming .withMessages(List.of(Message.builder(Role.USER) .withContent("保加利亚的首都是什么？大小如何？国歌是什么？") .build())) .withOptions(OllamaOptions.create().withTemperature(0.9f).toMap()) .build(); Flux<ChatResponse> streamingResponse = ollamaApi.streamingChat(request2);
函数调用 Azure OpenAI
