最近国产大模型DeepSeek特别火,以至于频繁出现反应迟缓甚至宕机的情况,和两年多之前ChatGPT的遭遇颇为相似。 万幸,DeepSeek是一个开源模型,我们大可以通过本地部署,在自己的终端上随时使用!接下来就教大家具体的操作: 一、DeepSeek本地部署 二、WebUI可视化 三、数据投喂训练AI 一、DeepSeek本地部署 **1、安装Ollama 首先我们需要安装Ollama,它可以在本地运行和管理大模型。 到Ollama官网 https://ollama.com,点击下载,然后选择适合自己系统的版本,这里选择Windows: 安装完成后,打开命令行界面并输入 ollama如果屏幕上出现以下提示信息,那么恭喜你,Ollama 已经成功安装。 2、部署 DeepSeek R1 模型 首先,访问 Ollama 官网并点击页面顶部的「模型」(Models)选项,接着在列表中找到并点击「DeepSeek R1」: 在模型详情页面,根据我们计算机的显存容量选择合适的模型版本: 例如,我的电脑运行的是 Windows系统,拥有 4GB 的显存,因此我选择了1.5b 版本的模型。点击 1.5b 版本,页面右侧将显示下载指令: 将此下载命令复制并粘贴到命令行中执行开始下载: 待命令执行完毕,就可以通过命令行与DeepSeek大模型进行交互了: 但是在命令行窗口下对话,还是太抽象,我们需要一个美观的图文交互界面。 二、WebUI可视化 WebUI可视化选择直接在浏览器安装Page Assist插件的方式来实现。 Page Assist是本地 AI 模型的 Web UI,可以使用本地运行的 AI 模型来辅助进行网络浏览,利用本地运行的AI模型,在浏览网页时进行交互,或者作为本地AI模型提供者(如Ollama、Chrome AI等)的网页界面。 仓库地址:https://github.com/n4ze3m/page-assist 当前功能: - 各类任务的侧边栏 - 支持视觉模型 - 本地AI模型的简约网页界面 - 网络搜索功能 - 在侧边栏与PDF进行对话 - 与文档对话(支持pdf、csv、txt、md、docx格式) 要把DeepSeek可视化,首先在扩展中的管理扩展页面,搜索找到Page Assist 然后点击获取Page Assist 获取完成后,就可以在扩展中看到PageAssist插件,点击对应的插件就可以直接使用。 进入插件后,选择我们上面下载好的deepseek模型,然后就可以跟DeepSeek进行可视化对话了,如果需要获取最新的数据,需要打开下方的联网开关。 到这里,DeepSeek的WebUI可视化就完成了。 三、数据投喂训练AI 实现数据投喂训练AI,需要下载nomic-embed-text和安装AnythingLLM。 下载nomic-embed-text: 在终端输入ollama pull nomic-embed-text回车下载nomic-embed-text嵌入式模型(后面做数据投喂会用到)。 安装AnythingLLM: 进入官网,选择对应系统版本的安装包进行下载 选择【所有用户】点击下一步。 修改路径地址中的首字符C可更改安装位置,本例安装到F盘,点击下一步。 点击完成。 软件打开后,点击【Get started】。 点击箭头,进行下一步。 输入工作区名称,点击下一步箭头。 点击【设置】,里面可以设置模型、界面显示语言等。 若软件显示英文,可在Customization外观定制里面选择Chinese即可。 AnythingLLM设置 在软件设置里面,LLM首选项界面,提供商选择Ollama,Ollama Model选择你前面下载的DeepSeek-R1系列模型1.5b~671b,然后点击Save changes。 在Embedder首选项界面,嵌入引擎提供商选择Ollama,Ollama Embedding Mode选择【nomic-embed-text】,然后点击保存更改。 ①点击【工作区设置】,②点击聊天设置,③工作区LLM提供者选择【Ollama】,④工作区聊天模型选择【deepseek-r1】模型,⑤然后点击【Update workspace agent】。 代理配置界面,工作区代理LLM提供商选择【Ollama】,工作区代理模型选择【deepseek-r1】,然后点击【Update workspace agent】。 最后就是数据投喂训练AI: 在工作区界面,点击【上传】。 ❶点击upload选择需要上传的文件(支持PDF、Txt、Word、Excel、PPT等常见文档格式)。❷勾选上传的文件,❸点击【Move to Workspace】。 点击【Save and Embed】。 没有投喂数据之前,输入正点原子公司名称是什么?AI是回答不了的,投喂后能够准确回答出来。 到这里数据投喂训练AI就完成啦,有需求的完全可以自己搭建一个智能知识库出来。 最后,本地部署和在线使用各有利弊,本地对GPU配置要求较高,但运行稳定,不受网速影响,还可以训练自己专属的大模型。有需要的小伙伴可以体验一下~ AI大模型学习福利作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。 求大家的点赞和收藏,我花2万买的大模型学习资料免费共享给你们,来看看有哪些东西。 1.学习路线图第一阶段: 从大模型系统设计入手,讲解大模型的主要方法; 第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用; 第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统; 第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统; 第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型; 第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例; 第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。 2.视频教程网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己整理的大模型视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。 (都打包成一块的了,不能一一展开,总共300多集) 因篇幅有限,仅展示部分资料,需要点击下方图片前往获取 3.技术文档和电子书这里主要整理了大模型相关PDF书籍、行业报告、文档,有几百本,都是目前行业最新的。 这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。 👉学会后的收获:👈 • 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求; • 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握; • 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。 1.AI大模型学习路线图 👉获取方式: |