社區(qū) 發(fā)現 AI 國產AI - DeepSeek本地化部署...
國產AI - DeepSeek本地化部署詳細指南分享
Hello大家好,我是Andy
深耕跨境領域6年,擅長電商+技術應用挖掘藍海市場,我會分享很多關于跨境出海,技術相關分析,如果大家對這個方向感興趣,可以關注我。
一些不方便拍成視頻的內容,我會寫成圖文SOP,更加方便大家去進行操作。
今年打算認真最準備做一個社群,吸引更多同頻的同學一起交流,感興趣的同學可以直接私信我。
過年春節(jié)最火的技術新聞應該就是Deepseek了,黑神話悟空公司 游戲科學CEO馮驥甚至直接稱之為
國運級別技術突破!
剛開始還沒太關注,但是黑猴玩挺多的,相信馮總也是認真做事的人,能拿到他的信任背書,肯定值得關注了,遂開始了解相關信息:抖音、知乎、B站的相關核心內容消化。
后面發(fā)現幻方的創(chuàng)始人梁文峰也是吳川的,作為老鄉(xiāng)與有榮焉,對創(chuàng)始人的成長經歷、過往分享、價值觀又做深層次的挖掘,不由得感慨:小鎮(zhèn)做題家真是中國獨有的財富,同時對“國運”這種玄學真的不得不信。
OpenAI(CloseAI)現在帶領的方向是通過堆算力設備,玩大力出奇跡,同時對高端顯卡做出口管制,就是要限制國內的AI技術發(fā)展,但是總是有理想主義的天才能夠另辟蹊徑找到破局的方法,通過算法的方式優(yōu)化訓練成本,從訓練成本到API價格都可以看到極致的成本控制,看到AI應用真的能成為水電的普惠性質的應用,做到科技改變生活。
ChatGPT的內容自己在論壇上分享也較早,但是不得不說還是有巨大的門檻,我是因為興趣+行業(yè)才有心思鉆研,但是對于普通人來說,要搞定 網絡配置(科學)+ 賬號注冊 + SMS接碼 + 防feng號處理,基本上已經勸退90%以上人群了。
現在這個門檻已經被拉平了,只要一個86手機號,就可以獲得這種神器,我認為這種通用AGI簡直就是古時候人們認為的全知全能的“圣人”,而且是有求必應的圣人,推薦大家也思考怎么結合行業(yè)進行落地應用,盡可能加強頻率(也有一種焦慮:非核心工種的代替性太強了,電商領域更是,所以要有足夠的敏感度,積極擁抱變化)
因為現在Deepseek太火了,直接給服務器干爆了,同時還承載了很多惡意攻擊,API調用申請入口也直接關了,但是DeepSeek身上能看到偉大公司的基因就是:擁有這種核心技術(可以帶來巨大的經濟回報),但是還愿意直接開源。
要說幻方還是有理想主義的,公司是國內頂級量化私募機構,肯定有對這個DS這個項目做過商業(yè)化經濟回報進行評估,舍棄巨大的利益,但是對全球的AI生態(tài)發(fā)展有巨大正向推動,之前都是要超級巨大的資金資源投入,但是開源之后大家都有了上牌桌的機會。
上面分享了一些基本信息,每次講核心內容總會講一下認識背景(doge)
?
==============================分割線=====================================
今天分享的內容是:DeepSeek本地化部署(技術向)本地化部署方案
后面有機會再跟大家分享應用層面的相關信息:
1.亞馬遜運營的AI應用(基礎應用)
2.公司層面知識庫建立(宏觀應用)
一、本地Ollama部署
打開Ollama官網,根據自己的系統(tǒng)點擊下載
https://ollama.com/


下載之后按照默認設置完成安裝即可,之后回到Ollama主頁,點擊model子頁面
Ollama已經聚合了一些熱門的開源模型,我們直接找到DeepSeek-r1模型
可以發(fā)現這里有很多不同的版本,選擇自己電腦配置符合的(年后回去立馬買4090)

具體配置可以參照這個表格

選好對應的模型,然后復制這串代碼

Mac用戶在電腦本地打開【終端】
Windows用戶在電腦本地打開【命令行cmd】
接著Mac用戶在電腦本地打開【終端】
Windows用戶在電腦本地打開【cmd】
把剛才復制的代碼,粘貼過來,回車,然后開始下載模型

下載進度條走完之后,會自行安裝,全部完成之后,我們就可以直接在終端開始使用了。
PS. 一定要留意選擇符合自己電腦配置的模型,我的Mac裝了7B的,背板溫度直線升高
安裝完成之后,我們就可以直接在終端框進行使用了,但是實際使用的時候肯定還是不太方便的
所以我們下面介紹2種方法,給本地化部署增加交互界面,更符合我們的使用習慣
?
二、Chatbox創(chuàng)建智能體
打開chatbox官網,啟動網頁版,chatbox也提供客戶端,看自己的使用習慣
https://chatboxai.app/zh

然后點左下角【設置】

模型提供方選擇Ollama

然后要根據這個教程設置一下
https://chatboxai.app/zh/help-center/connect-chatbox-remote-ollama-service-guide

就可以看到對應系統(tǒng)的教程了

然后回到Chatbox的官網,再點一下【設置】
選擇我們下載的模型,點擊保存,就可以開始使用了
PS. 如果這里沒有顯示模型,多是忘記重開Ollama的

Chatbox也提供創(chuàng)建智能體選項,可以幫我們處理特定的工作內容:如listing優(yōu)化

后面有空再更新Docker的方案,docker的玩法更加豐富,可以創(chuàng)建語音智能體,但是相對而言更復雜,上面Chatbox已經可以滿足多數人的使用需求了,看大家的反饋再決定是否更新這部分內容。
==============================分割線=====================================
到這里已經大功告成了,快去試試吧!
祝論壇的各位朋友新年快樂,2025出海順利~
感覺有用可以幫我點點關注和贊? 謝謝大家~?
44 個回復
XuanZan - 90hou
贊同來自: 熱心市民陳先森1205 、 Andy聊跨境 、 AML111 、 Monkey123 、 Albert666 、 Enjoychris 、 布咕咕咕 、 東東丶 、 大勉強家 、 新新新韭菜 、 努力成為大麥 、 Austin01 、 明天過后啊 、 JosephGan 、 跨境小白online 、 羊非魚 、 假設我是好人 、 9你的名字 、 溫皮皮sir 、 咿呀嘿努力打工 、 菜鳥Peter 、 LyleTeng 、 不可以吃咸魚 、 鳴瑜nice 、 怎么想都奇怪 、 Typhine 、 昨夜碧樹過西風 、 根深者茂 、 肖小小cici 、 德魯大樹 、 黑色的 、 eee123 、 dog6638 、 想昵稱好難啊 、 JamesGodson 、 KennyL 、 阿四AIR 、 菜園源泉 、 入門中ing 、 lEtmIheArU 、 13710212591 、 誰不喜歡雞腿 更多 ?
?Ollama和Chatbox是做什么的?
Ollama:可以理解為一個工具箱,里面有許多預先訓練好的AI“模型”。你可以把它想象成一個裝有各種“機器人大腦”的盒子。每個大腦都有不同的特長,比如理解文字、生成圖片、回答問題等。你通過Ollama將這些大腦帶到你自己的電腦上,讓它們在本地工作。安裝好后,你可以在電腦上直接控制這些“機器人”,就像把它們從一個虛擬的實驗室?guī)Щ丶乙粯印?br />
Chatbox:可以看作是一個“操作面板”或者“遙控器”,你通過它來更方便地和Ollama的AI模型進行交流。這個操作面板讓你不用每次都輸入復雜的命令,直接通過圖形界面和AI互動,甚至還可以設置AI做一些專門的任務,比如自動優(yōu)化產品頁面內容。
和網頁端AI工具(如ChatGPT)的區(qū)別?
網頁端AI工具(如ChatGPT):ChatGPT是通過瀏覽器直接連接到服務器上的AI模型,你只需要輸入問題,AI會即時給出答案。它類似于你去網吧玩游戲,所有的硬件和軟件都在遠程的服務器上,你通過網絡和它互動。
Ollama + Chatbox:是本地化的AI工具。也就是說,所有的“計算”是在你自己的電腦上完成的。你不再依賴外部服務器,只要電腦夠強大,你可以隨時離線使用這些AI“模型”。這就像你買了一個個人的游戲主機,不再需要每次都連網才能玩。
什么是“模型”?
在AI中,“模型”就像是一個“專家”,它經過大量學習后,變得非常擅長某種任務。比如:
有的模型是專門學會了如何理解文字和回答問題(像ChatGPT就是這樣的模型)。
有的模型學會了如何生成藝術作品、圖片等。
你可以把模型想象成一個特定技能的專家。就像你找一位廚師做菜,找一位醫(yī)生看病,找一位程序員寫代碼。每個模型都是經過訓練,在某個領域非常專業(yè)的人物。