社區(qū) 發(fā)現(xiàn) AI 國產(chǎn)AI - DeepSeek本地化部署...
國產(chǎn)AI - DeepSeek本地化部署詳細(xì)指南分享
Hello大家好,我是Andy
深耕跨境領(lǐng)域6年,擅長電商+技術(shù)應(yīng)用挖掘藍(lán)海市場(chǎng),我會(huì)分享很多關(guān)于跨境出海,技術(shù)相關(guān)分析,如果大家對(duì)這個(gè)方向感興趣,可以關(guān)注我。
一些不方便拍成視頻的內(nèi)容,我會(huì)寫成圖文SOP,更加方便大家去進(jìn)行操作。
今年打算認(rèn)真最準(zhǔn)備做一個(gè)社群,吸引更多同頻的同學(xué)一起交流,感興趣的同學(xué)可以直接私信我。
過年春節(jié)最火的技術(shù)新聞應(yīng)該就是Deepseek了,黑神話悟空公司 游戲科學(xué)CEO馮驥甚至直接稱之為
國運(yùn)級(jí)別技術(shù)突破!
剛開始還沒太關(guān)注,但是黑猴玩挺多的,相信馮總也是認(rèn)真做事的人,能拿到他的信任背書,肯定值得關(guān)注了,遂開始了解相關(guān)信息:抖音、知乎、B站的相關(guān)核心內(nèi)容消化。
后面發(fā)現(xiàn)幻方的創(chuàng)始人梁文峰也是吳川的,作為老鄉(xiāng)與有榮焉,對(duì)創(chuàng)始人的成長經(jīng)歷、過往分享、價(jià)值觀又做深層次的挖掘,不由得感慨:小鎮(zhèn)做題家真是中國獨(dú)有的財(cái)富,同時(shí)對(duì)“國運(yùn)”這種玄學(xué)真的不得不信。
OpenAI(CloseAI)現(xiàn)在帶領(lǐng)的方向是通過堆算力設(shè)備,玩大力出奇跡,同時(shí)對(duì)高端顯卡做出口管制,就是要限制國內(nèi)的AI技術(shù)發(fā)展,但是總是有理想主義的天才能夠另辟蹊徑找到破局的方法,通過算法的方式優(yōu)化訓(xùn)練成本,從訓(xùn)練成本到API價(jià)格都可以看到極致的成本控制,看到AI應(yīng)用真的能成為水電的普惠性質(zhì)的應(yīng)用,做到科技改變生活。
ChatGPT的內(nèi)容自己在論壇上分享也較早,但是不得不說還是有巨大的門檻,我是因?yàn)榕d趣+行業(yè)才有心思鉆研,但是對(duì)于普通人來說,要搞定 網(wǎng)絡(luò)配置(科學(xué))+ 賬號(hào)注冊(cè) + SMS接碼 + 防feng號(hào)處理,基本上已經(jīng)勸退90%以上人群了。
現(xiàn)在這個(gè)門檻已經(jīng)被拉平了,只要一個(gè)86手機(jī)號(hào),就可以獲得這種神器,我認(rèn)為這種通用AGI簡直就是古時(shí)候人們認(rèn)為的全知全能的“圣人”,而且是有求必應(yīng)的圣人,推薦大家也思考怎么結(jié)合行業(yè)進(jìn)行落地應(yīng)用,盡可能加強(qiáng)頻率(也有一種焦慮:非核心工種的代替性太強(qiáng)了,電商領(lǐng)域更是,所以要有足夠的敏感度,積極擁抱變化)
因?yàn)楝F(xiàn)在Deepseek太火了,直接給服務(wù)器干爆了,同時(shí)還承載了很多惡意攻擊,API調(diào)用申請(qǐng)入口也直接關(guān)了,但是DeepSeek身上能看到偉大公司的基因就是:擁有這種核心技術(shù)(可以帶來巨大的經(jīng)濟(jì)回報(bào)),但是還愿意直接開源。
要說幻方還是有理想主義的,公司是國內(nèi)頂級(jí)量化私募機(jī)構(gòu),肯定有對(duì)這個(gè)DS這個(gè)項(xiàng)目做過商業(yè)化經(jīng)濟(jì)回報(bào)進(jìn)行評(píng)估,舍棄巨大的利益,但是對(duì)全球的AI生態(tài)發(fā)展有巨大正向推動(dòng),之前都是要超級(jí)巨大的資金資源投入,但是開源之后大家都有了上牌桌的機(jī)會(huì)。
上面分享了一些基本信息,每次講核心內(nèi)容總會(huì)講一下認(rèn)識(shí)背景(doge)
?
==============================分割線=====================================
今天分享的內(nèi)容是:DeepSeek本地化部署(技術(shù)向)本地化部署方案
后面有機(jī)會(huì)再跟大家分享應(yīng)用層面的相關(guān)信息:
1.亞馬遜運(yùn)營的AI應(yīng)用(基礎(chǔ)應(yīng)用)
2.公司層面知識(shí)庫建立(宏觀應(yīng)用)
一、本地Ollama部署
打開Ollama官網(wǎng),根據(jù)自己的系統(tǒng)點(diǎn)擊下載
https://ollama.com/


下載之后按照默認(rèn)設(shè)置完成安裝即可,之后回到Ollama主頁,點(diǎn)擊model子頁面
Ollama已經(jīng)聚合了一些熱門的開源模型,我們直接找到DeepSeek-r1模型
可以發(fā)現(xiàn)這里有很多不同的版本,選擇自己電腦配置符合的(年后回去立馬買4090)

具體配置可以參照這個(gè)表格

選好對(duì)應(yīng)的模型,然后復(fù)制這串代碼

Mac用戶在電腦本地打開【終端】
Windows用戶在電腦本地打開【命令行cmd】
接著Mac用戶在電腦本地打開【終端】
Windows用戶在電腦本地打開【cmd】
把剛才復(fù)制的代碼,粘貼過來,回車,然后開始下載模型

下載進(jìn)度條走完之后,會(huì)自行安裝,全部完成之后,我們就可以直接在終端開始使用了。
PS. 一定要留意選擇符合自己電腦配置的模型,我的Mac裝了7B的,背板溫度直線升高
安裝完成之后,我們就可以直接在終端框進(jìn)行使用了,但是實(shí)際使用的時(shí)候肯定還是不太方便的
所以我們下面介紹2種方法,給本地化部署增加交互界面,更符合我們的使用習(xí)慣
?
二、Chatbox創(chuàng)建智能體
打開chatbox官網(wǎng),啟動(dòng)網(wǎng)頁版,chatbox也提供客戶端,看自己的使用習(xí)慣
https://chatboxai.app/zh

然后點(diǎn)左下角【設(shè)置】

模型提供方選擇Ollama

然后要根據(jù)這個(gè)教程設(shè)置一下
https://chatboxai.app/zh/help-center/connect-chatbox-remote-ollama-service-guide

就可以看到對(duì)應(yīng)系統(tǒng)的教程了

然后回到Chatbox的官網(wǎng),再點(diǎn)一下【設(shè)置】
選擇我們下載的模型,點(diǎn)擊保存,就可以開始使用了
PS. 如果這里沒有顯示模型,多是忘記重開Ollama的

Chatbox也提供創(chuàng)建智能體選項(xiàng),可以幫我們處理特定的工作內(nèi)容:如listing優(yōu)化

后面有空再更新Docker的方案,docker的玩法更加豐富,可以創(chuàng)建語音智能體,但是相對(duì)而言更復(fù)雜,上面Chatbox已經(jīng)可以滿足多數(shù)人的使用需求了,看大家的反饋再?zèng)Q定是否更新這部分內(nèi)容。
==============================分割線=====================================
到這里已經(jīng)大功告成了,快去試試吧!
祝論壇的各位朋友新年快樂,2025出海順利~
感覺有用可以幫我點(diǎn)點(diǎn)關(guān)注和贊? 謝謝大家~?
44 個(gè)回復(fù)
XuanZan - 90hou
贊同來自: 熱心市民陳先森1205 、 Andy聊跨境 、 AML111 、 Monkey123 、 Albert666 、 Enjoychris 、 布咕咕咕 、 東東丶 、 大勉強(qiáng)家 、 新新新韭菜 、 努力成為大麥 、 Austin01 、 明天過后啊 、 JosephGan 、 跨境小白o(hù)nline 、 羊非魚 、 假設(shè)我是好人 、 9你的名字 、 溫皮皮sir 、 咿呀嘿努力打工 、 菜鳥Peter 、 LyleTeng 、 不可以吃咸魚 、 鳴瑜nice 、 怎么想都奇怪 、 Typhine 、 昨夜碧樹過西風(fēng) 、 根深者茂 、 肖小小cici 、 德魯大樹 、 黑色的 、 eee123 、 dog6638 、 想昵稱好難啊 、 JamesGodson 、 KennyL 、 阿四AIR 、 菜園源泉 、 入門中ing 、 lEtmIheArU 、 13710212591 、 誰不喜歡雞腿 更多 ?
?Ollama和Chatbox是做什么的?
Ollama:可以理解為一個(gè)工具箱,里面有許多預(yù)先訓(xùn)練好的AI“模型”。你可以把它想象成一個(gè)裝有各種“機(jī)器人大腦”的盒子。每個(gè)大腦都有不同的特長,比如理解文字、生成圖片、回答問題等。你通過Ollama將這些大腦帶到你自己的電腦上,讓它們?cè)诒镜毓ぷ?。安裝好后,你可以在電腦上直接控制這些“機(jī)器人”,就像把它們從一個(gè)虛擬的實(shí)驗(yàn)室?guī)Щ丶乙粯印?br />
Chatbox:可以看作是一個(gè)“操作面板”或者“遙控器”,你通過它來更方便地和Ollama的AI模型進(jìn)行交流。這個(gè)操作面板讓你不用每次都輸入復(fù)雜的命令,直接通過圖形界面和AI互動(dòng),甚至還可以設(shè)置AI做一些專門的任務(wù),比如自動(dòng)優(yōu)化產(chǎn)品頁面內(nèi)容。
和網(wǎng)頁端AI工具(如ChatGPT)的區(qū)別?
網(wǎng)頁端AI工具(如ChatGPT):ChatGPT是通過瀏覽器直接連接到服務(wù)器上的AI模型,你只需要輸入問題,AI會(huì)即時(shí)給出答案。它類似于你去網(wǎng)吧玩游戲,所有的硬件和軟件都在遠(yuǎn)程的服務(wù)器上,你通過網(wǎng)絡(luò)和它互動(dòng)。
Ollama + Chatbox:是本地化的AI工具。也就是說,所有的“計(jì)算”是在你自己的電腦上完成的。你不再依賴外部服務(wù)器,只要電腦夠強(qiáng)大,你可以隨時(shí)離線使用這些AI“模型”。這就像你買了一個(gè)個(gè)人的游戲主機(jī),不再需要每次都連網(wǎng)才能玩。
什么是“模型”?
在AI中,“模型”就像是一個(gè)“專家”,它經(jīng)過大量學(xué)習(xí)后,變得非常擅長某種任務(wù)。比如:
有的模型是專門學(xué)會(huì)了如何理解文字和回答問題(像ChatGPT就是這樣的模型)。
有的模型學(xué)會(huì)了如何生成藝術(shù)作品、圖片等。
你可以把模型想象成一個(gè)特定技能的專家。就像你找一位廚師做菜,找一位醫(yī)生看病,找一位程序員寫代碼。每個(gè)模型都是經(jīng)過訓(xùn)練,在某個(gè)領(lǐng)域非常專業(yè)的人物。