DeepSeek R1快速部署(一键包)
什么是DeepSeek?
Deepseek是杭州深度求索人工智能基础技术研究有限公司的通用人工智能模型,模型采用了大规模的自监督学习和预训练技术,能够从海量未标注数据中提取有用的特征,从而减少对标注数据的依赖,提升模型的泛化能力。
R1性能如何?
DeepSeek-R1 在后训练阶段大规模使用了强化学习技术,在仅有极少标注数据的情况下,极大提升了模型推理能力。在数学、代码、自然语言推理等任务上,性能比肩 OpenAI o1 正式版。
如何在服务器上使用?
一键包来自于:NathMath的个人空间-NathMath个人主页-哔哩哔哩视频
模型选择参考
没有GPU:1.5B Q8推理 或者 8B Q4推理
4G GPU:8B Q4推理
8G GPU:32B Q4推理 或者 8B Q4推理
16G GPU:32B Q4推理 或者 32B Q8推理
24G GPU: 32B Q8推理 或者 70B Q2推理