deepseek违规蒸馏（DEEPSEEK用谁家蒸馏模型）

DeepSeek是一款基于AI技术的智能搜索引擎，结合深度学习与自然语言处理，提供精准、高效的搜索体验。探索DeepSeek，感受未来智能搜索的无限可能！

本文目录一览：

• 1、deepseek到底是属于「蒸馏」范畴,还是属于「原创」范畴?
• 2、deepseek蒸馏技术详解

deepseek到底是属于「蒸馏」范畴,还是属于「原创」范畴?

1、DeepSeek采用的蒸馏技术基于知识蒸馏原理。知识蒸馏概念：知识蒸馏是一种模型压缩和迁移学习技术，旨在将一个复杂、性能高的教师模型的知识迁移到一个简单的学生模型中。其核心思想是让学生模型学习教师模型的输出，而不仅仅是学习训练数据的标签。

2、DeepSeek属于人工智能板块。DeepSeek是杭州深度求索公司发布的一系列在知识类任务上表现出色的人工智能模型，专注于自然语言处理和机器学习领域的研究和应用。通过自主研发的算法和模型，该公司不断提升AI系统的智能化水平，其核心技术涵盖了机器学习、深度学习、自然语言处理、计算机视觉等多个前沿领域。

3、接下来，设计一个较小的学生模型，并使用软标签以及硬标签共同训练。在训练过程中，通常采用一个损失函数的加权组合，以优化学生模型的性能。最后，通过调整温度参数、损失函数权重等超参数，使学生模型尽可能接近教师模型的性能。

deepseek蒸馏技术详解

1、在教育领域，应用如网易有道、云学堂等也接入了DeepSeek，以增强其在教学和辅助学习方面的能力。此外，还有手机智能助手，如华为的小艺App、荣耀的YOYO助理等，也集成了DeepSeek，为用户提供更加智能化的服务。

2、此外，它全面支持MLA、多专家并行等特性，只需32台即可支持模型全参训练，高效完成模型的持续训练和微调。在适配性方面，昆仑芯P800已经完成了DeepSeek训练推理的全版本适配，包括DeepSeek MoE模型及其蒸馏的Llama、Qwen等小规模dense模型，性能表现卓越。

3、推理支持：昆仑芯P800率先支持8bit推理，这意味着它在进行推理计算时能够更高效地利用资源，降低能耗。同时，单机8卡即可运行671B模型，这使得它在处理大型模型时具有更高的灵活性和可扩展性。