H00kran

针对目前几款 SOTA LLMs 的蒸馏痕迹探讨

  •  
  •   H00kran · Feb 11, 2025 · 1922 views
    This topic created in 486 days ago, the information mentioned may be changed or developed.

    测试工具:Ichigo Bot ,一款 LLM API 聚合 Telegram 聊天机器人(✨GitHub:https://github.com/rewired-gh/ichigo-bot

    系统提示词:略;温度:0.2 ;测试提示词:Good morning

    提示词非常简单,也是最常见的提示词之一。这是为了避免变成智商测试。以下是 LLMs 的回复。

    GPT-4o (基准):Good morning! ☀️ How can I assist you today? 😊

    以下为几乎确定是蒸馏的模型( https://github.com/Aegis1863/LLMs-Distillation-Quantification )。

    Qwen Max:Good morning! 🌞 How can I assist you today?

    DeepSeek R1:Good morning! 🌞 How can I assist you today?

    以下为暂无蒸馏证据的模型。

    o3-mini:Good morning! I'm Ichigo (いちご 🍓). I hope your day is off to a great start. How can I assist you today?

    Gemini 2.0 Flash Thinking:Good morning to you too! ☀️ Hope you have a wonderful day ahead! 😊 Is there anything I can help you with this morning?

    豆包 1.5 Pro:Good morning! It's a great start to the day. What exciting things do you have planned?

    结论:对于洁癖而言,不建议使用几款蒸馏的模型。

    musi
        1
    musi  
       Feb 11, 2025   ❤️ 3
    蒸馏几乎都是为了用低成本获取高质量数据,简而言之就是降本。用更少的钱获得相同质量的答案为什么不建议用
    H00kran
        2
    H00kran  
    OP
       Feb 11, 2025 via Android
    @musi 对,理论上蒸馏模型不代表更差的表现,所以我说的是「对于洁癖而言」。在 GitHub 那个研究中,指出这几款有蒸馏痕迹的模型存在较高的 logical contradictions ,尤其当用户告诉模型与事实不符的信息时(即误导)。
    cat9life
        3
    cat9life  
       Feb 13, 2025   ❤️ 1
    对用户来说,谁好用谁便宜用谁,管你是蒸馏还是啥。对 ai 公司来说,这样竞争确实是不讲武德,也不利于行业的长期发展
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5676 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 41ms · UTC 06:14 · PVG 14:14 · LAX 23:14 · JFK 02:14
    ♥ Do have faith in what you're doing.