GPT4o-mini 发布，便宜了，效果也翻车了~

今天的新闻真的太多了，之前也好几次都是这样，而且恰巧都是在月圆期间（2月15日、4月15日、5月13日和现在的7月17日），具有令人费解的占星规律~。

推荐使用GPT中文版,国内可直接访问：https://ai.gpt86.top 

GPT-4o mini是openai最新推出的一个致力于替代chatgpt 3.5 turbo的一个新型号模型，具有更低的售价，更好的基准评测。

配置参数如下~

• 定价：每百万token 输入0.15 美元 输出0.60 美元（以 3:1 输入：输出 token 混合价格为基础， Haiku 价格的一半，但具有 Opus 级别基准（包括 BigCodeBench-Hard），以及 3.5% GPT4o 的价格，在 Lmsys 上 达到了# 4）
• 比 gpt3.5 更好地利用长上下文（有 16k 输出token！（比 4T/4o 多 4 倍））
• 快一个数量级-（~100tok/s，比Haiku慢一点）
• 未来将支持文本、图像、视频和音频输入和输出
• 第一个基于Instruction Hierarchy架构训练的模型，openai今年的论文《The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions》
• ChatGPT 语音模式 alpha 承诺本月发布
• Greg Brockman回复表示由于开发人员的普遍需求，所以构建了gpt4o-mini

第一时间被越狱^[1]：新的“Instruction Hierarchy”防御机制还不够，见证新的 gpt-4o-mini 输出恶意软件、毒品配方、肮脏的受版权保护的歌词，以及如何窃取选举！

体验方面，来自@Trisimo崔思莫 的回答^[2]

就是一个Haiku Flash级的东西，感觉傻傻的。完全体现不出MMLU 82的性能。我会拿豆包跟它PK一下。我觉得豆包可以打败它。拿常用LLM来说，我的第一感觉是 Deepseek＞Qwen 2≈豆包＞GPT-4o mini＞Kimi ；如果一个模型的智力要跟Kimi去比了，那就没啥好说的了。

在Lmsys上做的简单上手。上手时间不到5分钟。等Poe上出了，我做个全套评测。第一感觉……不大行。四道推理题，只对了一题，有一道是数学题，做了老半天二元一次不等式，最后还是错到西伯利亚。(难度不是很高，GPT-4o可以全对，Deepseek多发也能全对) 附加了一道弱智吧的题，也没回答正确。弱智吧的题都是考验常识和人之常情的。GPT不是弱智吧杀手吗？咋不行了？

来自@宝玉xp 关于pdf解析的测试^[3]

外网的一些评价^[4]（有一点点翻车）：

• 做了一些初步测试，结果比我本地运行的 gemma2:27b-instruct-q6_K 更糟糕，但显然比 GPT-3.5 好得多。
• 我认为 GPT-4o-mini 的响应是可怕且无用的，对我来说不可用，因为它的输出包含比实际真实陈述更多的谎言和夸大的文本。
• 图中的响应以每分钟 165 个令牌的速度生成，结果如下：每秒 35 个真实token; 每秒 70 个错误token；每秒 60 个通用且无用的填充token；
• 根据我的衡量标准，该模型不适用于我的用例，因为有用的信息被虚假信息和填充垃圾淹没了。
• 对于一般性问题，我根本不信任它，因为它显然强烈偏向于编写尽可能多且听起来不错的短语，与模型中嵌入的实际知识量不同步。