Lena 和 Miles 揭秘大模型评估中被忽视的统计误差，指出榜单微弱分差可能只是随机噪音。通过引入置信区间和配对实验等科学方法，教你如何穿透排名乱象，看清模型真正的技术实力。
评估模型其实是一场统计实验，但大家现在玩得太粗糙了。我们真正关心的不只是模型在固定题库里的得分，而是它处理所有可能任务的真实期望水平。
https://arxiv.org/pdf/2411.00640
大模型评估本质上是一场统计抽样实验。榜单上的题目只是从无限的“超总体”中抽取的样本，因此得分会受到随机噪声的影响。如果两个模型的分数差距小于统计学上的“误差线”或置信区间，这种领先可能仅仅是由于题目选择的随机性导致的波动，而非模型真实实力的体现。
聚类效应是指在评估集中，多个题目可能关联到同一个素材（如一段阅读理解材料后的十道题）。如果忽略这种关联性，将它们视为完全独立的样本，会使得计算出的误差范围比真实情况小得多（有时甚至小三倍）。这意味着研究者可能会产生一种“测量很精确”的错觉，从而误将随机噪声当成显著的性能提升。
虽然将温度调至 0 可以消除输出的随机性，但这会改变模型的行为，使其变得死板甚至陷入重复，无法反映模型在真实应用场景中的表现。此外，强行将概率分布“四舍五入”为确定性输出可能会引入偏差，导致测得的分数虽然稳定，但却是错误或具有误导性的。
一种有效的方法是使用“下一个 Token 的概率”（Next-token probabilities）来直接计算得分，这相当于对模型进行了无数次重采样，能显著降低方差。如果必须生成答案，则可以采用“重采样”策略，即让模型对同一道题回答多次（如 4 到 6 次）并取平均分，以消除大部分随机采样带来的噪音。
配对分析通过计算两个模型在“每一道题”上的分差来抵消题目难度带来的干扰。因为两个模型在同一套题中面临的难度波动是同步的，通过分析分差而非绝对总分，可以利用题目间的相关性来大幅缩小误差范围。这种方法能让原本看起来模糊的差距在统计学上变得清晰且显著。
Создано выпускниками Колумбийского университета | в Сан-Франциско
средняя оценка
Более 7,84 тыс. оценок приложения
Сообщество BeFreed
Честно говоря, я ещё даже не изучила приложение полностью, но за последние несколько дней оно меня по-настоящему впечатлило… BeFreed — совсем другой уровень по сравнению с любыми учебными приложениями, которыми я пользовалась. Оно невероятно увлекает и действительно улучшает концентрацию — то, что нужно всем, кто бесконечно листает ленту!
@ladyInfinity
Я купил BeFreed ровно 23 дня назад и с тех пор пользуюсь им каждый день. Оно полностью встроилось в мой рабочий процесс и привычку учиться.
@jayallen
Честно говоря, приложение превзошло все мои ожидания. Я могу попросить его сгенерировать аудио на любую тему, какой бы она ни была, и результат впечатляет. Моя профессиональная область — специализация в психотерапии, она мультидисциплинарная, но ответы очень точные.
@Raguipa
Больше всего я ценю то, насколько меньше я стал листать ленту: меньше времени уходит на поиск и больше — на усвоение информации. Сочетание полных аудиокниг, подкастов и планов обучения — блестящее.
@colonyofcreatorsNGO
Я уже 24 года работаю инструктором ускоренного обучения PhotoReading… книги, чтение и обучение — моя стихия, и BeFreed отлично справился, предложив инновационный подход к подаче информации в лёгкой для восприятия форме.
@BeFreed user
Это не просто приложение с кратким содержанием книг: я попробовал режим «весёлого чтения», и это гораздо лучший пересказ и способ схватывать идеи, чем традиционный. Уже ради одного этого оно того стоит.
@austinakon
Обожаю это приложение. Пользуюсь несколько дней и не могу перестать слушать. Отличный способ начать.
@jcrules328
Мне очень нравится это приложение; я тестирую его уже около месяца и считаю настоящей находкой. Оно отлично работает, потому что в BeFreed можно создавать собственные темы, а голос замечательный — с безграничным выбором озвучек.
@DanielCZ
Мне очень нравится, что полезную, сжатую информацию и идеи можно получить в виде аудио в стиле подкаста на 8–15 минут. Я не большой фанат подкастов из-за «воды», но здесь её нет совсем.
@BeFreed user
Я заканчиваю докторскую и вынужден читать много незнакомого материала… В BeFreed достаточно ввести запрос — приложение само находит источники и создаёт аудиоподкаст. Мне процесс в BeFreed кажется удобнее, чем в NotebookLM.
@Brad
Я часто ищу на YouTube, что послушать за завтраком, на прогулке или по дороге на работу, и BeFreed предлагает ещё более точный подход — без рекламы и без «воды»!
@BeFreed user
Самое лучшее в этой платформе — её универсальность. Нет буквально ни одной темы, которая была бы ей не по зубам. Она справляется со всем, что ей даёшь… Редко встретишь учебный инструмент без ограничений, который действительно выполняет обещания.
@jayallen
BeFreed — потрясающее приложение. Благодаря удобному дизайну я трачу меньше времени на навигацию и больше — на учёбу. Сочетание аудиокниг, подкастов и планов обучения — гениальная комбинация, которая полностью изменила мой распорядок дня.
@BeFreed user
Сначала мне понадобилось время, чтобы разобраться, как создавать подкасты на итальянском, а потом — бум! Это же великолепно! Можно попросить объяснить любую тему, и он делает это отлично и очень умно!
@matteo77
BeFreed стал моим ежедневным приложением для аудиокниг… Больше всего мне нравится, что ты вставляешь свой текст — и получаешь аудио, которое можно слушать на ходу.
@kotanzu1
随着互联网公开数据趋于极限，如何突破数据瓶颈已成为大模型竞争的核心。本课程深入探讨合成数据、数据策展及算法优化，适合希望掌握前沿大模型训练策略的算法工程师与技术决策者。
随着大模型进入智能体时代，如何将技术转化为生产力成为核心竞争力。本课程专为希望提升效率并探索 AI 副业的职场人士设计，助力学习者实现从技术理解到财富增值的闭环。
As AI systems increasingly make consequential decisions in healthcare, finance, and public safety, understanding their limitations becomes critical. This plan equips professionals and decision-makers with the knowledge to evaluate AI systems realistically and build more reliable models that avoid common pitfalls.
在資訊爆炸且規則模糊的現代社會，理解賽局背後的運作邏輯是防禦自身利益的關鍵。本計畫適合需要在複雜職場或商場中做出精準決策，並希望看穿他人操縱手段的專業人士。
這套學習計畫專為身處複雜組織、感到有志難伸的職場人士設計。透過拆解潛規則的底層邏輯與多維度評估模型，幫助學習者在人際博弈中掌握主動權，做出最明智的職涯決策。
在現代社會中，我們常受困於不合理的利益結構卻不自知。本課程專為管理職、行銷人員及對行為經濟學感興趣的學習者設計，旨在拆解隱藏在標價、資訊與團隊賽局背後的心理陷阱，協助你奪回決策主導權。
在信息过载的时代，辨别真伪与逻辑推理能力已成为核心竞争力。本课程专为希望提升决策质量的专业人士和学生设计，帮助你从底层重构思考方式。
随着 AI 进入大规模应用阶段，如何平衡高昂的算力成本与商业增长成为核心挑战。本课程专为 AI 产品负责人和架构师设计，旨在解决从技术稳定性到平台经济学模型构建的闭环难题。
![[2411.00640] Adding Error Bars to Evals: A Statistical Approach to ...](/_next/image?url=https%3A%2F%2Fd1y2du6z1jfm9e.cloudfront.net%2Fassets%2Fpodcast%2Fyellow.png&w=1024&q=50)
