谷歌Gemini數(shù)學反超o1預覽版!成本僅1/10、無需額外思考時間,舊范式還沒有死
數(shù)學擊敗o1-preview,成本僅為十分之一,并且?guī)缀鯖]有思考延遲!
OpenAI《Her》全量開放同一天,谷歌Gemini 1.5迎來重大升級。
除此之外,價格也是原來的一半,速度限制提升2-3倍;輸出速度提升2倍、延遲降為原來三分之一。
開發(fā)者可以通過 Google AI Studio 和 Gemini API免費訪問。聊天版本還得再等等。
不過也有網(wǎng)友發(fā)現(xiàn)了華點,雖然數(shù)學能力很強,但還是沒有打敗o1-mini以及o1完整版(94.8)。
谷歌Gemini 1.5大升級
此次更新的有兩個型號:Gemini-1.5-Pro-002和Gemini-1.5-Flash-002。
總結(jié)來說,主要有這些更新:
- 對于1.5pro(輸入和輸出都小于128K),降價幅度大于50%。
- 速率限制提升2-3倍。
- 輸出速度提高2倍,延遲降低3倍。
- 更新了默認過濾器設置。
首先,提升了整體性能,尤其在數(shù)學、長文本以及多模態(tài)方面。
在MMLU-Pro上性能提高約7%;而在 MATH 和 HiddenMath(內(nèi)部保留的競賽數(shù)學問題集)基準測試中,兩種模型有約 20% 的顯著改進,其中Pro版本以86.5%的成績超過了o1-preview(85.5%)。
除此之外,在視覺理解和代碼代碼生成的評估中也有2%-7%的提升。
根據(jù)開發(fā)人員的反饋,這兩個模型現(xiàn)在都采用了更簡潔的風格,目的是使這些模型更易于使用并降低成本。
對于摘要、問題解答和提取等用例,更新后模型的默認輸出長度比以前的模型短 5-20%。
價格方面,1.5pro輸入token降價64%,輸出token降價52%,對增量緩存token降價64%,10月1日開始生效。
速率限制也有所提升,1.5 Flash的付費速率限制從1000RPM提高到2000RPM;1.5 Pro速率限制從360RPM到1000RPM。
另外,輸出速度提高2倍,延遲減少為原來的三分之一。
對于新模型,過濾器已切換成可選,默認情況下不會應用過濾器。
最后的最后,還有Gemini 1.5 Flash-8B實驗版本更新,在文本和多模態(tài)能力方面都有顯著的提升。
網(wǎng)友水靈靈地測試上了
有網(wǎng)友就這么水靈靈地測試上了。
他測試了Gemini 1.5 Flash的音頻轉(zhuǎn)錄功能。后者能在50-60秒內(nèi)轉(zhuǎn)錄13分鐘音頻。
多個音頻文件測試結(jié)果中,轉(zhuǎn)錄準確率接近99%。如果音頻清晰,準確率能達到100%。
有網(wǎng)友測試了它的視覺理解能力,結(jié)果順利通過,之前難倒了一眾視覺模型。
不過討論最多的還是它數(shù)學能力的提升。
不過倒也有網(wǎng)友表示,數(shù)學基準也沒啥用。它已經(jīng)飽和,而且污染了大多數(shù)模型的訓練數(shù)據(jù)。在現(xiàn)實世界的數(shù)學難題里,這些還是沒辦法跟o1系列相提并論。
雖然但是,谷歌升級模型還有一個用處。
那就是push一下OpenAI,趕緊發(fā)布新模型,以此來“奪回王冠”。
什么時候趕緊把o1完整版發(fā)了。(Doge)
參考鏈接:
[1]https://developers.googleblog.com/en/updated-production-ready-gemini-models-reduced-15-pro-pricing-increased-rate-limits-and-more/
[2]https://www.reddit.com/r/singularity/comments/1fohi2z/gemini_15_002_beats_o1preview_on_math_and_it_does/