Kleine Sprachmodelle: Wann das kleinere Modell das bessere ist

Jedes Team kommt an denselben Punkt: Jemand verlangt das größte Modell, weil das größte Modell die besten Antworten hat. Oft ist es auch das langsamste, das teuerste — und dasjenige, das am meisten Kontext braucht, um etwas Einfaches zu sagen.

Wo ein kleines Modell das bessere ist

Kurze, wiederkehrende Aufgaben: eine feste Art Nachricht zusammenfassen, eine Antwort einordnen, ein Feld auslesen
Text, der im Haus bleiben soll: nichts, was das Unternehmen verlassen darf
Große Mengen, bei denen jede Sekunde Wartezeit zählt
Aufgaben mit fester Form — mehr soll die Antwort nicht enthalten

Was es kostet

Weniger Wissen außerhalb des eigenen Themengebiets
Längere Prompts: ein kleines Modell braucht klarere Anweisungen und Beispiele
Weniger Sprachen und ein kürzerer Kontext
Es scheitert anders: statt einer selbstsicheren falschen Antwort bleibt die Antwort oft leer

Ein Test an einem Nachmittag

Nehmen Sie zehn echte Aufgaben der letzten Woche, notieren Sie, was eine richtige Antwort enthalten muss, und lassen Sie beide Modelle laufen. Keine Benchmarks — Ihre eigene Arbeit. Danach zählen Sie drei Dinge: wie oft die Antwort stimmte, wie lange es dauerte und was es kostete. Meist gewinnt das große Modell beim ersten Wert und verliert bei den anderen beiden — und die Aufgaben, in denen es gewinnt, wären ohnehin Sache eines Menschen.

Every team reaches the same point: someone asks for the biggest model, because the biggest model is the one with the best answers. Often it is also the slowest, the most expensive, and the one that needs the most context to say something simple.

Where a smaller model is the better one

Short, repetitive work: summarising one fixed kind of message, sorting a reply, pulling out a single field
Text that has to stay in the building: nothing may leave the company
High volumes, where every second of waiting adds up
Tasks with a fixed shape — the answer should not contain more than that

What it costs

Less knowledge about anything outside its own subject area
Longer prompts: a small model usually needs clearer instructions and examples
Fewer languages and a shorter context
It fails differently: instead of a confident wrong answer, the answer is often simply empty

A test you can run in one afternoon

Take ten real tasks from last week, write down what a correct answer has to contain, and run both models. Not benchmarks — your own work. Then count three things: how often the answer was right, how long it took, and what it cost. Most teams find that the big model wins on the first number and loses on the other two — and that the tasks where it wins are the ones a person should handle anyway.

Herkes aynı noktaya geliyor: biri en büyük modeli istiyor, çünkü en büyük modelin cevapları en iyisi. Genellikle aynı zamanda en yavaşı, en pahalısı ve basit bir şey söylemek için en çok bağlama ihtiyacı olanı odur.

Küçük model nerede daha iyi

Kısa ve tekrarlayan işler: belirli bir tür mesajı özetlemek, bir yanıtı ayırmak, tek bir alanı çıkarmak
Metnin şirket içinde kalması gereken işler: hiçbir şey şirketten çıkmamalı
Bekleme süresinin her saniyesinin sayıldığı yüksek hacimli işler
Cevabın sabit bir biçimde olması gereken, fazlasına gerek olmayan işler

Bunun bedeli

Alanı dışındaki konularda daha az bilgi
Daha uzun istemler: küçük model genelde daha net talimat ve örnek ister
Daha az dil desteği ve daha kısa bağlam
Farklı şekilde başarısız olur: kendinden emin yanlış cevap yerine cevap çoğu zaman boş kalır

Bir öğleden sonrada yapabileceğiniz test

Geçen haftanın on gerçek işini alın, doğru cevabın içermesi gerekenleri yazın ve iki modeli de çalıştırın. Benchmark değil — kendi işiniz. Sonra üç sayıya bakın: cevap ne sıklıkla doğruydu, ne kadar sürdü, ne kadar tuttu. Çoğu ekip büyük modelin ilk sayıda kazandığını, diğer ikisinde kaybettiğini görür — ve kazandığı işlerin zaten bir insanın işi olduğunu fark eder.

← Blog