Արդյո՞ք ձեզ իրականում անհրաժեշտ է LLM

Վերջերս անցկացված փորձարկման ընթացքում ծրագրավորող Քեն Ուոլգերը ստուգել է, թե արդյոք մեծ լեզվական մոդելները (LLM) անհրաժեշտ են տվյալների արդյունահանման, դասակարգման և հարցերին պատասխանելու նման սովորական առաջադրանքների համար: Օգտագործելով Raspberry Pi 4-ը և փոքր մոդելներ, ինչպիսիք են Qwen2.5:1.5b-ը, նա համեմատել է դրանց աշխատանքը դետերմինիստական մեթոդների հետ, ինչպիսիք են կանոնավոր արտահայտությունները (regex): Արդյունքները ցույց են տվել, որ պարզ արդյունահանման համար regex-ն ավելի արագ և ճշգրիտ է, մինչդեռ LLM-ները դժվարանում են ձևաչափման հարցում: Դասակարգման դեպքում փոքր մոդելները չեն կարողացել հասկանալ բարդ որոշումները՝ հաճախ սխալ դասակարգելով կարևոր տվյալները: Թեև LLM-ները խոստումնալից են հարցերին պատասխանելու հարցում, դրանք հաճախ հորինում են տեղեկատվություն, երբ պատասխանները բացակայում են: Ուոլգերը եզրակացնում է, որ մշակողները պետք է նախապատվությունը տան ամենապարզ լուծմանը, նախքան LLM-ներին դիմելը: Նա ընդգծում է, որ թեև համատեքստը էժան է, մոդելի ուշացումը և հուսալիությունը մնում են լուրջ խոչընդոտներ: