Իմ տեղային 7B մոդելը «Python գործընթացը սպանելը» համարում է բռնի հանցագործություն, և իմ regex-ը հաղթեց դրան

AI անվտանգության արձանագրությունները փորձարկող ծրագրավորողը պարզել է, որ 7 միլիարդ պարամետր ունեցող տեղային Qwen 2.5 Coder մոդելը հաճախ սխալմամբ դասակարգում է անվնաս տեխնիկական հարցումները որպես բռնի բովանդակություն: Օգտագործելով հոմանիշներ, ինչպիսիք են «սպանել Python գործընթացը»՝ իրական սպառնալիքների դեմ, հեղինակը ցույց է տվել, որ LLM-ը դժվարանում է հասկանալ համատեքստը՝ անվնաս արտահայտությունները նշելով որպես «վտանգավոր»: Զարմանալիորեն, պարզ, ձեռքով գրված regex սկրիպտը՝ բացառությունների ցանկով, գերազանցել է LLM-ին այս հատուկ դասակարգման խնդիրներում: Հեղինակը պնդում է, որ AI անվտանգության ներկայիս չափանիշները հաճախ չափում են ոչ թե մոդելի բանականությունը, այլ դրա շուրջ գտնվող «կառուցվածքը»՝ վերլուծիչներն ու ֆիլտրերը: Այս փորձը ընդգծում է անվտանգության ֆիլտրման համար միայն խոշոր մոդելների վրա հիմնվելու սահմանափակումները և ցույց է տալիս, որ ավանդական, կանոնների վրա հիմնված համակարգերը դեռևս կարող են ապահովել ավելի բարձր ճշգրտություն կոնկրետ առաջադրանքների համար: