Արհեստական բանականությունը բովանդակության ստեղծման համար. ինչու են տեքստերը դառնում միատեսակ և ինչպես չափել դա
Ժամանակակից գեներատիվ արհեստական բանականության մոդելները գնալով ավելի հաճախ ստեղծում են բովանդակություն, որը թվում է միատեսակ և կաղապարված: Այս հոդվածում քննարկվում են այս երևույթի պատճառները, որոնք կապված են լեզվական մոդելների ուսուցման առանձնահատկությունների և հաջորդ թոքենի կանխատեսման մեխանիզմների հետ: Հեղինակը վերլուծում է, թե ինչու են ալգորիթմները ձգտում դեպի միջինացված և կանխատեսելի արդյունքներ, ինչը հանգեցնում է տեքստերի յուրահատկության կորստի: Այս խնդիրը գնահատելու համար առաջարկվում է օգտագործել տվյալների վերլուծության տեխնիկական մեթոդներ, ներառյալ «շինգլների» (shingling) ալգորիթմը, MinHash մեթոդը՝ բազմությունների նմանությունը գնահատելու համար, և կառուցվածքային վերլուծության չափանիշները: Այս գործիքները թույլ են տալիս քանակապես չափել բովանդակության «կաղապարվածության» աստիճանը և բացահայտել այն օրինաչափությունները, որոնք տեքստերը դարձնում են նման միմյանց: Նյութը օգտակար կլինի ծրագրավորողների և բովանդակության մենեջերների համար, ովքեր ձգտում են բարելավել նեյրոցանցերի միջոցով ստեղծվող նյութերի որակը և ինքնատիպությունը:
This is a summary. Read the full article at the original source:
HabrԿապակցված
Տղամարդը դատապարտվել է 1000 բոտերի օգնությամբ արհեստական բանականության երաժշտությունից 8 միլիոն դոլար հափշտակելու համար
Հյուսիսային Կարոլինայի բնակիչ Մայքլ Սմիթը դատապարտվել է 18 ամսվա ազատազրկման՝ երաժշտական հոսքային հարթակներում խարդախության խոշոր սխեմա կազմակերպելու…
AskAnyModel-ը առաջարկում է ցմահ հասանելիություն 50+ AI մոդելների՝ 29.97 դոլարով
Նոր գովազդային առաջարկը թույլ է տալիս օգտատերերին ձեռք բերել AskAnyModel AI Pro Plan-ի ցմահ բաժանորդագրություն ընդամենը 29.97 դոլարով՝ 499 դոլար սկզբն…
Ոչ տեքստային Jev AI մոդելը ստեղծող ընկերությունը գնահատվել է 7.5 միլիարդ դոլար՝ թողարկումից ընդամենը շաբաթներ անց
TypeSafe ստարտափը, որը մշակել է նոր Jev AI մոդելը, թողարկումից ընդամենը շաբաթներ անց հասել է 7.5 միլիարդ դոլար շուկայական գնահատման։ Ի տարբերություն ա…