Ես նկարագրեցի 1245 աղյուսակ LLM-ի միջոցով, և որոնման արդյունավետությունը վատթարացավ

Ծրագրավորող Աշիշ Սինհան վերլուծել է տվյալների բազայի սխեմաների համար LLM-ի միջոցով նկարագրական մետատվյալներ ստեղծելու անսպասելի բացասական հետևանքները: Թեև արհեստական բանականության կողմից ստեղծված նկարագրությունները պետք է բարելավեին որոնումը, դրանք իրականում վատթարացրել են այն: Խնդիրը պայմանավորված է երկու գործոնով՝ IDF-ի (փաստաթղթերի հակադարձ հաճախականություն) նվազմամբ, երբ տիրույթի ընդհանուր տերմինները դառնում են համատարած, և երկարության նորմալացմամբ, որը տուժում է բազմաթիվ սյունակներ ունեցող կենտրոնական աղյուսակների դեպքում: Սինհան առաջարկում է լուծում՝ դաշտերը բաժանել առանձին ինդեքսների և օգտագործել Reciprocal Rank Fusion (RRF)՝ արդյունքները միավորելու համար: Այս մոտեցումը թույլ է տալիս օգտագործել հարստացված տվյալները՝ առանց հիմնական որոնման ազդանշանները աղտոտելու, ինչը ապահովում է ավելի հուսալի մեթոդ text-to-SQL համակարգերի և փաստաթղթերի ինդեքսավորման համար: