Ձեր CDN-ը կարող է չեղարկել robots.txt-ը. ինչպե՞ս գտնել այն շերտը, որը մերժում է AI սողուններին

92 կայքերի վերլուծությունը ցույց է տալիս, որ շատ սեփականատերեր տեղյակ չեն, որ իրենց սերվերները կամ CDN-ները կարող են արգելափակել AI սողուններին (crawlers), չնայած իրենց robots.txt ֆայլերին: Հետազոտությունը պարզել է, որ փորձարկված կայքերի 24%-ը 403 սխալ է վերադարձնում AI բոտերին՝ միաժամանակ բովանդակություն տրամադրելով բրաուզերներին: Այս արգելափակումները հաճախ տեղի են ունենում CDN մակարդակում (օրինակ՝ Cloudflare) կամ սերվերային կոնֆիգուրացիաների միջոցով, այլ ոչ թե robots.txt ֆայլի միջոցով: Հեղինակը շեշտում է, որ կայքի սեփականատերերը պետք է ստուգեն իրենց ենթակառուցվածքը՝ համոզվելու համար, որ տեխնիկական իրականացումը համապատասխանում է իրենց քաղաքականությանը: Հոդվածը տրամադրում է գործնական քայլեր՝ curl-ի միջոցով պարզելու, թե որ շերտն է պատասխանատու մերժման համար, և առաջարկում է կոնֆիգուրացիայի օրինակներ Cloudflare-ի և nginx-ի համար՝ AI բոտերի հասանելիությունը ճիշտ կառավարելու համար: