cancel
Showing results for 
Search instead for 
Did you mean: 

Проблемы с индексерованием ПС

Проблемы с индексерованием ПС

robots.txt взят с одного из форумов, до того как добавил в исключения /ajax_cart товар индексировался, но не весь, а только то что выводилось через ajax_cart те вариации. Ни одно описание вара и прочее за месяц на индекс не ушло. Проиндексированы только категории товаров, в чем проблема?

Ниже инфа от яндекс мастера и роботс.

Заранее спасибо.

 

Снимок экрана 2016-06-14 в 22.15.03.png

User-agent: * 
   
## Crawl-delay parameter: number of seconds to wait between successive requests to the same server. 
## Set a custoskim crawl rate if you\'re experiencing traffic problems with your server. 
# Crawl-delay: 30 
   
## Magento sitemap: uncomment and replace the URL to your Magento sitemap file 
Sitemap: http://urbanprojects.ru/sitemap.xml 
Host: urbanprojects.ru
   
## DEVELOPMENT RELATED SETTINGS 
   
## Do not crawl development files and folders: CVS, svn directories and dump files 
Disallow: /CVS 
Disallow: /*.svn$ 
Disallow: /*.idea$ 
Disallow: /*.sql$ 
Disallow: /*.tgz$ 
   
## GENERAL MAGENTO SETTINGS 
   
## Do not crawl Magento admin page 
Disallow: /admin/ 
Disallow: /myadmin/ 
   
## Do not crawl common Magento technical folders 
Disallow: /app/ 
Disallow: /downloader/ 
Disallow: /errors/ 
Disallow: /includes/ 
Disallow: /lib/ 
Disallow: /pkginfo/ 
Disallow: /shell/ 
Disallow: /var/ 
Disallow: /ajaxcart/
Disallow: /quickview/

   
## Do not crawl common Magento files 
Disallow: /api.php 
Disallow: /cron.php 
Disallow: /cron.sh 
Disallow: /error_log 
Disallow: /get.php 
Disallow: /install.php 
Disallow: /LICENSE.html 
Disallow: /LICENSE.txt 
Disallow: /LICENSE_AFL.txt 
Disallow: /README.txt 
Disallow: /RELEASE_NOTES.txt 
   
## MAGENTO SEO IMPROVEMENTS 
   
## Do not crawl sub category pages that are sorted or filtered. 
Disallow: /*?dir* 
Disallow: /*?dir=desc 
Disallow: /*?dir=asc 
Disallow: /*?limit=all 
Disallow: /*?mode* 
   
## Do not crawl 2-nd home page copy (example.com/index.php/). Uncomment it only if you activated Magento SEO URLs. 
## Disallow: /index.php/ 
   
## Do not crawl links with session IDs 
Disallow: /*?SID= 
   
## Do not crawl checkout and user account pages 
Disallow: /checkout/ 
Disallow: /onestepcheckout/ 
Disallow: /customer/ 
Disallow: /customer/account/ 
Disallow: /customer/account/login/ 
Disallow: /firecheckout/
   
## Do not crawl seach pages and not-SEO optimized catalog links 
Disallow: /catalogsearch/ 
Disallow: /catalog/product_compare/ 
Disallow: /catalog/category/view/ 
Disallow: /catalog/product/view/ 
   
## SERVER SETTINGS 
   
## Do not crawl common server technical folders and files 
Disallow: /cgi-bin/ 
Disallow: /cleanup.php 
Disallow: /apc.php 
Disallow: /memcache.php 
Disallow: /phpinfo.php 
   
## IMAGE CRAWLERS SETTINGS 
   
## Extra: Uncomment if you do not wish Google and Bing to index your images 
# User-agent: Googlebot-Image 
# Allow: / 
# User-agent: msnbot-media 
# Allow: / 

Disallow: /checkout/cart/  
3 REPLIES

Re: Проблемы с индексерованием ПС

А Вы уверены в том форуме с которого взяли файл?

 

inchoo[точка]net/ecommerce/ultimate-magento-robots-txt-file-examples/

Re: Проблемы с индексерованием ПС

Заменил на ваш файл, два апдейта, изменений пока незаметно.

Re: Проблемы с индексерованием ПС

Ну вообще-то под каждый сайт файл может быть совершенно разный в зависимости от установленных расширений, файл составить не так уж сложно в яндексвебмастер есть подробная инструкция вопросов не останется. Та ссылка которую я привел просто как основа для Вашего. 

Что за два апдейта? Поисковый бод прошёл два раза Ваш сайт?

У меня изменения в гугле появляются недели через две, в яндексе еще позже. Бот заходит на сайт каждый день, но отрабатывает его не целиком а страниц по 100-300 за день