La description :instructions et explications sur la mise en place d'un fichier robots.txt pour restreindre les robots d'indexation des moteurs...
Classement Alexa Global: # 329,936,Alexa Classement dans France est # 15,990
Server:Apache... X-Powered-By:PHP/7.0.30
L'adresse IP principale: 213.186.33.87,Votre serveur France,Roubaix
ISP:OVH SAS TLD:com Code postal:fr
Ce rapport est mis à jour en 05-Aug-2018
Created Date:
2012-04-30
Changed Date:
2017-04-29
Données techniques du robots-txt.com
Geo IP vous fournit comme la latitude, la longitude et l'ISP (Internet Service Provider) etc. informations.
Notre service GeoIP a trouvé l'hôte robots-txt.com.Actuellement, hébergé dans France et son fournisseur de services est OVH SAS .
Les informations d'en-tête HTTP font partie du protocole HTTP que le navigateur d'un utilisateur envoie à appelé Apache contenant les détails de ce que le navigateur veut et acceptera de nouveau du serveur Web.
MX preference = 1, mail exchanger = mx1.ovh.net. MX preference = 5, mail exchanger = mx2.ovh.net. MX preference = 100, mail exchanger = mxb.ovh.net.
HtmlToText
robots.txt ressources meta robots x-robots-tag humans.txt sitemaps robots.txt introduction au protocole d'exclusion des robots le protocole d'exclusion des robots, plus connu sous le nom de robots.txt , est une convention visant à empêcher les robots d'exploration (web crawlers) d'accéder à tout ou une partie d'un site web. le fichier robots.txt, à placer la racine d'un site web, contient une liste de ressources du site qui ne sont pas censées être explorées par les moteurs de recherches. ce fichier permet également d'indiquer aux moteurs l' adresse du fichier sitemap.xml du site. par convention, les robots consultent le fichier robots.txt avant d'explorer puis d'indexer un site web. lorsqu'un robot tente d'accéder à une page web, comme par exemple http://www.mon-domaine.fr/page.html, il tente d'accéder en premier lieu au fichier robots.txt situé à l'adresse http://www.mon-domaine.fr/robots.txt comment créer le fichier robots.txt le fichier robots.txt doit être placé obligatoirement à la racine de votre site ; si celui-ci est placé dans un répertoire par exemple, les moteurs ne le découvriront pas et ne suivront pas ses règles et paramètres. par ailleurs, le fichier doit être d'une taille inférieure à 62 ko (cf. taille maximale du fichier robots.txt ). si le domaine de votre site est http://www.mon-domaine.fr/, le fichier robots.txt doit se situer obligatoirement à l'adresse suivante http://www.mon-domaine.fr/robots.txt a noter qu'il est également nécessaire que le nom du fichier robots.txt soit en minuscule (pas de robots.txt ou robots.txt). voir également les ressources pour la création d'un fichier robots.txt sur un serveur en https ou dans le cas de sous-domaines . le contenu du fichier robots.txt exemple de contenu d'un fichier robots.txt : user-agent: * disallow: l'instruction user-agent: * signifie que la ou les instruction(s) qui suivent s'applique pour tous les robots. l'instruction disallow: signifie que le moteur peut parcourir l'ensemble des répertoires et des pages du site. note : cela revient au même que de ne pas mettre de robots.txt sur le site. voir également les ressources spécifiques à certains cms : wordpress , drupal , joomla ou encore prestashop . la liste complète des spécificités de certains cms majeurs est disponible sur la page de ressources . autre exemple de contenu d'un fichier robots.txt : user-agent: * disallow: / l'instruction disallow: / signifie que le moteur ne doit pas explorer l'ensemble des répertoires et des pages du site. cela aura pour effet de bloquer totalement les robots d'exploration des moteurs. lorsque vous souhaitez bloquer seulement certains répertoires : user-agent: * disallow: /repertoire-a/ disallow: /repertoire-b/ lorsque vous souhaitez bloquer des pages spécifiques : user-agent: * disallow: /page-a.html disallow: /page-b.html si vous souhaitez bloquer l'accès à des répertoires à certains robots, il suffit de spécifier son nom dans le paramètre user-agent : user-agent: googlebot disallow: /repertoire-a/ user-agent: * disallow: voir également les ressources spécifiques à certains moteurs de recherche : google , bing / msn , yahoo! , baidu ou encore yandex . la liste complète des spécificités de certains moteurs de recherche majeurs est disponible sur la page de ressources . si vous souhaitez bloquer l'accès à des répertoires ou des fichiers spécifiques commençant par une séquence de caractères donnée. dans l'exemple ci-dessous, le robots.txt va bloquer l'accès à tous les fichiers et répertoires commençants par "hello". plus d'informations sur la page dédiée au wildcards . user-agent: * disallow: /hello* certains moteurs de recherche supportent plus de fonctionnalités et de paramètres comme le crawl-delay pour espacer les requêtes des robots, les wildcards pour remplacer une séquence de caractères ou encore la directive allow pour bloquer l'exploration d'un répertoire sauf certains fichiers ou sous-répertoires contenus dans celui-ci. dans un soucis de maintenance et de suivi des modifications apportés à un robots.txt, il est également possible d'ajouter des commentaires au sein du fichier. pour finir, deux choses à savoir lorsque l'on utilise un fichier robots.txt : les robots peuvent ignorer votre fichier robots.txt , en particulier les robots malveillants qui crawlent les sites à la recherches de vulnérabilités ou d'adresses email le fichier robots.txt est un fichier accessible au public, ce qui signifie que n'importe qui peut voir ce que vous souhaitez ne pas faire indexer par les moteurs facebook google+ twitter linkedin
Whois est un protocole qui permet d'accéder aux informations d'enregistrement.Vous pouvez atteindre quand le site Web a été enregistré, quand il va expirer, quelles sont les coordonnées du site avec les informations suivantes. En un mot, il comprend ces informations;
For more information on Whois status codes, please visit https://icann.org/epp
NOTICE: The expiration date displayed in this record is the date the
registrar's sponsorship of the domain name registration in the registry is
currently set to expire. This date does not necessarily reflect the expiration
date of the domain name registrant's agreement with the sponsoring
registrar. Users may consult the sponsoring registrar's Whois database to
view the registrar's reported date of expiration for this registration.
TERMS OF USE: You are not authorized to access or query our Whois
database through the use of electronic processes that are high-volume and
automated except as reasonably necessary to register domain names or
modify existing registrations; the Data in VeriSign Global Registry
Services' ("VeriSign") Whois database is provided by VeriSign for
information purposes only, and to assist persons in obtaining information
about or related to a domain name registration record. VeriSign does not
guarantee its accuracy. By submitting a Whois query, you agree to abide
by the following terms of use: You agree that you may use this Data only
for lawful purposes and that under no circumstances will you use this Data
to: (1) allow, enable, or otherwise support the transmission of mass
unsolicited, commercial advertising or solicitations via e-mail, telephone,
or facsimile; or (2) enable high volume, automated, electronic processes
that apply to VeriSign (or its computer systems). The compilation,
repackaging, dissemination or other use of this Data is expressly
prohibited without the prior written consent of VeriSign. You agree not to
use electronic processes that are automated and high-volume to access or
query the Whois database except as reasonably necessary to register
domain names or modify existing registrations. VeriSign reserves the right
to restrict your access to the Whois database in its sole discretion to ensure
operational stability. VeriSign may restrict or terminate your access to the
Whois database for failure to abide by these terms of use. VeriSign
reserves the right to modify these terms at any time.
The Registry database contains ONLY .COM, .NET, .EDU domains and
Registrars.
REGISTRAR OVH
SERVERS
SERVER com.whois-servers.net
ARGS domain =robots-txt.com
PORT 43
TYPE domain RegrInfo DOMAIN
NAME robots-txt.com
CHANGED 2017-04-29
CREATED 2012-04-30
STATUS clientDeleteProhibited https://icann.org/epp#clientDeleteProhibited clientTransferProhibited https://icann.org/epp#clientTransferProhibited
Nous utilisons des cookies pour personnaliser votre expérience sur notre site. En poursuivant votre navigation, vous acceptez cette utilisation. Apprendre encore plus
robots-txt.com rapport :
Visitez le site