Jak zaistnieć w wyszukiwarkach internetowych
Przeważająca większość osób trafiających pod konkretny adres internetowy dowiaduje się o jego istnieniu z różnego rodzaju wyszukiwarek. To tam internauci próbują znaleźć informacje o stronach zawierających informacje na szukany temat. Każdemu właścicielowi stron WWW powinno zależeć, aby skutecznie pozyskiwać użytkowników wyszukiwarek szukających informacji na konkretny temat.
Wyszukiwarki internetowe są bardzo często mylnie utożsamiane z katalogami stron. Podstawowa różnica pomiędzy tymi dwoma usługami polega na tym, iż katalog stron internetowych tworzony jest przez ludzi, którzy dla każdej pozycji katalogu wprowadzają krótki opis. Wyszukiwarki internetowe działają automatycznie. Specjalne programy (roboty) wędrują po stronach internetowych tworząc indeksy, które są budowane na podstawie zawartości odwiedzanych witryn. Działanie wyszukiwarek opiera się o różne technologie, zatem algorytmy budowania indeksów także bywają różne. Niemniej jednak, istnieją elementy, na które twórca serwisów WWW - chcąc skutecznie zaistnieć w mechanizmach wyszukiwawczych - powinien zwrócić szczególną uwagę.
Przygotowanie strony
Podstawowym warunkiem zaistnienia w rezultatach zwracanych przez wyszukiwarki internetowe jest poprawne i pełne skonstruowanie znaczników
META. W znaczniku
META DESCRIPTION należy jak najlepiej opisać temat jakiemu strona internetowa jest poświęcona, natomiast znacznik
META KEYWORDS powinien zawierać słowa kluczowe najlepiej reprezentujące zawartość witryny. Istotne jest także zdefiniowanie znacznika
TITLE - tytułu strony.
Przykład zdefiniowanych poprawnie znaczników
META:
<head>
<title>Bajki Jana Brzechwy</title>
<meta description="Ilustrowane bajki Jana
Brzechwy w pełnej wersji.">
<meta keywords="Jan Brzechwa, bajka,
ilustracje, baśń, bajeczka">
</head>
Większość wyszukiwarek internetowych wykorzystuje zawartość znaczników
TITLE oraz
META DESCRIPTION w opisach zwracanych rezultatatów. Przykładowo wyszukiwarka internetowa, która zindeksowała stronę z powyższymi znacznikami na odpowiednie zapytanie może zwrócić rezultat:
W sieci Internet istnieje wiele serwisów wspomagających tworzenie znaczników
META. Przykładem może być WebPromote's Meta-Tag Generator znajdujący się pod adresem
http://metatag.webpromote.com/. Po wprowadzeniu tytułu, opisu strony i słów kluczowych, pocztą elektroniczną otrzymujemy odpowiedni fragment kodu HTML - gotowy do wstawienia na projektowanej stronie WWW.
Sterowanie programem robota
Roboty indeksujące wędrują po stronach internetowych zwracając uwagę na charakterystyczne ich elementy. Robot odwiedza kolejne strony wykorzystując dostępne na nich odsyłacze - symuluje niejako użytkownika, który klika na wszystkie dostępne linki.
Plik
robots.txt umieszczany w głównym katalogu serwisu WWW umożliwia zdefiniowanie części serwisu, które nie powinny być odwiedzane przez programy indeksujące zasoby sieci Internet. Przykładowa zawartość takiego pliku może przedstawiać się następująco:
User-agent: *
Disallow: /private/
Zdefiniowany w ten sposób plik informuje wszystkie programy wyszukiwarek, że katalog o nazwie
private nie powinien być indeksowany. Istnieje możliwość wykluczenia z indeksacji części lub całości serwisu tylko przez konkretną wyszukiwarkę. Przykładowo plik
robots.txt zdefiniowany następująco:
User-agent: WebCrawler
Disallow: /
wyklucza indeksowanie całego serwisu, ale tylko dla wyszukiwarki WebCrawler.
Inną metodą sterowania robotami wyszukiwarek jest wykorzystywanie na stronach znacznika
META ROBOTS, który może zawierać następujące dyrektywy oddzielane przecinkami:
- INDEX - strona powinna zostać zindeksowana,
- FOLLOW - program wyszukiwarki powinien podążać za odsyłaczami znajdującymi się na stronie,
- NOINDEX - strona nie powinna zostać zindeksowana,
- NOFOLLOW - program wyszukiwarki nie powinien podążać za odsyłaczami znajdującymi się na stronie,
- ALL - równoznaczne dyrektywom INDEX i FOLLOW,
- NONE - równoznaczne dyrektywom NOINDEX i NOFOLLOW
Przykładowo strona zawierająca znacznik:
<meta name="robots" content="index,nofollow">
zostanie zindeksowana, ale program indeksujący nie podąży za znajdującymi się na niej odsyłaczami.
Zgłoszenie strony
Aby robot zindeksował naszą stronę WWW musi trafić na odsyłacz do niej znajdujący się na przeglądanej przez niego stronie lub musi zostać poinformowany o istnieniu konkretnej witryny. Każda wyszukiwarka internetowa udostępnia w swym serwisie specjalny formularz, który umożliwia zgłoszenie strony do indeksacji. Proces zgłaszania strony do różnych wyszukiwarek może przebiegać różnie. Pamiętać należy, że zgłaszając serwis wystarczy wypełnić formularz dla jego strony głównej - robot automatycznie odwiedzi pozostałe strony wykorzystując kolejne odsyłacze. Wiele wyszukiwarek wykrywa próby wielokrotnego zgłaszania jednej strony WWW, co może przynieść skutek odwrotny do zamierzonego - adres może zostać zablokowany i nie zostanie zindeksowany wcale.
Pamiętać należy także, że wiele wyszukiwarek stosuje dodatkowe kryteria dotyczące indeksowanych stron - na przykład ich lokalizację. Licencje polskich wersji Infoseeka, który jest dostępny w rodzimych portalach pozwalają na indeksowanie stron znajdujących się tylko w domenie
pl.
Pozycja w rankingu
Wyszukiwarki internetowe na żądanie użytkownika zwracają listę stron, które - zdaniem programu wyszukiwawczego - najlepiej odpowiadają zapytaniu użytkownika. Większość z nich buduje swoje indeksy w oparciu o wspomniane wyżej znaczniki
META dostępne na indeksowanych stronach. Niektóre (
Lycos) biorą pod uwagę tylko zawartość strony, pomijając znaczenie znaczników. Istnieją mechanizmy wyszukiwawcze (
Altavista), które podczas indeksacji biorą pod uwagę zarówno zawartość znaczników
META jak i zawartość strony. Niektóre wyszukiwarki - np.
Excite - przy ustalaniu pozycji strony w odpowiedzi na konkretne zapytanie biorą także pod uwagę liczbę odsyłaczy zewnętrznych do danej witryny, czyli tych umieszczanych w innych serwisach. Warto podkreślić, że duża liczba odsyłaczy prowadzących do naszego serwisu zwiększa także częstotliwość, z jaką roboty indeksujące odwiedzają nasze strony.
Obok wspomnianych istotnych elementów sprzyjających poprawnej indeksacji przez wyszukiwarki internetowe należy zwracać uwagę także na poprawność i kompletność kodu
HTML - w tym poprawność wszelkich odsyłaczy. Kompletność kodu jest istotna na przykład w przypadku wyszukiwarki
Altavista, która indeksując strony internetowe tworzy także indeksy obrazków i zdjęć dostępnych w sieci Internet. W tym przypadku duże znaczenie mają parametry
ALT znaczników
IMG.
Należy pamiętać, że istnieją czynniki, które mogą się przyczynić do niepoprawnego zindeksowania strony przez roboty. Automaty indeksujące przeszukują serwisy internetowe podążając za kolejnymi odsyłaczami na stronach internetowych. Ważne jednakże jest, że w tej sytuacji automaty zachowują się jak proste przeglądarki internetowe i odsyłanie do kolejnych stron internetowych za pomocą skryptów JavaScript lub mapowanych plików graficznych może sprawić, że robot nie dotrze do wszystkich stron naszego serwisu. Większość automatów indeksujących nie indeksuje stron generowanych przez wszelkiego rodzaju skrypty serwera, do których odsyłacze zawierają znaki typu
? i
%.
Na początku sekcji strony WWW oddzielonej znacznikami <HEAD></HEAD> powinno się unikać umieszczania skryptów
JavaScript i w miarę możliwości przesuwać ich kod jak najbliżej końca strony. W przeciwnym razie roboty indeksujące, które przeglądają tylko początkowe fragmenty stron mogą nie dotrzeć do zdefiniowanych znaczników
META. Pamiętać także należy, aby obszerne definicje stylów nie występowały w początkowej sekcji kodu HTML. Wspomnieć jeszcze trzeba o kolejnej wadzie korzystania z ramek - strony je wykorzystujące bardzo często nie są w ogóle indeksowane.
Korzystanie z automatów
Istnieje wiele serwisów internetowych, które udostępniają usługi wspomagające promocję strony WWW w wyszukiwarkach internetowych i badających popularność konkretnego serwisu w sieci.
Kompleksowe informacje o mechanizmach rządzących wyszukiwarkami internetowymi można znaleźć na stronach serwisów, które częstokroć udostępniają możliwość automatycznego zgłaszania stron internetowych do wyszukiwarek. Do dobrze przygotowanych serwisów internetowych poświęconych tematyce promocji stron w wyszukiwarkach należy zaliczyć między innymi:
www.netmechanic.com,
www.searchenginewatch.com,
www.add2.net oraz
www.dreamsubmit.net.
Usługa polegająca na badaniu pozycji serwisu w zwracanych przez wyszukiwarki odpowiedziach na konkretne zapytanie pozwala ocenić szanse naszych stron w walce o użytkownika szukającego informacji. Inną ciekawym typem usług - niezwiązanym bezpośrednio z wyszukiwarkami - który pozwala w pewien sposób zmierzyć popularność stron, są wszelkiego rodzaju automaty badające liczbę i popularność linków zewnętrznych prowadzących pod nasz adres.
Dostępny na stronach
www.websmostlinked.com ranking jest generowany według liczby odnośników do danego serwisu WWW dostępnych na innych stronach. Dla przykładu serwis internetowy Magazynu Internet znalazł się na pozycji 29330. Najpóźniej w 48 godzin po dokonaniu zgłoszenia do rankingu dostępne są wyniki ilustrujące pozycję serwisu wśród stron, do których najczęściej prowadzą internetowe adresy.
Nie tylko wyszukiwarki
Obok serwisów wyszukiwawczych wykorzystujących automatycznie budowane i odświeżane indeksy, ważnym miejscem poszukiwań informacji o stronach WWW są liczne katalogi. Budowane przez ludzi, często oprócz opisu strony zawierają także jej ocenę. Katalogi gromadzą strony należące do konkretnej kategorii umożliwiając użytkownikowi wybór strony na szukany temat. Zgłoszenie strony do katalogów często przebiega w nieco bardziej skomplikowany sposób (wybór kategorii, dłuższy czas oczekiwania, itp.), niemniej jednak jest kolejnym istotnym elementem umożliwiającym poinformowanie szerokiej rzeszy internautów o istnieniu naszej witryny.
