Bởi vì các trang trong của website thường chứa đựng những nội dung quan trọng nhất của website, ví dụ như thông tin về sản phẩm, dịch vụ và các thông tin chung khác. Những thông tin này mới chính là cái mà chủ website muốn được khách hàng tìm thấy thông qua các search engine. Đây chính là yếu tố sống còn trong việc tối ưu hoá các trang web.

Có nhiều việc cần phải làm để bảo đảm các trang web của bạn có thể được các search engine tìm thấy, nhưng điều quan trọng trước tiên là chúng ta phải hiểu: Nguyên lý tìm kiếm và lập chỉ mục website của các search engine như thế nào?

Các search engine sử dụng “robots” (hoặc được biết dưới tên khác như “bots” hay “spiders”) để tìm kiếm nội dung, thông tin đưa vào trong danh bạ của nó. Mỗi “robot” là một chương trình máy tính (một phần mềm) có thể lướt xem (nguyên văn “crawling”) nội dung mỗi trang web thông qua các đường siêu liên kết (hyperlinks). Khi “robots” tìm thấy một tài liệu có chứa đựng nội dung trong danh bạ của search engine thì nó cho phép các liên kết tiếp theo được tiếp tục tìm kiếm và lập chỉ mục. Điều này cho thấy tầm quan trọng của việc cần xây dựng một website với cấu trúc hoàn hảo để nhiều trang trong đó dễ dàng được index.

Tầm quan trọng trong cấu trúc website còn được thể hiện ở chỗ, các search engine có thể phán đoán được đâu là những trang quan trọng nhất trong toàn bộ website để xếp hạng và vị trí của trang web trong website có thể ảnh hưởng rất lớn đến kết quả xếp hạng. Nhìn chung, trang chủ là trang quan trọng nhất trong toàn bộ website – nó là tài liệu bậc cao nhất và luôn luôn là tâm điểm thu hút các đường liên kết đầu vào quan trọng nhất. Tại đây, các “robots” của các search engine toả ra các trang bằng ba đường liên kết khác nhau bắt đầu từ trang chủ. Bởi vậy, những trang quan trọng nhất phải nằm ngay trong đường liên kết đầu tiên, kế đến là những trang ít quan trọng hơn.

Điều tiếp theo cần cân nhắc là làm thế nào để liên kết với các trang khác. Các robots của các search engine chỉ có thể đi theo liên kết href đặc trưng của ngôn ngữ HTML. Có nghĩa là các liên kết dạng Flash, Java Script, Dropdown menu và các nút submit không thể là lựa chọn của các robots. Điều đáng nói là đây lại chính là nét đặc trưng của các trang web động.

Như vậy, những liên kết tốt nhất chính là những liên kết HTML thông thường. Nó không chỉ cho phép các robots dễ dàng đi qua mà những dòng chữ miêu tả kèm the còn được sử dụng để miêu tả nội dung trang web sẽ liên kết đến – một điểm quan trọng trong việc tối ưu hoá trang web.

Một cách tự nhiên nhất trong việc tổ chức nội dung website chính là việc bạn phải phân loại nội dung theo những chủ đề khác nhau. Chia nhỏ các sản phẩm, dịch vụ, thông tin trong các thư mục phân loại (categories) sao cho những khía cạnh, nội dung quan trọng nhất phải được liên kết trực tiếp từ trang chủ. Một sitemap có thể được mô tả như là một trang mục lục, nó là một danh sách nối với tất cả các trang khác trong site chỉ chứa đựng trong một trang. Nếu như bạn nối đến một sitemap từ trang chủ thì robot sẽ truy cập vào tất cả các trang khác trong site. Nên nhớ rằng robot tiêu biểu không thể theo hơn 100 kết nối trong một trang. Vì vậy nếu site của bạn lớn hơn số này bạn có thể xem xét xem có thể giàn trải ra trong vài trang.