日々実感

ほぼ更新停滞。気が向いたら手直しします。

検索エンジンを作るのに必要なもの

現代を生きる私たちのほとんどは検索エンジンを利用したことがあると思います。GoogleやBingのことです。

質問

先日、Yahoo!知恵袋を見ていたところ、「その検索エンジンを作りたい」といった質問を見かけたので、検索エンジンを構築するには何が必要かを考えてみました。

知識

Webページ

まず、インターネットのサイトを構築するにはHTMLが必要ですよね。
その周辺の技術のCSSJavaScriptも必須になってくると思います。

クロール

次にクロール(いろんなウェブサイトを巡ってデーターベースに保存すること)の技術も必須となります。
これはC言語C++がメジャーだと思います。ごまんとあるWebサイトを巡るのに対して、非力なスクリプト言語では厳しいでしょう。知らないけど。
そのデータを保存するデータベースはSQL系かXMLとか。ほぼ9割程度前者でしょう。

あと当たり前ですがPCの知識も必要です。
サーバーを管理する技術もあればいいと思います。

必要なもの

作るんだったらPCが必要ですよね。2台ぐらいあれば…

無論、サーバーも必須です。Googleに蓄積されているデータは1.5TB(1500GB)以上もあるといわれています。容量は2TBは確保しておきたいところです。
超高スペックなもの*10~100台くらいか、普通の*100~500台ぐらいだと思います。
ちなみにGoogleはいつのリクエストを1000台で処理してるそうです。
参考リンク

これだけのものを設置する土地も必要かと。

結論?

学習コスト、人件費、電気料金、設備投資、土地確保で数百万は軽く超えると思います。やっぱりGoogleってすごいですよね。