タグ:

Elastic Search基本まとめ@2018/07/30

はじめに

こんにちは。イメージマジックの宮川です!
最近は暑くて、アイスみたいに溶けそうですね。

ということで!記事第2弾です。今回は業務で使用したElasiticSearchについてです。
基本を改めて簡単にメモ的にまとめたいと思います。

ElasticSearchとは

https://www.elastic.co/jp/products/elasticsearch

Elastic社が開発しているオープンソースの全文検索エンジンです。(Java 7.X以上)
SQLの代わりに、RESTful インターフェースを使って独自のクエリを使って検索します。執筆時点の最新Versionは6.3.2になります。

ちなみに弊社では、Symfonyで使用するため、FOSElasticaBundleを使用しています。

ElasticaというPHP用にElasticsearchを使いやすくしたライブラリがありますが、これをSymfonyに合わせてBundle化したものがFOSElasticaBundle。

ElasticSearch特徴(RDBと比較して)

〇Good Point

・パフォーマンスがRDBと比較して速い(10倍速い場合もある)
・スキーマレス(ドキュメントで扱う)
・外部システムとの連携性〇(curlなどRESTful経由で操作できる)
・スケーラブル(クラスタ構成が前提で実装)

×Bad Point

・トランザクション使用不可

ElasticSearchの論理的構成

1. Index  ∋  2. Type  ∋  3. Filed

RDBで言うとIndex=Database、Type=Table、Document=Row

参照 https://dev.classmethod.jp/server-side/elasticsearch-getting-started-06/

・1. Documentの集合
・2. Indexに登録するDocumentを分類する型や定義を持つ
・3. データの最小単位。複数のフィールドから構成される

※注意 6.Xから1Indexに対して、1Typeのみ作成可能。

ElasticSearchの物理的構成

1. Cluster  ∋  2. Node   ∋  3. Shard

・1. 複数のNodeを一つのESとして動作させる。
・2. ESのインスタンス。ここにデータを格納する。イメージとしてはサーバ。
・3. Indexを分割したもの。primaryとreplicaがある。

primary: インデックスの書き込みと参照処理で使用。これをreplicaにコピー。
replica: インデックスと参照処理で使用。

ElasticSearchの全文検索の仕組み

1. Analyzer  ⊇  2. Char Filters, Tokenizer, Token Filters

・1. 形態素解析(※1)やN-gram(※2)等、データ格納・検索方法を指定。
・2. Char Filters → Tokenizer → Token Filtersでデータを検索する

Char Filters: 正規表現等で文章を検索。
Tokenizer: NGramやスペース等で単語を分ける。(=トークン化という)
Token Filters: 小文字に正規化したり、トークンをフィルタリングする。

※実際に全文検索で単語を分割していくイメージ

参照 https://blog.shibayu36.org/entry/2016/08/15/122913

※1 文章を意味を持つ最小限の単位(=単語)に分解する手法です。
例)
「私は、宮川という名前です。」
⇒ 私 / は / 、 / 宮川 / と / いう / 名前 です / 。

※2 指定文字数で文章を分割する手法です。
例(2gram))
「私は、宮川泰三という名前です。」
⇒ 私は / は宮 / 宮川 / 川と / とい / いう / う名 / 名前 / 前で / です / す。

コマンドサンプルたち

1. 状態確認のコマンド

#elasticsearchの状態
curl 'localhost:9200/'

# index 確認
curl 'localhost:9200/_cat/indices?v'

# node 確認
curl 'localhost:9200/_cat/nodes?v'

# cluster 確認
curl 'localhost:9200/_cat/health?v'

2. 作成系のコマンド


# index作成
curl -X PUT 'localhost:9200/newindex'

# type作成
# ?prettyをつけると結果をformatしてくれます。
curl -X PUT 'localhost:9200/newindex/newtype/1?pretty' -d '
{
  "name": "sample"
# elastic seach6.X系より以下が必須です。
}' -H 'Content-Type: application/json'

# insert or update
curl -X PUT 'localhost:9200/newindex/newtype/1?pretty' -d '
{
  "name": "John Doe"
}' -H 'Content-Type: application/json'

# delete
curl -X DELETE 'localhost:9200/newindex/newtype/1?pretty'

3. 検索系のコマンド

## query
curl -X POST 'localhost:9200/newindex/_search?pretty' -d '
{
  "query": {
	"bool": {
		"must": [
			{
				"match": {
					"name": {
						"query": "sample",
						"operator": "and"
					}
				}
			}
		]
	}
  }
}
' -H 'Content-Type: application/json'

参考:
ElasticSearch入門