Anemone

Question 1

基本的なクローラーメソッド

Answer 1

.crawl

Question 2

階層の制限を指定するオプション

Answer 2

:depth_limit

Question 3

sleep機能(アクセス間隔を指定)のオプション

Answer 3

:delay

Question 4

UAを指定するオプション

Answer 4

:user_agent

Question 5

オプションの指定の仕方としては、.crawlメソッドの第二引数にオプションを___で渡します(第一引数はURL)

Answer 5

Hash

Question 6

＿＿＿メソッドを使うことによってURLを取得できます。

Answer 6

.url

Question 7

____メソッドでは、引数に正規表現を渡すことで対象を絞ることができます。

Answer 7

.on_pages_like

Question 8

すべてのページに対して、処理を行うメソッド

Answer 8

.on_every_page

Question 9

ページごとにどのリンク先を巡回するか指定するメソッド

Answer 9

.focus_crawl(&block)

Question 10

巡回しないURLを正規表現で指定する

Answer 10

.skip_links_like(*patterns)

Question 11

取得対象のURLを絞り込む、もしくは除外した後で、____メソッドも しくはon_pages_likeメソッドで取得したページに対しての処理を記述します。

Answer 11

on_every_page

Question 12

Anemone::Pageに関するメソッドで一番多く利用するのは、___です。このメ ソッドは、ページ中に含まれている<a>タグのリンク先をすべて取得し、配列と
して返します。リンク先の取得や巡回先の選択など、さまざまな用途で使います。</a>

Answer 12

links

Question 13

require 'anemone'
#(1)　巡回対象サイトのURLを指定
Anemone\_\_\_\_("http://example.com/") do |anemone|
  #(2)除外対象ページのURLパターンを指定
　anemone.skip_links_like /除外対象のURLパターン/

　#(3)巡回対象ページのURLの指定
anemone.focus_crawl do |page|
page.links
end

    #(4) 正規表現で一致したページのみ処理
    anemone.on_pages_like(/処理対象のURLパターン/) do |page|
    #ページに対する処理の記述
end

    #(5)すべてのページに対しての処理
    anemone.on_every_page do |page|
      #ページに対する処理の記述
    end

    #(6) ストレージ対する処理
　anemone.after_crawl do |page|
      #ストレージに対する処理の記述
    end
end

Answer 13

.crawl

Question 14

require 'anemone'
#(1)　巡回対象サイトのURLを指定
Anemone.crawl("http://example.com/") do |anemone|
  #(2)除外対象ページのURLパターンを指定
　anemone.\_\_\_\_ /除外対象のURLパターン/

　#(3)巡回対象ページのURLの指定
anemone.focus_crawl do |page|
page.links
end

    #(4) 正規表現で一致したページのみ処理
    anemone.on_pages_like(/処理対象のURLパターン/) do |page|
    #ページに対する処理の記述
end

    #(5)すべてのページに対しての処理
    anemone.on_every_page do |page|
      #ページに対する処理の記述
    end

    #(6) ストレージ対する処理
　anemone.after_crawl do |page|
      #ストレージに対する処理の記述
    end
end

Answer 14

skip_links_like

Question 15

require 'anemone'
#(1)　巡回対象サイトのURLを指定
Anemone.crawl("http://example.com/") do |anemone|
  #(2)除外対象ページのURLパターンを指定
　anemone.skip_links_like /除外対象のURLパターン/

　#(3)巡回対象ページのURLの指定
anemone.____ do |page|
page.links
end

    #(4) 正規表現で一致したページのみ処理
    anemone.on_pages_like(/処理対象のURLパターン/) do |page|
    #ページに対する処理の記述
end

    #(5)すべてのページに対しての処理
    anemone.on_every_page do |page|
      #ページに対する処理の記述
    end

    #(6) ストレージ対する処理
　anemone.after_crawl do |page|
      #ストレージに対する処理の記述
    end
end

Answer 15

focus_crawl

Question 16

require 'anemone'
#(1)　巡回対象サイトのURLを指定
Anemone.crawl("http://example.com/") do |anemone|
  #(2)除外対象ページのURLパターンを指定
　anemone.skip_links_like /除外対象のURLパターン/

　#(3)巡回対象ページのURLの指定
anemone.focus_crawl do |page|
page.links
end

    #(4) 正規表現で一致したページのみ処理
    anemone.\_\_\_(/処理対象のURLパターン/) do |page|
    #ページに対する処理の記述
end

    #(5)すべてのページに対しての処理
    anemone.on_every_page do |page|
      #ページに対する処理の記述
    end

    #(6) ストレージ対する処理
　anemone.after_crawl do |page|
      #ストレージに対する処理の記述
    end
end

Answer 16

on_pages_like

Question 17

require 'anemone'
#(1)　巡回対象サイトのURLを指定
Anemone.crawl("http://example.com/") do |anemone|
  #(2)除外対象ページのURLパターンを指定
　anemone.skip_links_like /除外対象のURLパターン/

　#(3)巡回対象ページのURLの指定
anemone.focus_crawl do |page|
page.links
end

    #(4) 正規表現で一致したページのみ処理
    anemone.on_pages_like(/処理対象のURLパターン/) do |page|
    #ページに対する処理の記述
end

    #(5)すべてのページに対しての処理
    anemone.\_\_\_\_ do |page|
      #ページに対する処理の記述
    end

    #(6) ストレージ対する処理
　anemone.after_crawl do |page|
      #ストレージに対する処理の記述
    end
end

Answer 17

on_every_page

Question 18

require 'anemone'
#(1)　巡回対象サイトのURLを指定
Anemone.crawl("http://example.com/") do |anemone|
  #(2)除外対象ページのURLパターンを指定
　anemone.skip_links_like /除外対象のURLパターン/

　#(3)巡回対象ページのURLの指定
anemone.focus_crawl do |page|
page.links
end

    #(4) 正規表現で一致したページのみ処理
    anemone.on_pages_like(/処理対象のURLパターン/) do |page|
    #ページに対する処理の記述
end

    #(5)すべてのページに対しての処理
    anemone.on_every_page do |page|
      #ページに対する処理の記述
    end

    #(6) ストレージ対する処理
　anemone.\_\_\_\_ do |page|
      #ストレージに対する処理の記述
    end
end

Answer 18

after_crawl