Python - NLTK

Question 1

O que significa NLTK?

Answer 1

Natural Language Toolkit

Question 2

O que é o NLTK?

Answer 2

É uma biblioteca Python para processamento de Linguagem Natural.

Question 3

O NLTK é bom para trabalhar com que tipo de dados?

Answer 3

Strings.

Question 4

Como utilizar o NLTK?

Answer 4

É necessário instalar a biblioteca através do seguinte comando:

pip install nltk

Após isso, é necessário fazer o download de todos (“all”) pacotes:

import nltk
nltk.download(info_or_id=’all’)

Question 5

O que é Tokenização?

Answer 5

Separar as palavras de um texto.

Semelhante à função split().

Question 6

Como fazer uma Tokenização simples/básica de um texto com NLTK?

Answer 6

import nltk

nltk.word_tokenize(text) -> list

Question 7

Como fazer uma Tokenização de um texto por Regular Expression?

Answer 7

from nltk.tokenize import RegexpTokenizer

tokenizer = RegexpTokenizer(pattern)
tokens = tokenizer.tokenize(text) -> list

Question 8

Qual o componente do NLTK que permite verificar a Frequência/Contagem de palavras tokenizadas?

Answer 8

É a classe: FreqDist(token) -> class

Question 9

Qual o comando que permite ver as palavras tokenizadas e a quantidade de vezes que se repetem no texto?

Answer 9

import nltk

tokens = nltk.word_tokenize(text)
frequency = nltk.FreqDist(tokens)

frequency.most_common()

Question 10

Qual o comando que permite ver as N primeiras palavras tokenizadas e a quantidade de vezes que se repetem no texto?

Exemplo: as 15 primeiras palavras

Answer 10

import nltk

tokens = nltk.word_tokenize(text)
frequency = nltk.FreqDist(tokens)

frequency.most_common(15)

Question 11

O que são Stopwords?

Answer 11

São palavras palavras consideradas irrelevantes para a busca.

Question 12

Como obter a lista de Stopwords da língua portguesa?

Answer 12

import nltk

nltk.corpus.stopwords.words(‘portuguese’) -> list

Question 13

O que são N-gramas?

Answer 13

É tokenizar um determinado número de palavras como um grupo, invés de palavras isoladas.

Por exemplo: Nomes Completos

Leandro Mana
New York
New England Patriots

Question 14

Quantos tipos de agrupamento de palavras podemos tokenizar?

Answer 14

Podemos agrupar em:

▪ bi-gramas - grupos de 2 palavras
▪ tri-gramas - grupos de 3 palavras
▪ n-gramas - grupos de N (4 ou mais) palavras

Question 15

O que é Stemming?

Answer 15

É a redução da palavra até o seu radical.

Por exemplo:

▪ amig → amigo, amiga
▪ gat → gato, gata
▪ prop → propõem, propondo

Question 16

O que é Lematização?

Answer 16

É a redução da palavra à sua forma canônica.

Não funciona bem para Português. Para isso, a lib spaCy possui um Lematizador.

Por exemplo:

▪ propor → propõem, propondo
▪ estudar → estudando, estudei, estudioso

Question 17

Como fazer o Stemming de uma palavra?

Answer 17

import nltk

stemmer = nltk.RSLPSetmmer()

stemmer.stem(word)

Question 18

O que é Etiquetar para a PLN?

Answer 18

É dar a classe gramatical das palavras de um token.

Question 19

Como Etiquetar as palavras?

Answer 19

1. Tokenizar as palavras.
2. Treinar o Etiquetador com o mac_morpho.
3. Etiquetar os tokens.

from nltk import word_tokenize
from nltk.corpus import mac_morpho
from nltk.tag import UnigramTagger

with open(file, 'r') as f:
text = f.read()
tokens = word_tokenize(text)

training_sentences = mac_morpho.tagged_sents()

tagger = UnigramTagger(training_sentences)
tagger = tagger.tag(tokens)

print(tagger)

Question 20

Como definir uma Tag padrão para os tokens?

Answer 20

from nltk import word_tokenize
from nltk.corpus import mac_morpho
from nltk.tag import UnigramTagger, DefaultTagger

with open(file, ‘r’) as f:

text = f.read()
tokens = word_tokenize(text)

training_sentences = mac_morpho.sent()

default_tagger = DefaultTagger('N')
tagger = UnigramTagger(training_sentences, backoff=default_tagger)
tagger = tagger.tag(tokens)

print(tagger)

Question 21

O que é Chunk?

Answer 21

Análise Sintática Superficial.

Question 22

O que é o spaCy?

Answer 22

É uma biblioteca Python para processamento de Linguagem Natural de grandes textos em produção.

Question 23

Quais são as principais características do spaCy?

Answer 23

▪ É utilizado para processamento de grandes textos em produção.
▪ Suporta mais de 61 linguagens.
▪ Possui o parse sintático mais rápido do mundo.

Question 24

Como utilizar o spaCy?

Answer 24

É necessário instalar o pacote principal:

pip install -U spacy

Em seguida é necessário instalar os pacotes adicionais:

pip install -U spacy-lookups-data

Para instalar o pacote em português:

python -m spacy download pt_core_news_sm
python -m spacy download pt_core_news_md
python -m spacy download pt_core_news_lg

Question 25

O que é um Doc?

Answer 25

É um objeto que retorna um conjunto de objetos Tokens.

Cada objeto Token representa uma palavra e possui diversos atributos relacionados à analises gramaticais e de sintaxe.

Question 26

Como fazer a Tokenização no spaCy?

Answer 26

import spacy

nlp = spacy.load('pt_core_news_lg')
doc = nlp(text)
tokens = [token for token in doc]