Pandas: analisar e preparar dados para decisões de negócio

Conhecendo o Pandas - Apresentação

Apresentando a instrutora e audiodescrição

Olá! É um prazer estar aqui. Eu sou Camila Queixabeira, sou engenheira de dados e também líder técnica em uma equipe de dados e análise, e serei sua pessoa instrutora neste curso.

Audiodescrição: Sou uma mulher branca, tenho cabelo longo, escuro e ondulado, uso alguns piercings e brincos dourados, estou vestindo uma camiseta marrom-escura e estou em um cenário com uma parede branca e algumas luzes azuis ao fundo.

Apresentando o curso, pipeline de dados e próximos passos

Neste curso, aprenderemos a usar a biblioteca Pandas para análise de dados com Python. Faremos isso resolvendo um projeto real de ponta a ponta, simulando um caso de negócio que explicaremos melhor no próximo vídeo. Apresentaremos o contexto da empresa na qual você trabalhará, quais são as principais perguntas que queremos resolver e, ao longo do curso, aprofundaremos como responder a essas perguntas.

Vamos simular uma pipeline (esteira) de dados. Começaremos pela leitura dos dados necessários para responder às perguntas e gerar métricas. Utilizaremos duas bases de dados; faremos a leitura, a inspeção da qualidade, a limpeza e a padronização dos campos e dos tipos que exigirem ajustes. Em seguida, filtraremos o que nos interessa e realizaremos agregações para gerar métricas. Uniremos essas duas bases que fazem sentido para responder ao caso de negócio, enriqueceremos com variáveis temporais que apoiarão as análises e, por fim, veremos como visualizar e comunicar os resultados usando gráficos que realmente façam sentido para as perguntas e para as métricas que gerarmos.

No próximo vídeo, eu explicarei melhor qual é essa empresa, qual é o contexto e quais são as perguntas que buscaremos responder ao longo do nosso curso. Eu espero você no próximo vídeo. [♪]

Conhecendo o Pandas - Apresentando o problema de dados

Contextualizando o projeto e a apresentação

Vamos falar mais sobre o contexto do projeto que realizaremos ao longo do curso. Trouxemos uma apresentação que explica qual é a empresa com a qual vamos trabalhar, para que possamos entender melhor qual é o problema que estamos tentando resolver aqui.

Nesta apresentação, à direita da tela, há um homem segurando uma batuta, aquela varinha de direção, em uma sala de reuniões com um gráfico atrás dele. Ele veste um terno cinza e uma camisa branca com alguns botões e está mostrando alguns resultados, que é exatamente o que vamos fazer.

Apresentando a empresa e as fontes de dados

Trazendo o contexto da empresa: é uma empresa de serviços digitais, muito focada no relacionamento com as pessoas clientes, em vendas e na operação cotidiana. Ela acompanha todo o percurso dessas milhares de pessoas clientes que têm registradas ali, desde a aquisição, as interações e até uma possível inatividade.

Para isso, utilizam-se dois sistemas. Esses sistemas geram os dados que vamos utilizar: o sistema de CRM (gestão de relacionamento com clientes) e a plataforma de atendimento.

Quando falamos de CRM (gestão de relacionamento com clientes), teremos dados mais relacionados ao cadastro de pessoas clientes, como nome, e-mail, canal de aquisição, qual foi o segmento dessa pessoa cliente, seu estado e quanto gastou.

Quando falamos da plataforma de atendimento, trazemos dados de interações: o tipo de interação (se é uma consulta, suporte, reclamação ou venda), qual canal de atendimento foi utilizado e qual foi o status. Portanto, também traremos essa perspectiva.

Destacando a necessidade de análise conjunta

Vamos utilizar essas duas bases, que nunca foram usadas em conjunto. Esse é o ponto principal.

Nunca foi feita uma análise conjunta para oferecer algumas respostas. A direção da empresa enumerou algumas perguntas mais estratégicas para as quais gostaria de obter respostas, visando tornar a empresa mais eficiente, realizar a operação do dia a dia e entender o perfil de clientes, bem como o funcionamento dessa operação.

Apresentando as perguntas de negócio

Para isso, trouxemos algumas perguntas principais que usaremos para guiar nosso projeto. As perguntas de negócio estão na apresentação, sob o título “Perguntas de negócio”. Há três tópicos principais que levantam três perguntas, e, na sequência, apresentamos outras três perguntas.

• Qual segmento de clientes gera mais valor para a empresa?
• Clientes VIP realmente gastam mais do que os regulares?
• Qual canal de aquisição retém mais clientes?

Prosseguindo:

• Que tipo de interação tem a menor satisfação?
• Qual segmento de clientes gera mais reclamações?
• O WhatsApp está crescendo como canal de atendimento ao longo dos anos?

Antecipando análises adicionais e próximos passos

Temos, portanto, seis perguntas que podem nos guiar. No entanto, também podemos responder outras questões levantadas pela direção. Considerando que foi realizada uma reunião na qual foram propostas diversas perguntas estratégicas, também mostraremos quais são as outras perguntas que poderemos responder ao longo do curso, com as funções que iremos aprender em Pandas, para que, ao final, tenhamos um projeto completo, trazendo alguns insights (percepções) para um caso de negócio real.

No próximo vídeo, nós começaremos a preparar o ambiente que vamos utilizar: o Google Colab.

Eu espero vocês no próximo vídeo. Até mais! [♪]

Conhecendo o Pandas - Preparando o ambiente de análise

Preparando o ambiente de trabalho no google colab

Vamos começar a trabalhar com código e, primeiro, precisamos preparar nosso ambiente de trabalho. Vamos utilizar o Google Colab, que é um ambiente online (na internet) de notebooks (cadernos). Um notebook (caderno) é um espaço onde podemos misturar código com textos explicativos. No dia a dia da análise de dados, esse formato é útil porque podemos documentar todo o raciocínio junto ao código que estamos construindo e executar o código de forma individualizada.

Por exemplo, podemos executar primeiro a função de leitura da base e visualizar o resultado — executando apenas essa parte — e, depois, criar outra função. Não precisamos escrever tudo e executar de uma vez. Podemos acompanhar os resultados célula por célula. Aqui, vamos entender o que é uma célula e como executar cada uma das funções.

Acessando o colab e importando um notebook existente

Primeiro, acessamos o site colabresearch.google.com. Vocês terão acesso a esse link. Ao acessar, já estamos com a sessão do Google iniciada, então aparece um retângulo no centro da tela com algumas opções. No menu lateral esquerdo, vemos “Examples”, “Recents”, Google Drive, GitHub e Upload (envio), que são formas de importar um notebook (caderno) já existente. Na parte inferior desse retângulo, há um botão azul-claro com o texto “New notebook”, usado para criar um novo notebook (caderno).

Aqui, vamos visualizar a opção de enviar um arquivo de notebook (caderno) que já esteja no computador, pois há um notebook (caderno) que preparamos para orientar este projeto. Nele, constam todas as perguntas que é possível responder com as funções que aprenderemos ao longo do curso, além dos dados disponíveis. Assim, podemos acessar esse material para documentar todo o projeto, eventualmente publicá-lo no LinkedIn, consolidar a aprendizagem e entender quais são as respostas de negócio e os insights (percepções) que podemos extrair dos dados que vamos utilizar.

Ao clicar em Upload (envio), aparece no centro do retângulo um ícone de nuvem e um botão com o texto “Buscar”. Clicamos em “Buscar”. Já estamos na pasta correta para importar o notebook (caderno) inicial Conecta.ipynb, que tem a extensão de arquivo *.ipynb, a extensão de notebooks (cadernos) de Python.

Explorando o notebook do projeto e criando um novo arquivo

Abrimos no Colab esse notebook (caderno), onde está o contexto inicial explicado no vídeo anterior: qual é o problema que queremos resolver. Há 12 perguntas de negócio separadas em três blocos:

• Bloco 1: perfil de clientes.
• Bloco 2: qualidade de atendimento.
• Bloco 3: visão integrada de clientes e interações.

Também está descrita a visão do pipeline (fluxo de etapas) do projeto que percorremos ao longo de 10 aulas, como comentado no primeiro vídeo, detalhando o que faremos: leitura, inspeção, limpeza, padronização, filtro, agrupamento, integração, enriquecimento e visualização de dados. Esse material serve de base e pode ser usado como guia ao longo dos vídeos publicados aqui.

Vimos como enviar um arquivo já existente. Agora, como criar um novo arquivo? Voltamos à tela inicial, onde está o retângulo. Clicamos no botão no canto inferior do retângulo com o texto “New notebook”. O notebook (caderno) é carregado e abre com um nome padrão, exibido no canto superior próximo ao logotipo, algo como Untitled9.ipynb. Vamos alterar esse nome para Projeto Conecta Alura.ipynb.

Conhecendo a interface do colab e executando células

Pronto, alteramos o nome. Vamos conhecer um pouco nosso ambiente: logo abaixo do nome, encontramos as opções Arquivo, Editar, Ver, Inserir, Executar, Ferramentas e Ajuda.

Abaixo desse menu, há uma barra com comandos: a parte de código, que serve para inserir uma célula de código; a parte de texto, para inserir uma célula de texto; como comentamos, podemos misturar código e texto; e a opção de executar todas as células que tivermos aqui — por enquanto, não temos nenhuma.

Na área onde vamos inserir códigos, há uma linha que diz “Comece a programar ou gere código com IA”. No canto esquerdo dessa célula, que é um retângulo, está o botão de ícone de reprodução, o botão de execução, o botão de ícone de reprodução, o botão de execução, o botão de ícone de reprodução, o botão de execução, o botão de ícone de reprodução, o botão de execução, o botão de ícone de reprodução, o botão de execução, o botão de ícone de reprodução, o botão de execução, o botão de ícone de reprodução, o botão de execução, o botão de ícone de reprodução, o botão de execução, o botão de ícone de reprodução, o botão de execução, o botão de ícone de reprodução, o botão de execução, o botão de ícone de reprodução, o botão de execução, o botão de ícone de reprodução, o botão de execução, o botão de ícone de reprodução, o botão de execução; também podemos executar com Shift+Enter para rodar a célula que escrevermos.

Importando a biblioteca pandas e verificando a execução

Agora, vamos escrever o comando import para importar a biblioteca pandas. Daremos um nome a pandas, porque o nome completo é longo; por convenção, usamos o alias pd. Vamos escrever assim: import pandas as pd. Em seguida, vamos executar.

Para construir esse import passo a passo, começamos apenas com a palavra-chave do Python e vamos completando até chegar ao alias final:

Primeiro, digitamos apenas o comando base:

import

Em seguida, indicamos qual biblioteca desejamos usar:

import pandas

Depois, adicionamos o alias (apelido) que usaremos ao longo do notebook:

import pandas as

Por fim, completamos com o alias padrão pd:

import pandas as pd

Pode demorar um pouco, mas a execução ocorre. Como sabemos que executou? Na lateral da célula, aparece o tempo que levou para executar e também um ícone de verificação. Se tivéssemos cometido algum erro, seria exibida uma mensagem; como não ocorreu, sabemos que a execução foi bem-sucedida.

Utilizando o assistente gemini para apoiar o desenvolvimento

Há outro ponto importante aqui. No centro da tela, na parte inferior, há um botão azul do Gemini. Quando clicamos, abre-se em nossa lateral — já estava aberto, inclusive, na lateral direita — um chat (bate-papo) com o Gemini. Lá aparece a mensagem “Ah, Camila, em que posso ajudar?”. Também são exibidas sugestões como instalar bibliotecas Python, carregar dados do Google Drive, entre outras opções. Há um espaço para escrevermos o que queremos que o assistente faça.

Queríamos mostrar essa parte do assistente de código, que também é muito útil no Colab e já vem incluído para nos ajudar. A IA generativa, como apoio para análise de dados e código, nos permitirá concentrar nas tarefas mais estratégicas, como definir uma arquitetura ou uma lógica de negócio, no nosso caso. Ela ajudará a termos maior produtividade e soluções mais inovadoras e adaptáveis, com impacto direto na redução de tempo e, às vezes, até de custos. Isso ocorre porque iremos tirar dúvidas com a ferramenta; claro que precisamos entender toda a lógica por trás e dedicaremos mais tempo a isso, o que nos dará mais espaço para aprofundar. Em vez de termos que memorizar funções, podemos contar com o suporte de documentação aqui.

Gerando um cabeçalho com a ia e organizando as células

Ao longo do curso, mostraremos alguns casos em que podemos usar o assistente de código para nos ajudar. Aqui, por exemplo, vamos a um caso simples: queremos um cabeçalho para iniciar nosso projeto neste notebook (caderno de código). O nome do projeto é “Análise de Dados Honestos”. Vamos enviar essa solicitação ao assistente.

Escrevemos o cabeçalho de forma incorreta de propósito e vamos verificar se o assistente entende. Ele entendeu e sugeriu “Análise de Dados, Conecta Plus”. Podemos aceitar ou não o que foi sugerido; neste caso, vamos aceitar.

Depois de aceitar a sugestão, o cabeçalho pode aparecer como uma célula de texto (Markdown) no notebook. Um exemplo de como esse cabeçalho pode ficar é:

# Análise de Dados - Connecta+

Esse cabeçalho ficou depois da importação da biblioteca. Como primeira etapa ao começar um projeto, importamos a biblioteca principal. Contudo, existe a opção de mover essa célula de import pandas para baixo. Ao clicar na célula, ao lado de pd, no canto direito, aparecem opções com uma seta para cima e outra para baixo, além de opções para mover, excluir a célula e um menu de mais ações (três pontos). Vamos clicar na seta para baixo. Assim, a célula com import pandas as pd é movida para baixo, deixando o cabeçalho “Análise de Dados, Conecta Plus” acima.

Encerrando a introdução ao colab

Esse foi um panorama de como o Colab funciona. Nos próximos vídeos, começaremos a aprofundar os conceitos e funções da biblioteca Pandas.

Eu te espero no próximo vídeo!

Sobre o curso Pandas: analisar e preparar dados para decisões de negócio

O curso Pandas: analisar e preparar dados para decisões de negócio possui 235 minutos de vídeos, em um total de 86 atividades. Gostou? Conheça nossos outros cursos de Data Science em Data Science, ou leia nossos artigos de Data Science.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Conhecendo o Pandas
• Lendo dados de diferentes fontes
• Inspecionando a estrutura dos dados
• Limpando dados nulos e duplicados
• Padronizando tipos e textos dos dados
• Selecionando e filtrando dados
• Agrupando dados e gerando métricas
• Unindo diferentes bases de dados
• Trabalhando com datas e variáveis analíticas
• Visualizando dados e comunicando resultados