April 5, 2024April 5, 2024 Edgar SkerstEdgar Skerst 0 Comment

Não importa quanta experiência eu tenha adquirido nesse setor, uma tarefa em que continuo fracassando é a criação de um scraper preciso, flexível e de fácil manutenção para a pesquisa de sites. Assim que os sites mudam sua estrutura HTML, meu scraper fica inoperante. Ao procurar criar minha própria página de resultados de pesquisa, dei uma olhada e a melhor solução que encontrei foi Zenserp. O Zenserp, criado pela Indústrias Saasé uma API SERP lógica e fácil de usar para obter resultados de pesquisa personalizáveis do Google!

Resultados rápidos

  • A criação de seu próprio SERP é uma verificação difícil e impossível de manter (pense em redes proxy e CAPTCHAs) — confie no Zenserp para fazer isso pelo senhor
  • As cargas úteis da API são lógicas e fáceis de usar
  • Obtenha vários tipos de dados: orgânicos, pagos, locais, mapas e muito mais
  • Zenserp não armazena ou vende suas solicitações de consulta
  • Infraestrutura muito forte – sem limite de QPS!
  • Fornece um método de recuperação de dados em massa para consolidar as solicitações de API
  • Gratuito para começar!

Vamos dar uma olhada no uso da API do Zenserp!

Usando o zenserp

Depois de se inscrever em uma conta gratuita do Zenserp, o senhor pode começar a fazer solicitações. O zenserp tem até um bom construtor de perguntas que permite exportar o código de pesquisa em cURL, Python, PHP ou Node.js:

Observação: a chave de API usada aqui foi alterada e não funcionará mais

Observe as opções disponíveis: a frase de pesquisa, o local de onde a solicitação foi feita, o domínio do Google que o senhor prefere e o idioma. As opções adicionais incluem se o senhor deseja uma pesquisa de texto ou imagem, o número de resultados e qual página de resultados (página 1, página 2 etc.) deseja. Super personalizável!

Vamos dar uma olhada no payload resultante:

{
  "query": {
    "q": "david walsh blog",
    "hl": "en",
    "gl": "US",
    "location": "United States",
    "search_engine": "google.com",
    "apikey": "MY_API_KEY",
    "url": "https://google.com/search?q=david+walsh+blog&uule=w+CAIQICINVW5pdGVkIFN0YXRlcw&hl=en&gl=US&sourceid=chrome&ie=UTF-8"
  },
  "organic": [
    {
      "position": 1,
      "title": "David Walsh Blog - JavaScript Consultant",
      "url": "https://davidwalsh.name/",
      "destination": "https://davidwalsh.name",
      "description": "A blog featuring tutorials about JavaScript, HTML5, AJAX, PHP, CSS, WordPress, and everything else development.",
      "isAmp": false,
      "sitelinks": [
        {
          "title": "About David Walsh",
          "description": "David Walsh. My name is David Walsh. I'm a 33-year old web ...",
          "url": "https://davidwalsh.name/about-david-walsh"
        },
        {
          "title": "7 Essential JavaScript Functions",
          "description": "Seven JavaScript functions that every developer should keep ...",
          "url": "https://davidwalsh.name/essential-javascript-functions"
        },
        {
          "title": "JavaScript",
          "description": "The webpack JavaScript utility has taken over the modern ...",
          "url": "https://davidwalsh.name/tutorials/javascript"
        },
        {
          "title": "Incredible Demos",
          "description": "Chris Coyier's Favorite CodePen Demos IV. Did you know you ...",
          "url": "https://davidwalsh.name/tutorials/demos"
        },
        {
          "title": "Recent Tutorials",
          "description": "A blog featuring tutorials about JavaScript, HTML5, AJAX, PHP ...",
          "url": "https://davidwalsh.name/page/2"
        },
        {
          "title": "I Don't Hate Arrow Functions",
          "description": "While arrow functions clearly have a ubiquitous community ...",
          "url": "https://davidwalsh.name/i-dont-hate-arrow-functions"
        }
      ]
    },
    {
      "position": 2,
      "title": "David Walsh Blog - Home | Facebook",
      "url": "https://www.facebook.com/davidwalshblog/",
      "destination": "https://www.facebook.com › davidwalshblog",
      "description": "David Walsh Blog, Madison. 7996 likes · 23 talking about this. David Walsh's blog about HTML5, JavaScript (MooTools, jQuery, Dojo), CSS, PHP, AJAX,...",
      "isAmp": false
    },
    {
      "position": 3,
      "title": "David Walsh Blog - Facebook",
      "url": "https://d.facebook.com/davidwalshblog/?__tn__=%2As-R",
      "destination": "https://d.facebook.com › davidwalshblog",
      "description": "David Walsh Blog, Madison, WI. 8005 likes · 7 talking about this. David Walsh's blog about HTML5, JavaScript (MooTools, jQuery, Dojo), CSS, PHP, AJAX,...",
      "isAmp": false
    },
    // ...
  ],
  "number_of_results": 32600000
}

Como eu queria resultados orgânicos, o organic fornece um conjunto interessante de resultados que correspondem quando faço uma consulta manual de david walsh blog. Observe a quantidade de detalhes no primeiro resultado, especialmente sitelinks, que representa os sub-links que o senhor vê em uma pesquisa manual no Google – uau!

Se houver resultados de pesquisa pagos, eles também estarão no payload. Vamos dar uma olhada no bitcoin:

{
  "query": {
    "q": "bitcoin",
    "hl": "en",
    "gl": "US",
    "location": "United States",
    "search_engine": "google.com",
    "apikey": "API_KEY",
    "url": "https://google.com/search?q=bitcoin&uule=w+CAIQICINVW5pdGVkIFN0YXRlcw&hl=en&gl=US&sourceid=chrome&ie=UTF-8"
  },
  "paid": [
    {
      "paidPosition": "top",
      "title": "Buy & Sell Bitcoin | #1 in Crypto Security & Safety | coinbase.com‎",
      "trackingUrl": "https://google.com/aclk?sa=l&ai=DChcSEwjDssyHo9HkAhUahtUKHXNyAlUYABAAGgJ3cw&sig=AOD64_1Gml8jrX5PSNhnHex8ZD2ErH6vIg&q&ved=2ahUKEwjXq8aHo9HkAhXSZVAKHXrWAUoQ0Qx6BAgVEAE&adurl",
      "destinationUrl": "https://www.coinbase.com/signup",
      "breadcrumbs": [],
      "visurl": "www.coinbase.com/",
      "description": "Coinbase is the Safest, Most Secure Place to Buy and Sell Bitcoin, Ethereum, and More. We’re Obsessed with Security So You Don’t Have to Be. Buy, Sell, and Trade Crypto Safely. iOS & Android App. Secure Storage. Over 20M+ Users. Most Trusted."
    },
    {
      "paidPosition": "top",
      "title": "Buy Bitcoin In 90 Seconds | Get Started For Free‎",
      "trackingUrl": "https://google.com/aclk?sa=l&ai=DChcSEwjDssyHo9HkAhUahtUKHXNyAlUYABABGgJ3cw&sig=AOD64_0a5ShbhklcaLMdUNRMqxNkiDtDSw&q&ved=2ahUKEwjXq8aHo9HkAhXSZVAKHXrWAUoQ0Qx6BAgWEAE&adurl",
      "destinationUrl": "https://gemini.com/",
      "breadcrumbs": [
        {
          "url": "https://exchange.gemini.com/register",
          "text": "Buy Bitcoin Instantly"
        },
        {
          "url": "https://gemini.com/",
          "text": "\"Best Crypto Exchange\""
        },
        {
          "url": "https://gemini.com/security/",
          "text": "Industry-Best Security"
        }
      ],
      "visurl": "www.gemini.com/",
      "description": "Gemini Makes Buying Bitcoin Simple, Safe & Secure. Open A Free Account Today & Start Experiencing The Future of Money! Trade In Minutes. Superior Security. Most Trusted. Free Sign Up. Services: Buy & Sell Bitcoin, Price Charts, Price Alerts, Secure Custody."
    }
  ],
  "organic": [
    {
      "position": 1,
      "isCarousel": true,
      "isVertical": false,
      "news": [
        {
          "title": "China's PBC Is Warming Up To Digital Currencies -- Good News For ...Forbes9 hours ago",
          "url": "https://www.forbes.com/sites/panosmourdoukoutas/2019/09/14/chinas-pbc-is-warming-up-to-digital-currencies-good-news-for-bitcoin-eth-xrp-and-ltc/"
        },
        {
          "title": "Bitcoin Price Indicator May Signal Next Leg HigherCoinDesk12 hours ago",
          "url": "https://www.coindesk.com/bitcoin-price-indicator-may-signal-next-leg-higher"
        },
        {
          "title": "Ethereum Network Demand Surges; Will ETH’s Price Follow?NewsBTC3 mins ago",
          "url": "https://www.newsbtc.com/2019/09/14/ethereum-network-demand-surges-will-eths-price-follow/"
        }
      ]
    },
    // ...
  ],
  "number_of_results": 513000000
}

Observe que o paid que fornece resultados normalmente vistos na parte superior das pesquisas que foram pagas por cada fornecedor.

As consultas acima são as mais simples, mas são apenas a ponta do iceberg; aqui estão algumas outras opções de pesquisa valiosas:

  • device – resultados para celular ou desktop
  • tbm – pesquisa de imagens (isch) ou mapas (lcl)
  • timeframe – h, d, w, etc. para resultados de pesquisa baseados em unidades de tempo

Há muitas outras personalizações disponíveis para ver na seção Documentação do Zenserp.

Tendências do Google

A Zenserp também fornece um /trends API para consultar o Google Trends:

curl https://app.zenserp.com/api/v1/trends \
    -F "keyword[]=bitcoin" \
    -F "keyword[]=ethereum" \
    -F "apikey=YOUR-API-KEY"

Observe que o senhor pode fornecer várias palavras-chave usando a sintaxe de matriz!

Casos de uso

O caso de uso óbvio para o Zenserp é criar minha própria página de pesquisa personalizada, mas as SERPs são muito mais úteis do que isso: o senhor pode pensar em uma variedade de casos de uso:

  • Monitorar o posicionamento de pesquisa do senhor (ou da concorrência) para uma palavra-chave importante
  • Acompanhamento de tendências populares
  • Análise das pesquisas que seus usuários estão fazendo por meio de seus próprios formulários de pesquisa usando SERP em segundo plano
  • Download de imagens que correspondem a um determinado termo
  • Rastreamento da densidade de um determinado tipo de negócio em uma determinada área usando a pesquisa do Google Maps
  • …. – são muitos para listar!

Por mais que eu goste de confiar em meus próprios talentos de raspagem, é muito mais fácil confiar no Zenserp. Economizo tempo na manutenção e aproveito a vantagem de sua API fácil de usar e sua variedade de opções. Quanto mais aprendo sobre tópicos desse setor, mais aprendo a delegar tarefas difíceis a especialistas. Zenserp é o meu especialista em APIs de resultados de pesquisa do Google.

API Fácil Google pesquisa resultados Zenserp