Potrzebowałam pewnych danych do webinaru, a konkretnie chciałam wiedzieć, jakie technologie są obecnie wymagane na stanowiskach związanych z automatyzacją testów oprogramowania. Wiem, trochę niszowy temat, ale to bez znaczenia dla tej historii. Problem był taki, że nie ma jednego miejsca, gdzie te wszystkie ogłoszenia się znajdują i analiza tych danych zajęłaby mi wieczność, gdybym nie skorzystała w tym celu z AI i automatyzacji. Dzisiaj powiem Ci, jak to zrobić.

AppleYouTubeSpotifyRSS

Dlaczego nie jeden portal z ogłoszeniami?

Może przyszło Ci do głowy, dlaczego nie wzięłam tylko jednego portalu z ogłoszeniami o pracę i nie wygenerowałam raportu tylko na podstawie tych danych? Byłoby prościej, ale takie dane byłyby trochę nieadekwatne. Oto dlaczego:

  • duża firma może szukać wielu testerów z podobnymi wymaganiami technologicznymi,
  • firma może publikować ogłoszenia tylko na jednej platformie,
  • a dodatkowo egzotyczne wymagania jednej firmy mogłyby znacząco wpłynąć na wyniki raportu.

Aby uniknąć takiego zakłamywania danych, wolałam uśrednić wyniki przez dodanie większej ilości danych z kilku różnych portali z ogłoszeniami.

Wyzwania w analizie ogłoszeń o pracę

Główne problemy, z którymi się zmierzyłam:

  • jak wyciągnąć konkretne technologie z treści ogłoszenia,
  • nie znałam wszystkich technologii, których chciałam szukać,
  • niektóre technologie są często błędnie zapisywane w ogłoszeniach (albo na różne sposoby),
  • potrzeba parsowania danych z kilku różnych portali.

Te wyzwania sprawiły, że zdecydowałam się skorzystać z AI, które rozumie język naturalny i potrafi poradzić sobie z różnymi zapisami tej samej technologii (np. Google Cloud Platform i GCP).

Proces pobierania i analizy danych

Krok 1: Przygotowanie danych

Stworzyłam arkusz w Google Sheets z linkami do ogłoszeń w jednej kolumnie. Następnie użyłam Make.com do sterowania procesem:

  1. Pobranie linku z każdego wiersza arkusza.
  2. Pobranie treści strony.
  3. Wrzucenie treści do odpowiedniego pola w arkuszu.

Do samego scrapowania użyłam własnego rozwiązania programistycznego, ale można to zrobić za pomocą narzędzi do scrapowania zintegrowanych z Make.

Krok 2: Analiza danych przez AI

Zdecydowałam się podzielić analizę na trzy etapy:

  1. Podsumowanie tekstu oferty:
    • usunięcie informacji o firmie,
    • pozostawienie wymagań, nazwy stanowiska, poziomu stanowiska i nazwy firmy.
  2. Podział technologii na kategorie:
    • AI analizuje podsumowanie,
    • dzieli technologie na kategorie,
    • zwraca wynik w formacie JSON.
  3. Poprawki i ujednolicenie:
    • AI poprawia błędy w kategoryzacji i pisowni,
    • ujednolica zapisy technologii,
    • zwraca poprawiony JSON.

Krok 3: Finalizacja danych

Po analizie przez AI:

  • technologie zostały elegancko wylistowane w odpowiednich kolumnach arkusza,
  • ręcznie usunęłam duplikaty ogłoszeń,
  • użyłam formuł w arkuszu do zliczania wystąpień i przedstawiania danych w formie procentowej.

Co dalej

Ostatecznie otrzymałam 281 niepowtarzających się ofert pracy do analizy. Cały proces zajął mi jeden dzień, ale przy kolejnym podejściu prawdopodobnie zajęłoby to znacznie mniej czasu.

Plany na wykorzystanie zebranych danych:

  • stworzenie graficznego raportu w Canvie,
  • wykorzystanie raportu jako lead magnet do newslettera,
  • oferowanie raportu jako dodatkowej zachęty dla uczestników webinaru na żywo.

Wnioski i zalecenia

Jeśli myślisz o przygotowaniu podobnego raportu lub wyciągnięciu danych do innych celów rozważ wykorzystanie AI do obróbki danych. Na moment pisanie tekstu tekstu najwięcej sensu do takich rzeczy ma GPT-4o mini ze względu na koszty i możliwości.

Największą wartość AI (przynajmniej dla siebie) widzę właśnie w możliwości zastąpienia skomplikowanych programów prostymi prośbami o wykonanie konkretnych zadań, szczególnie w zakresie obróbki danych.