МЕТОДИКА АВТОМАТИЗИРОВАННОГО СБОРА КОМПАНИЙ АФРИКИ, АЗИИ, БЛИЖНЕГО ВОСТОКА И ЛАТИНСКОЙ АМЕРИКИ ДЛЯ ОНЛАЙН-РЕЕСТРОВ И АГРЕГАТОРОВ КОМПАНИЙ

МЕТОДИКА АВТОМАТИЗИРОВАННОГО СБОРА КОМПАНИЙ АФРИКИ, АЗИИ, БЛИЖНЕГО ВОСТОКА И ЛАТИНСКОЙ АМЕРИКИ ДЛЯ ОНЛАЙН-РЕЕСТРОВ И АГРЕГАТОРОВ КОМПАНИЙ

Авторы публикации

Рубрика

Маркетинг, реклама и PR

Просмотры

111

Журнал

Журнал «Научный лидер» выпуск # 51 (201), Декабрь ‘24

Дата публикации 29.12.2024

Поделиться

В работе представлены результаты разработки автоматизированной многоэтапной методики с использованием нейросетей и алгоритмов сбора данных, позволяющей запускать и поддерживать процесс получения списка компаний стран Африки, Азии, Ближнего Востока и Латинской Америки. Методика предназначена для быстрого и автоматизированного процесса сбора списка компаний отрасли, а также обогащения различными данными о компаниях. Методика позволяет поддерживать актуальную информацию о компаниях в онлайн-реестре для дальнейшего использования отделом маркетинга и продаж. Рассмотрены недостатки актуальных подходов к сбору и поиску информации о компаниях в вышеперечисленных регионах, сложности с проверкой и верификацией и данных, а также предложен автоматизированный подход по верификации любой найденной информации о компании. Поиск и сбор потенциальных клиентов в зарубежных странах - первоочередной и важный этап в работе отдела маркетинга и продаж. Как правило, на этап поиска и сбора списка всех потенциальных клиентов в стране, а также обогащения списка нужными контактными и иными данными, у экспортера уходит от 1 до 6 месяцев. На поиск и сбор качественных данных по всему региону или континенту, экспортер может потратить более 1 года непрерывной работы отдела продаж. Также, стоит отметить серьезную проблему с публикацией данных о компаниях и, в некоторых случаях, полным отсутствием обширных и верифицированных источников и онлайн-реестров в странах Африки и Ближнего Востока.

В современной бизнес-среде account-based marketing (ABM), или маркетинг на основе списка потенциальных клиентов, является самым эффективным подходом к B2B маркетингу и продажам. Особенно эффективен ABM для экспортеров, большинство из которых применяют данный подход на постоянной основе. Персонализированная и целенаправленная стратегия ABM, концентрирующая ресурсы на выбранном числе ключевых клиентов, обеспечивает более прямую взаимосвязь маркетинговых усилий с целями продаж, что потенциально приводит к более высоким показателям эффективности коммуникации и продаж и более эффективному распределению ресурсов компании. Этот подход особенно выгоден для экспортеров, поскольку позволяет им более эффективно проникать на новые международные рынки, адаптируя свои коммуникации и стратегии к уникальным потребностям и характеристикам целевых компаний в конкретных географических регионах. [1,2,3,4,5]. Списки потенциальных клиентов по отраслям, странам и регионам, экспортеру предоставляют различные онлайн-реестры. Онлайн-реестры могут быть отраслевые и предоставлять списки компаний и информацию из определенной отрасли или индустрии, а также страновые и региональные, предоставляющие списки компаний по географическому признаку.


Высокая сложность поиска списка потенциальных клиентов, а также подробной информации о компаниях, обусловлена низким уровнем цифровизации различных государственных структур, регистраторов компаний, а также в целом онлайн бизнес-инфраструктуры в слаборазвитых и развивающихся странах. В особенности проблема характерна для стран Африки и Ближнего Востока, но прослеживается и в других слаборазвитых странах [6,7,8,9].

 

Цель исследования: разработать методику автоматизированного сбора компаний Африки, Азии, Ближнего Востока и Латинской Америки для онлайн-реестров и агрегаторов компаний.

 

Задачи исследования:

  1. Определить и описать виды/типы источников данных о компаниях в странах Африки, Азии, Ближнего Востока и Латинской Америки
  2. Разработать автоматизированный алгоритм сбора данных
  3. Сформировать методику проверки и верификации данных
  4. Провести тестовый сбор и верификацию данных

Этап первый: Получение регистрационных данных, наименований организаций и базовых данных о зарегистрированных в стране компаниях. В рамках первого этапа производится получение регистрационных данных из официальных государственных реестров. В каждой стране из перечисленных регионов специальным государственным органом ведется публикация всех зарегистрированных компаний в стране. Аналогом такого органа в России является налоговая служба. Источники с регистрационными данными делятся на 2 типа:

  1. С доступом, посредством программных интерфейсов (API). Примером является государственный реестр Южно-Африканской республики «Companies and Intellectual Property Commission» (Комиссия по компаниям и интеллектуальной собственности).  www.cipc.co.za
  2. Без доступа, посредством программных интерфейсов (API) Примером является государственный реестр Нигерии «Реестр корпоративных дел» (Corporate Affairs Commission, CAC) www.cac.gov.ng

Методика сбора первичных данных предусматривает автоматизированное обращение к открытым источникам данных, в частности к официальным регистраторам, посредством программных интерфейсов (API) и специализированных программных скриптов сбора данных для источников без API, основанных на методах Selenium.

 

Из вышеупомянутых источников, получаем следующие данные:

  1. Уникальный регистрационный идентификатор (Reg ID), аналог ИНН компании
  2. Юридическое наименование
  3. Адрес регистрации с юрисдикцией (Страна и регион страны)
  4. ФИО генерального директора и учредителей
  5. Дату регистрации
  6. Вид деятельности по классификации NAICS или SIC

Этап второй: Обогащение компаний контактной информацией. Данный этап делится на два подэтапа:

  1. Автоматизированный поиск URL веб-сайта компании и LinkedIn URL компании
  2. Автоматизированный сбор контактных и иных данных компании

Поиск URL веб-сайта компании происходит в автоматизированном режиме посредством формирования запросов к API нейросети GPT-mini, API Google, API Яндекс Нейро. В рамках запроса формируется promt содержащий регистрационные данные компании и конфигурацию ответа описывающие получаемые на выходе форматы URL. Важно отметить, что для данных запросов (promt) необходимо использовать версию GPT-mini с доступом к интернету.

 

Для дальнейшего обогащения данными необходимо разделить полученные данные на две категории. В первую категорию попадают компании, у которых URL из трех источников совпадает. Во вторую категорию все оставшиеся компании. В дальнейшем обогащении компании данными, необходимо использовать все URL компаний из второй категории поочередно с дальнейшей очисткой дубликатов.

 

Далее, посредством доступа к API LinkedIn, API всемирного банка, а также API GPT-mini формируем запрос, включающий URL LinkedIn и URL веб-сайта и получаем следующие данные:

  1. Описание компании
  2. Теги вида деятельности компании
  3. Адрес головного офиса (HQ) и филиалов
  4. Email (один или несколько)
  5. Телефон (один или несколько)
  6. Facebook URL
  7. Выручка (порядковые значения)
  8. Кол-во сотрудников (порядковые значения)
  9. Перечень сотрудников (топ-менеджмент)
  10. ФИО сотрудников
  11. Должности сотрудников
  12. LinkedIn URL сотрудников

В таблице 1 представлен полный перечень данных о компании, собираемых в автоматизированном режиме в рамках методики.


Таблица 1.

Данные о компании, получаемые из официальных государственных регистраторов, LinkedIn, GPT-mini, Google, Яндекс Нейро и всемирного банка

Атрибут

Краткое описание

NationalID

ИНН

Name

Название компании

Description

Описание компании

RegistrationStatus

Статус - Действ./Ликв.

RegistrationDate

Дата основания

JurisdictionGeneric

Юрисдикция - страна

Founder name

ФИО учредителей

CEO name

ФИО генерального директора

Adresses

Адреса компании

Websites

Веб-сайты компании

Emails

Emails компании

Phones

Телефоны компании

IndustryCodes

Коды индустрии (SIC/NAICS/Другая классификация)

ActivityTags

Виды деятельности (более точный, чем код SIC/NAICS)

WebSocialMedialinks

Соц сети компании

RevenueRange

Выручка (порядок) за последний доступный год

EmployeesRange

Кол-во сотрудников (порядок) за последний доступный год

EmployeesTotal

Точное значение за определенный год

RevenueTotal

Точное значение за определенный год

 

В таблице 2 представлен полный перечень данных о сотрудниках, собираемых в автоматизированном режиме в рамках методики.


         Таблица 2.

Данные о сотрудниках, получаемые из официальных государственных регистраторов, LinkedIn, GPT-mini, Google, Яндекс Нейро и всемирного банка

Атрибут

Краткое описание

Name

ФИО сотрудника

JobTitles

Должность

WebSocialMedialinks

Соц.сети сотрудника

LinkedIn URL

Ссылка на LinkedIn сотрудника

 

Этап третий: Верификация полученных данных проходит в рамках нескольких стадий. Для первичной очистки, удалению из массива данных подлежат компании, полученные из официальных регистрационных источников, но не имеющие URL веб-сайта и URL LinkedIn. Далее, необходимо верифицировать полученные URL компании, а также отождествить их с регистрационными данными. В качестве основных связующих параметров верификации используются следующие:

  1. URL LinkedIn, указанный на веб-сайте и URL веб-сайта, указанный в LinkedIn совпадают
  2. ФИО учредителя или ФИО генерального директора, указанные в официальной регистраторе компаний, совпадают с сотрудниками из перечня в LinkedIn

В рамках исследования, Разработан тестовый алгоритм сбора данных с подключением к вышеописанным источникам данных посредством API, а также написанием скриптов сбора данных, основанных на методах Selenium. Также, произведен тестовый сбор, сведение и верификация данных. Результаты представлены в таблицах 3,4 и 5.


         Таблица 3.

Результаты применения методики - тестовый сбор, сведение и верификация данных - данные о компании

Name

Categories

Country

Address

Email

Phone

Employees

Revenue

CSIR

Remote Sensing

ЮАР

Meiring Naudé Road BrummeriaPretoria 1South Africa

callcentre@csir.co.za

27 12 841 2911

1,000 to 5,000

$200 Million - $1 Billion

CSIR

Remote Sensing

ЮАР

Meiring Naudé Road BrummeriaPretoria 1South Africa

callcentre@csir.co.za

27 12 841 2911

1,000 to 5,000

$200 Million - $1 Billion

CSIR

Remote Sensing

ЮАР

Meiring Naudé Road BrummeriaPretoria 1South Africa

callcentre@csir.co.za

27 12 841 2911

1,000 to 5,000

$200 Million - $1 Billion

CSIR

Remote Sensing

ЮАР

Meiring Naudé Road BrummeriaPretoria 1South Africa

callcentre@csir.co.za

27 12 841 2911

1,000 to 5,000

$200 Million - $1 Billion

DigitalGlobe

Remote Sensing

Марокко

1300 W 120th AveWestminster, CO 80234United States

info@digitalglobe.com

3036844000

1,000 to 5,000

$200 Million - $1 Billion

DigitalGlobe

Remote Sensing

Марокко

1300 W 120th AveWestminster, CO 80234United States

info@digitalglobe.com

3036844000

1,000 to 5,000

$200 Million - $1 Billion

DigitalGlobe

Remote Sensing

Марокко

1300 W 120th AveWestminster, CO 80234United States

info@digitalglobe.com

3036844000

1,000 to 5,000

$200 Million - $1 Billion

DSO National Laboratories

Remote Sensing

Сингапур

20 Science Park DrSingapore 118230Singapore

none

6567762255

1,000 to 5,000

$200 Million - $1 Billion

Petrobras

Remote Sensing, ROV, AUV & USV

Бразилия

Av Republica Do Chile. 65 24 AndarRio De Janeiro 20.031-912Brazil

curty@petrobras.com.br

55 2 132242040

Over 10,000

Over $1 Billion

Petrobras

Remote Sensing, ROV, AUV & USV

Бразилия

Av Republica Do Chile. 65 24 AndarRio De Janeiro 20.031-912Brazil

curty@petrobras.com.br

55 2 132242040

Over 10,000

Over $1 Billion

Petrobras

Remote Sensing, ROV, AUV & USV

Бразилия

Av Republica Do Chile. 65 24 AndarRio De Janeiro 20.031-912Brazil

curty@petrobras.com.br

55 2 132242040

Over 10,000

Over $1 Billion

Petrobras

Remote Sensing, ROV, AUV & USV

Бразилия

Av Republica Do Chile. 65 24 AndarRio De Janeiro 20.031-912Brazil

curty@petrobras.com.br

55 2 132242040

Over 10,000

Over $1 Billion

Unique Maritime Group FZE

ROV, AUV & USV

ОАЭ

Marine House 18 Hipper StreetsouthChesterfield S40 1SSUnited Kingdom

uaesales@uniquegroup.com

7139376193

501 to 1 000

$50 Million - $100 Million

Unique Maritime Group FZE

ROV, AUV & USV

ОАЭ

Marine House 18 Hipper StreetsouthChesterfield S40 1SSUnited Kingdom

uaesales@uniquegroup.com

7139376193

501 to 1 000

$50 Million - $100 Million

Unique Maritime Group FZE

ROV, AUV & USV

ОАЭ

Marine House 18 Hipper StreetsouthChesterfield S40 1SSUnited Kingdom

uaesales@uniquegroup.com

7139376193

501 to 1 000

$50 Million - $100 Million


         Таблица 4.

Результаты применения методики - тестовый сбор, сведение и верификация данных - URL адреса компании

Name

Url

LinkedIn

Twitter

Facebook

CSIR

csir.co.za

linkedin.com/company/csir/

twitter.com/energinetdk

facebook.com/CSIRSouthAfrica

CSIR

csir.co.za

linkedin.com/company/csir/

twitter.com/energinetdk

facebook.com/CSIRSouthAfrica

CSIR

csir.co.za

linkedin.com/company/csir/

twitter.com/energinetdk

facebook.com/CSIRSouthAfrica

CSIR

csir.co.za

linkedin.com/company/csir/

twitter.com/energinetdk

facebook.com/CSIRSouthAfrica

DigitalGlobe

digitalglobe.com

linkedin.com/company/digitalglobe/

twitter.com/Leapconstruct

facebook.com/DigitalGlobeInc

DigitalGlobe

digitalglobe.com

linkedin.com/company/digitalglobe/

twitter.com/Leapconstruct

facebook.com/DigitalGlobeInc

DigitalGlobe

digitalglobe.com

linkedin.com/company/digitalglobe/

twitter.com/Leapconstruct

facebook.com/DigitalGlobeInc

DSO National Laboratories

dso.org.sg

linkedin.com/company/dso-national-laboratories/

none

none

Petrobras

petrobras.com.br

linkedin.com/company/petrobras/

none

facebook.com/petrobras

Petrobras

petrobras.com.br

linkedin.com/company/petrobras/

none

facebook.com/petrobras

Petrobras

petrobras.com.br

linkedin.com/company/petrobras/

none

facebook.com/petrobras

Petrobras

petrobras.com.br

linkedin.com/company/petrobras/

none

facebook.com/petrobras

Unique Maritime Group FZE

uniquegroup.com

linkedin.com/company/unique-maritime-group/

none

none

Unique Maritime Group FZE

uniquegroup.com

linkedin.com/company/unique-maritime-group/

none

none

Unique Maritime Group FZE

uniquegroup.com

linkedin.com/company/unique-maritime-group/

none

none

 

Таблица 5.

Результаты применения методики - тестовый сбор, сведение и верификация данных - данные о сотрудниках

Name

Name

JobTitle

LinkedIn

CSIR

Etienne Gunter

Design And Project Engineer

linkedin.com/in/etienne-gunter-5a914352

CSIR

Kamini Ramiah

Senior Project Manager

linkedin.com/in/kamini-ramiah-76275826

CSIR

Monde Betela

Senior Project Manager

linkedin.com/in/monde-betela-21782665

CSIR

Nare Thomas Mashamaite

Senior Project Manager

linkedin.com/in/nare-thomas-mashamaite-6642187a

DigitalGlobe

Bobby Harness

Senior Project Manager

linkedin.com/in/bobby-harness-1503935

DigitalGlobe

Jim Moening

Senior Project Manager

linkedin.com/in/jim-moening-95544a7

DigitalGlobe

Shankar Balakrishnan

Senior Project Manager

linkedin.com/in/shankar-balakrishnan-7506584

DSO National Laboratories

Valerie Leong

Project Engineer

linkedin.com/in/valerie-leong-160911

Petrobras

Joel Palma

Cascade And Chinook Subsea Controls Project Engineer

linkedin.com/in/joel-palma-331a7b25

Petrobras

Marcio Mattoso

Project Engineering Manager

linkedin.com/in/marcio-mattoso-84ab1711

Petrobras

Mark Barry

Project Engineer

linkedin.com/in/mark-barry-909138137

Petrobras

Robson Alves

Senior Project Manager Transpetro

linkedin.com/in/robson-alves-a291b68a

Unique Maritime Group FZE

Petra Gress

Project Engineer

linkedin.com/in/petra-gress-65b709a6

Unique Maritime Group FZE

Rakesh Bangera

Project Engineer

linkedin.com/in/rakesh-bangera-720729b

Unique Maritime Group FZE

Vivek Nair

Project Engineer

linkedin.com/in/vivek-nair-722b6a85

 

 

Полученные в рамках тестового сбора компании и данные о компаниях, были проверены и подтверждена их корректность. Таким образом, методика позволяет получать и обрабатывать в автоматизированном режиме большие объемы данных по целевым рынкам в странах со слабым уровнем цифровизации. Применяя методику, экспортер может быстро и относительно недорого собрать всех потенциальных клиентов в стране.

 

Общий алгоритм действий, согласно разработанной методике, следующий:

  1. Поиск официального регистратора компаний в выбранной стране и подключение к источнику посредством API или алгоритма сбора данных, основанном на методах Selenium.
  2. Автоматизированный сбор регистранных данных и полного перечня компаний в стране с дальнейшей фильтрацией по виду деятельности
  3. Получение URL LinkedIn и URL веб-сайта на основе регистрационных данных, посредством запросов к API GTP-mini, API Яндекс Нейро и API Google, с формированием запроса, включающего регистрационные данные о компании
  4. Обогащения данным и информацией о компании и сотрудниках, посредством доступа к API LinkedIn, API всемирного банка, а также API GPT-mini с формированием запроса, включающего URL LinkedIn и URL веб-сайта.
  5. Верификация полученного списка компаний на основе совпадения LinkedIn URL и URL веб-сайта, а также совпадения ФИО учредителя и генерального директора в регистрационных данных и в профиле LinkedIn

Список литературы

  1. Abreu, M., & Jordão, B. The Strategy Implementation of Account-Based Marketing (ABM)—The Stratio Case // World Conference on Information Systems and Technologies. – Cham: Springer Nature Switzerland – 2024. – С. 79-88
  2. Agaba, М. Account-based Marketing in B2B-Marketing // – 2021
  3. Sari, Andini Widia, and Atik Aprianingsih. Account-Based Marketing Strategy for B2B Company in Indonesia – 2021
  4. Burgess, Bev, and Tim Shercliff. Account-based Growth: Unlocking Sustainable Value Through Extraordinary Customer Focus. // Kogan Page Publishers – 2022
  5. Гаджиев, Н.Г., Карпунин, А.Ю., Карпунина, Е.В., & Коноваленко, С.А. Развитие маркетинга во внешнеэкономической деятельности. // Экономика. Информатика, 49 (1) – 2022 – С. 79-91
  6. Хассан А.М., Мадиярова Д.М. "РАЗВИТИЕ ЦИФРОВИЗАЦИИ ЭКОНОМИКИ В СТРАНАХ ЦЕНТРАЛЬНОЙ АФРИКИ: ПРОБЛЕМЫ И ПЕРСПЕКТИВЫ РАЗВИТИЯ." // Endless light in science, no. октябрь, – 2023 – C. 125-128
  7. Приходько Д.В., Шеров-Игнатьев В.Г. "Цифровая экономика в Африке: состояние и проблемы развития" // Вестник Санкт-Петербургского университета. Экономика, серия. 40, №1, – 2024 – С. 3-35
  8. Шкваря Л.В. "СТРАНЫ СЕВЕРНОЙ АФРИКИ: ЭКОНОМИЧЕСКОЕ РАЗВИТИЕ И ГОТОВНОСТЬ К ЦИФРОВИЗАЦИИ" // Международная торговля и торговая политика, серия. 8, №2 (30), – 2022 – С. 105-117
  9. Пряжникова О.Н. "МЕГАТЕНДЕНЦИИ, ВЛИЯЮЩИЕ НА РАЗВИТИЕ СТРАН АФРИКИ, И ВОЗМОЖНОСТИ АДАПТАЦИИ К НИМ НА СОВРЕМЕННОМ ЭТАПЕ" // Социальные и гуманитарные науки. Отечественная и зарубежная литература. Сер. 9, Востоковедение и африканистика: Реферативный журнал, №4, – 2022 – С. 22-34
Справка о публикации и препринт статьи
предоставляется сразу после оплаты
Прием материалов
c по
Осталось 6 дней до окончания
Размещение электронной версии
Загрузка материалов в elibrary
Публикация за 24 часа
Узнать подробнее
Акция
Cкидка 20% на размещение статьи, начиная со второй
Бонусная программа
Узнать подробнее