BigQuery е управлявано безсървърно хранилище за данни в Google Cloud, предназначено да даде възможност за мащабируем анализ върху петабайти данни. Това е платформа за релационна база данни като услуга (PaaS), която поддържа ANSI SQL заявки. Като такъв работи със софтуер IRI.
Свързването на Google BigQuery RDB към IRI Workbench и бек-енд програмата за обработка на SortCL е лесно и позволява движението и манипулирането на структурираните му данни чрез съвместими IRI продукти. Това означава IRI CoSort, FieldShield, NextForm и RowGen или платформата IRI Voracity, която включва всички тях.
Свързаността следва същата парадигма като всички други релационни бази данни, които IRI поддържа. Това означава изтегляне и инсталиране на ODBC и JDBC драйвер, конфигуриране (използване и тестване с вашите идентификационни данни), регистрация и валидиране.
Тъй като Workbench е изграден на Eclipse, той се нуждае от JDBC връзка, за да прегледа схемата на BigQuery и да анализира метаданните на таблицата. А за предаване на данни между BigQuery и механизма за манипулиране на данни SortCL е необходим и ODBC драйвер. Крайният резултат може да бъде следният:
Google се обедини с Magnitude Simba, за да предостави ODBC и JDBC драйвери за свързване с BigQuery. Към момента на това писане обаче в неговия JDBC драйвер липсват ключови функции, от които Workbench се нуждае. За да заобиколите това, използвайте драйвера JDBC от CData.
Тази статия предоставя инструкции стъпка по стъпка за IRI софтуер за достъп до BigQuery.
Сервизни акаунти в BigQuery
BigQuery разрешава достъп до ресурси въз основа на потвърдена самоличност, която се нуждае от потребителски идентификатор под формата на акаунт за услуга и ключ/парола. За да създадете потвърдена самоличност, влезте в BigQuery, отидете на Сервизни акаунти под IAM &Admin и създайте акаунт:
Първото поле създава името на акаунта на услугата, за моята настройка го нарекох iri-simba. Второто поле автоматично ще бъде попълнено с имейл адрес на акаунт за услуга, използвайки избраното от вас име. Последното поле може да бъде пропуснато. Щракнете върху Създаване и продължаване.
След като е създаден акаунт за услуга, можем да преминем към типа разрешения, които този акаунт може да има. Щракнете върху Изберете роля и потърсете BigQuery, за да добавите конкретни роли за базата данни.
Задържането на курсора на мишката върху всяка роля ще ви даде бързо описание какъв тип достъп ще даде тази роля на акаунта на услугата; намерете по-подробно обяснение тук. Това позволява по-голям контрол върху предоставянето на разрешение на конкретни потребители, като например възможността да могат да преглеждат таблици, да създават заявки или да работят като администратор.
Избрах ролята на BigQuery User, която ще позволи на този акаунт в услугата да преглежда и манипулира таблици. „Предоставяне на потребителски достъп до този акаунт за услуга“ се пропуска. Щракнете върху Готово ви връща към главната страница на акаунта за услуги, където можете да видите акаунта:
Преминавайки към втората част, нека създадем ключа, който ще бъде свързан с новия акаунт за услуга. В полето Действие щракнете върху Управление на ключове за да създадете ключа за акаунта на услугата — или като добавите свой собствен ключ, или го създадете за вас.
Ако имате Google да създаде вашия ключ, той ще ви представи две опции за тип ключ, JSON или P12. Изберете типа JSON, защото този ключ ще се използва и за JDBC драйвера, който използва формата JSON.
Когато JSON ключът е създаден, той ще бъде изтеглен на компютъра. Можете да го поставите където пожелаете, но запомнете пътя, защото той ще се използва при настройката на ODBC и JDBC драйвера.
След като акаунтът за услугата е създаден и има ключ, който ще действа като парола, нека да преминем към изтегляне на ODBC връзката и настройката й.
ODBC – изтегляне и конфигуриране
Използвам операционна система Windows и избирам 64-битовата версия на Windows за съвместимост с изпълнимия файл CoSort V10.5 SortCL. След като следвате инструкциите и приемете лицензионното споразумение за Simba Installer, отворете ODBC Data Source Administrator (64-битов), за да конфигурирате връзката.
Просто добавете и потърсете драйвера на име „Simba ODBC Driver for Google BigQuery“.
При избран драйвер страницата за настройка трябва да изглежда така:
Тук конфигурацията е наистина проста, като се започне с името на източника на данни.
Избрах името Google BigQuery, но вие можете да изберете всяко име за вашия случай на употреба.
За удостоверяване запазете опцията по подразбиране Сервизен акаунт и преминете надолу към имейл. Тук можете да копирате и поставите имейла на акаунта за услуга, който беше създаден по-рано в тази статия.
Полето по-долу (Път на ключов файл) използва пътя към JSON ключовия файл като вход. В долната част, където е посочено Каталог (Проект), щракнете върху падащото меню. Ако всичко е конфигурирано правилно, то трябва да показва името на проекта и възела, който съдържа наборите от данни и таблиците.
Можете да направите същото за опцията Набор от данни, щракнете върху падащото меню, за да изберете конкретен набор от данни или оставете това празно, за да видите всички набори от данни в този проект. Накрая тествайте връзката, за да се уверите, че всичко работи правилно.
Когато ODBC е настроен, можем да конфигурираме JDBC драйвера.
JDBC – Изтегляне и конфигуриране
Изтеглете JDBC драйвера от CData тук. След като инсталацията приключи, ще има папка, наречена GoogleBigQueryJDBCDriver с setup.jar вътре.
Setup.jar ще инсталира всички файлове, необходими за работа на JDBC връзката. Той също така съдържа специален буркан за подпомагане при създаването на URL адреса на връзката за JDBC драйвера.
След като setup.jar завърши инсталацията, трябва да имаме готови конфигурациите в Workbench. В Data Source Explorer (вътре в Workbench) добавете нова връзка, като щракнете върху Нов профил на връзка .
Ще се появи изскачащ прозорец (като снимката по-долу) и ще даде няколко опции за типа връзки, които могат да бъдат създадени. Изберете Generic JDBC и му дайте име като BigQuery, това ще улесни откриването му в Data Source Explorer.
Следващата страница ще ви насочи да настроите драйвера и да предоставите подробности за връзката. Щракнете върху Нова дефиниция на драйвер това прилича на компас със зелен знак плюс.
Следващата страница ви позволява да дадете конкретно име на драйвера, ако желаете. Преминавайки към раздела JAR List, тук се добавят необходимите буркани, за да функционира JDBC драйверът.
Ако местоположението по подразбиране е било използвано при инсталиране на файловете за JDBC драйвера, то трябва да се намира в папката Program Files с името CData. Вътре в папката lib има Jar файл, наречен cdata.jdbc.googlebigquery.GoogleBigQueryDriver , добавете този буркан към списъка и продължете към раздела Свойства.
*Пътят по подразбиране се вижда на снимката по-долу, ако има проблеми с намирането на jar файла*
В раздела Properties трябва да създадем URL за връзка, да дадем име на базата данни и да посочим класа на драйвера. Фокусирайки се първо върху създаването на URL адреса на връзката, във File Explorer намерете току-що добавения jar файл и го изпълнете.
Това ще ви помогне да създадете URL адреса на връзката във формата, който CData предлага. Както се вижда на снимката по-долу, отляво има свойства, които трябва да бъдат зададени, за да се създаде URL адресът на връзката.
CData има документация за това кои свойства трябва да бъдат зададени в зависимост от това как потребителят е избрал да се удостовери. Тъй като се удостоверяваме с акаунт за услуга, свойствата, които трябва да бъдат зададени, са изброени по-долу.
- AuthScheme – Задайте на OAuthJWT
- ProjectID – Намира се на началната страница на BigQuery
- InitiateOAuth – Задайте на GETANDREFRESH
- OAuthJWTCertType – Задайте на GOOGLEJSON
- OAuthJWTCert – Път до файла .json, предоставен от Google
След като всички свойства са зададени, тествайте връзката, за да се уверите, че всичко работи. Ако е успешно, копирайте низа за връзка в долната част. Ако излезете, без да копирате URL адреса на връзката, ще трябва да зададете свойствата отново.
Обратно в Workbench, поставете URL адреса до свойството URL за връзка и добавете името на базата данни за свойството Име на базата данни. За свойството Driver Class има бутон с три точки в празното поле.
Щракнете върху него и ще ви даде възможност да въведете името на класа на драйвера или да го накарате да сканира JAR списъка за драйвер. След като всичко е направено, трябва да изглежда подобно на това:
Щракнете върху OK и ще бъдете изпратени обратно на страницата „Посочете подробности за драйвер и връзка“. Не е необходимо да добавяте потребителско име или парола, защото цялата информация е в URL адреса на връзката. Тествайте връзката за последен път и щракнете върху завършване.
Профилът на връзката вече ще се вижда в Data Source Explorer и схемите/таблиците могат да се видят, след като щракнете с десния бутон върху профила и изберете свързване.
Последната задача е да създадете регистър за свързване на данни, който съпоставя DSN с току-що създадения профил на връзката. Отидете в менюто на IRI, изберете предпочитания и намерете регистъра за връзка с данни, както показва снимката по-долу.
Отляво е DSN, а отдясно са профилите за връзка. Намерете създадения DSN в секцията ODBC по-горе и щракнете върху Редактиране.... Изберете DSN, версията и профила за връзка.
Тъй като DSN има идентификационни данни, запазени в URL адреса на връзката, няма нужда да се удостоверявате с потребител/парола. Щракнете върху OK и Прилагане и затваряне за да излезете от менюто.
Вече сте готови със стъпките за свързване на базата данни за Google BigQuery. Ако имате нужда от помощ, изпратете имейл на [email protected].
