с помощью чего можно загрузить инструменты для работы с api
33 тестера
четверг, 23 июля 2015 г.
Коротко о API и его тестировании
В этом сообщении я постарался собрать информацию, которая может пригодиться тестировщикам, желающим узнать, что такое API. Надеюсь что-то полезное для себя найдут и опытные в тестировании API люди. Ну или хотя бы помогут найти ошибки в моей статье 🙂
Что такое API
Своими словами, API предоставляет нам возможность использовать чужие наработки в своих целях. Впервые я столкнулся с API на примере Windows API. Это набор функций, которые может использовать любое приложение, запущенное на данной ОС. К примеру, оно может использовать стандартные функции для отрисовки интерфейса.
Современные API часто принимают форму веб-сервисов, которые предоставляют пользователям (как людям, так и другим веб-сервисам) какую-то информацию. Обычно процедура обмена информацией и формат передачи данных структурированы, чтобы обе стороны знали, как взаимодействовать между собой.
Форматы передачи данных
Обычные GET запросы способен посылать веб-браузер. Для посылки других типов запросов могут потребоваться скриптовые языки или специальные инструменты (об этом будет ниже).
О H TTP методах можно подробнее почит ать на W iki.
HTTP к оды ответов
Сервер может посылать разные коды в ответ на запросы пользователей. Это могут быть коды ошибок или просто коды, информирующие пользователей о состоянии сервера. Подробное описание можно найти, опять же, на вики.
Топ 11 инструментов для тестирования API
Для чего нужно тестирование API?
Подводные камни тестирования API
Самый большой подводный камень – недопонимание в команде. Тестировщики думают, что разработчики должны сами протестировать API при его написании. Разработчики же, в свою очередь, убеждены, что тестирование API — прямая обязанность тестировщиков.
Также не все тестировщики понимают, как проводить тестирование API, поэтому они просто сосредотачиваются на тестировании UI.
Роль AI и машинного обучения в тестировании API
Для уменьшения сложности тестирования API, некоторые разработчики создали инструменты, которые используют AI для преобразования тестов UI в тесты API. Эти инструменты словно снайперы, которые используют машинное обучение для автоматического поиска шаблонов и связей между различными микросервисами по мере взаимодействия пользователя с ними.
С усовершенствованием таких утилит становится очевидным, что тестирование API будет становиться все проще и проще.
Я еще не встречал таких инструментов в открытом доступе, однако это не повод забыть про тестирование API, потому как приобретенный опыт поможет вам в будущем при освоении более продвинутых инструментов.
SoapUI, Postman и Katalon Studio: Обзор 3 лучших инструментов для тестирования API
За последние пять лет, по данным Google Trends, значительно вырос интерес к тестированию API. Такая тенденция отражает сдвиг парадигмы в сторону web и мобильных приложений, а также разделение серверных служб и пользовательских интерфейсов.
Чтобы помочь вам разобраться, какие же все-таки инструменты лучше всего подходят для автоматизации тестирования API, в этой статье для вас будет представлены обзор и сравнение трех популярных инструментов для тестирования API: SoapUI, Postman и Katalon Studio. SoapUI и Postman специализируются исключительно на тестировании API, в то время как, Katalon Studio предоставляет полный набор инструментов для тестирования API, Web и мобильных приложений.
Katalon Studio
Katalon Studio — это интегрированная среда для создания и выполнения тестирования при работе с API, Web и мобильных приложениями. Имеет богатый набор инструментов для тестирования и поддерживает множество платформ, включая Windows, Mac OS и Linux. Интегрируя движки от Selenium и Appium со всеми необходимыми компонентами, встроенными ключевыми словами и шаблонами, Katalon Studio предоставляет уникальную среду разработки как для тестировщиков, так и для разработчиков, занимающихся тестированием API и веб-автоматизации. Вот некоторые примечательные особенности инструмента:
SoapUI
SoapUI чаще всего рекомендуют использовать, когда дело доходит до выбора инструмента тестирования API. Этот инструмент был специально разработан для тестирования API. SoapUI поддерживает сервисы REST и SOAP. Специалистам для автоматизации тестирования API на выбор доступны в версиях open-source и pro. Pro версия имеет удобный интерфейс и несколько дополнительных возможностей, такие как мастер создание проверок, редактор форм и конструктор SQL запросов. SoapUI – входит в готовый набор инструментов Ready API suite, предлагаемый компанией SmartBear.
SoapUI распространяется в версиях open-source и Pro ($659/год для средних и больших команд).
Postman
Postman стал популярен в качестве инструмента для автоматизации тестирования API, благодаря своему расширению для браузера, которое предназначено для проверки API. Postman можно установить, как в виде расширения для браузера, так и в качестве desktop-приложения для операционных систем Mac, Linux и Windows. Его используют не только тестировщики, которые занимаются автоматизацией тестирования API, но он так же полезен разработчикам для создания и проверки API. По факту, его можно рассматривать, как среду для разработки и тестирования API.
Postman доступен в трех версиях: Postman (бесплатно), Postman Pro ($8/месяц) и Postman Enterprise ($21/месяц).
Сравнение SoapUI, Postman и Katalon Studio
REST и SOAP являются доминирующими типами API, на которые приходится более 95% всех разрабатываемых API / веб-сервисов в соответствии c отчетом о состоянии интеграции API. Katalon Studio и SoapUI поддерживают оба типа REST и SOAP API, в то время как Postman может обрабатывать только REST. Следует отметить, что подавляющее большинство реализаций API (83%) основаны на REST протоколе.
В этой мы рассмотрели три самых популярных и перспективных инструмента для автоматизации тестирования API. Если сравнивать SoapUI с Postman и Katalon Studio, то у каждого инструмента есть свои плюсы и минусы, но несмотря на это они широко используются разработчиками и тестировщиками. (Подробнее о топ-10 инструментов тестирования API)
На сегодняшний день, для успешной реализации методов DevOps требуется использование многих инструментов, которые выполняют функцию управления конфигурацией, интеграции, тестирования и развертывания. Крайне важно, чтобы инструменты были легко и плавно интегрированы в целую инструментальную цепочку DevOps, для того чтобы разработчики, тестировщики и другие заинтересованные стороны могли взаимодействовать. В итоге интегрированные средства автоматизации тестирования, которые могут поддерживать API, Web UI и тестирование мобильных приложений, определенно имеют преимущество перед узконаправленными, специализированными инструментами, такими как Postman и Apache JMeter.
ТОП-9 инструментов для тестирования API
Согласно исследованиям Google Trends, в последнее время продолжает возрастать интерес к тестированию интерфейсов прикладного программирования (API). В 2017 году американская компания SmartBear Software, разрабатывающая программное оснащение для программистов и тестировщиков, провела масштабный опрос среди профессионалов в данной области. Результат показал, что более половины программистов используют автоматизированные инструменты для тестирования интерфейсов прикладного программирования (API testing). При этом ожидается рост этого показателя до 80 %.
Следовательно, использование эффективных инструментов для автоматического тестирования API крайне важно. Сегодня становится понятным, что API testing – это не просто способ контроля качества, но и компонент эффективного внедрения программного обеспечения.
В этом материале мы представим обзор 9 решений (бесплатных или коммерческих) для тестирования API.
1. Postman (https://www.getpostman.com/)
Этот инструмент перерос с плагина для Chrome до многофункционального инструмента тестирования, совместимого с платформами Windows и Mac. Postman считается оптимальным выбором для тех, кто хочет использовать язык разработчика, а не работать с кодировками в интегрированной программной среде. Можно выделить следующие преимущества инструмента:
Цена: от бесплатного тестового периода до 21$ с одного аккаунта в месяц.
2. SoapUI (https://www.soapui.org/)
Это удобный консольный инструмент, дающий возможность быстрого и простого тестирования SOAP, API REST и веб-сервисов. С использованием SoapUI можно открыть исходный документ и интегрировать необходимый набор функций, включая описанные ниже:
Цена: от бесплатного тестового периода до 659$ / год.
3. Tricentis Tosca (https://www.tricentis.com/)
Это платформа для непрерывного тестирования для технологий DevOps и Agile. Можно выделить следующие плюсы инструмента:
Цена: может меняться.
4. Katalon Studio (https://www.katalon.com)
Это бесплатный API testing инструмент, что особенно нравится начинающим разработчикам. Он предоставляет общую среду для разработки и выполнения UI-функционала, тестирования мобильных продуктов и служб API/Web. Главным преимуществом решения является его способность комбинации уровней Business (службы API/Web) и UI. Инструмент полностью совместим с операционными системами Mac OS, Linux и Windows.
Katalon Studio поддерживает запросы RESTful и SOAP с разными командами (PUT, DELETE, GET, POST). При этом существует возможность настройки параметров команд.
5. JMeter (https://jmeter.apache.org/)
Изначально это открытое программное обеспечение разрабатывалось для нагрузочного тестирования. Но сегодня оно активно используется для функционального тестирования.
Цена: открытое программное обеспечение.
6. Apigee (https://apigee.com/api-management/)
Это кросс-облачная платформа для тестов API, дающая возможность измерять и настраивать производительность, обеспечивать разработку API и технической поддержки с применением сторонних редакторов (Swagger). Система работает по многошаговому алгоритму, который управляется Javascript.
Система тестирования Apigee создана для онлайн-бизнеса и сфер, где требуется интенсивная обработка данных. В силу своей специфики и многофункциональности решение нельзя назвать доступным.
Цена: от бесплатного пробного периода до 2 500$ / месяц.
7. Assertible (https://assertible.com/)
Это инструмент тестирования интерфейсов прикладного программирования, который отличается надежностью и автоматизацией процессов. Его преимущества заключаются в следующем:
Цена: от бесплатного тестового периода до 500$ / месяц.
8. Rest-Assured (http://rest-assured.io/)
Это открытый предметно-ориентированный Java-язык, делающий тестирование REST быстрым и удобным. Его плюсы:
Цена: открытое программное обеспечение.
9. Karate DSL (https://github.com/intuit/karate)
Относительно новое решение для тестирования API, помогающее создавать сценарии BDD-тестов без необходимости написания характеристик этапов. Необходимые характеристики генерируются самим Karate DSL, что ускоряет и упрощает процесс запуска тестирования.
Цена: открытое программное обеспечение.
Есть ли универсальное решение
Нет. Вышеописанные инструменты позволяют справляться с любыми задачами в области API testing, но только в комплексе. Как и все продукты для разработчиков, решения для тестирования API не могут совмещать в рамках одного продукта все возможные функции.
Для большинства заинтересованных пользователей возможностей платных продуктов вполне достаточно, но переход на них сдерживается сравнительно высокой стоимостью. Бесплатные решения вполне способны справляться с различными видами тестирования, но их применение сопряжено с необходимостью получения специфических знаний, а также с некоторой сложностью внедрения. Кроме того, нужно учитывать, что некоторые вполне удобные инструменты могут не сочетаться с конкретной платформой, технологией или задачей.
Нужно понимать, что API testing – это актуальный тренд в области автоматического тестирования программного обеспечения. Поэтому на рынке неизбежно будут появляться новые инструменты. Они будут более удобными, многофункциональными или специализированными. В любом случае идеального решения для всех задач разработки программного обеспечения в ближайшее время создано не будет. Но расширение ассортимента инструментов для тестирования, определенно, играет на руку разработчикам.
Теперь остается только сформулировать свои требования, оценить все преимущества и недостатки подходящих решений и сделать выбор. Чтобы получить объективную возможность оценивания продуктов для тестирования, попробуйте инструменты из представленного списка. Такой подход поможет определить, какая платформа больше подходит для определенных задач, а также составить собственный топ. В итоге по мере появления на рынке новых инструментов для тестирования API вы сможете четко понимать, стоит ли использовать новинки или их возможности покрываются существующими решениями.
Александр Александров про тренды и технологии тестирования, про влияние Covid19 на рынок QA
Продолжу хвастаться статусом книги.
Онлайн-тренинги
Что пишут в блогах (EN)
Разделы портала
Про инструменты
Автор: Ноэми Феррера (Noemi Ferrera)
Оригинал статьи
Перевод: Ольга Алифанова
API (программный интерфейс приложения) – это набор вызовов, при помощи которых приложение общается со своими частями. К примеру, так общается пользовательский интерфейс с компонентом ПО (удаленным или локальным сервером), который осуществляет необходимые операции, позволяющие приложению функционировать.
Если вам интересно, как это выглядит в веб-приложении, то можно просто посмотреть на вкладку «Сеть» в панели инструментов разработчика. вы увидите, что при взаимодействии с веб-сайтом в фоновом режиме осуществляется множество вызовов.
Вкладка «Сеть» в Chrome для сайта google.com
Если кликнуть на вызов в левой части панели, в правой части появится информация о нем. URL запроса – это адрес, которого пытается достичь вызов.
Для веб-вызовов используется два основных метода – GET (для получения информации с сервера) и POST (для отправки информации на сервер). Узнать больше о других методах можно здесь.
Следующее поле тоже очень важно. Это сообщение, которое сервер отправляет после выполнения вызова. В этом случае это 307 (перенаправление). Узнать, что значат другие коды статусов, можно по этой ссылке, если вы кошатник, или этой, если предпочитаете собак.
Для отправки информации между устройствами используется два широко применяемых протокола – SOAP (простой протокол доступа к объектам), отправляющий информацию в формате XML, и REST (передача состояний представления), передающий информацию в различных форматах – это может быть json, html, xml, и чистый текст (см. статью, поясняющую их особенности).
Инструменты тестирования API
Пожалуйста, учтите, что упомянутыми ниже инструментами их спектр для API тестирования не ограничен. Я говорю именно об этих, потому что ими я уже пользовалась.
В следующей секции я покажу, как провести тест API.
Swagger
Согласно официальному сайту, Swagger – это профессиональный инструментарий с открытым исходным кодом, который «упрощает разработку API для пользователей, команд и предприятий».
Я пользовалась Swagger UI, чтобы легко проверить API URL, разобраться в вызовах, а затем добавить их в код моих тестов, но опробовала не все инструменты Swagger. Мне кажется, это простой способ сообщить команде об изменениях API и задокументировать их.
В качестве альтернативы разработчики могут документировать вызовы API в другом формате – обычно списком, как сделано у Twitter. Проблема тут в том, что такая документация может устаревать, и затем надо копаться в коде разработки, чтобы понять, как конкретно выглядит этот вызов. Swagger подтягивает набор вызовов напрямую из кода, поэтому с ним проще работать и поддерживать актуальность документации.
Swagger сделан компанией SmartBear, как и SoapUI, поэтому для тестирования API с их помощью прочитайте следующую секцию.
SoapUI и Postman
s ” a Complete API Test Automation Framework for SOAP, REST and more”. There is an open source version and a professional one featuring more functionality. The API testing part looks like this:
Я взяла изображение с официального сайта, и оно довольно самоочевидно. Кроме того, проект хорошо документирован, что поможет вам разобраться с ним.
Postman – это «платформа для совместной разработки API». Для разработчиков Постман предоставляет автоматическую документацию, и это ликвидирует проблему, при которой разработчики меняют функциональность, а затем забывают сообщить об этом.
Приступить к тестированию API с Postman очень легко. Вы можете создавать запросы REST, SOAP и GraphQL. Инструмент поддерживает множество протоколов авторизации (я расскажу об этом позже) и управление сертификатами. Пожалуйста, посетите официальный сайт, чтобы узнать больше.
Wireshark и Fiddler
Эти два приложения очень полезны для анализа сетевых пакетов. Это мощные программы, которыми в обязательном порядке надо владеть, тестируя безопасность, сеть и производительность, а также проверяя пакеты на микро-уровне. Они помогают увидеть, какие конкретно данные пересылаются через сеть. Однако если вы ищете инструментарий для тестирования API, возможно, стоит выбрать что-то из вышеперечисленных – они более высокоуровневые, и предназначены именно для работы с API.
Несмотря на это, я использовала Wireshark и Fiddler для тестирования API, требовавшего особых сертификатов безопасности, а также для дебага проблем (особенно проблем производительности). Чтобы лучше познакомиться с Fiddler, прочитайте эту статью, а для Wireshark – эту.
Как это автоматизировать?
Если вы хотите добавить тесты API в свой код автоматизации, вышеуказанные инструменты помогут вам в этом. Однако в разных языках программирования различаются способы выполнения таких типов вызовов. К примеру, вот так делается REST-вызов в Python:
# сделать что-то с результатом
response.status_code # это дает вам код статуса, о чем говорилось выше
response.json() # это дает вам json с ответом
Это становится сложнее, если вам нужно добавить параметры, авторизацию, или проанализировать данные, но весь процесс хорошо документирован. Давайте рассмотрим конкретный пример, используя API numbersapi.com.
Результат после выполнения кода выше:
При помощи Python вы можете анализировать данные json, легко извлекая и валидируя текст или число.
Чтобы узнать больше о том, что именно тестировать при проверке API, прочитайте эту статью, которая чудесно объясняет этот вопрос на примере Postman.
А мне какое дело? Сравнение тестирования UI и API
Тестирование UI (пользовательского интерфейса) – наилучший способ имитировать реальное поведение пользователей. Однако мы склонны тестировать через UI то, что уже может быть покрыто тестами API (которые в некоторых компаниях могут выполняться другой группой или командой).
Допустим, разработчик изменил вызов API. Пусть это будет вызов списка избранных фильмов. Теперь представим, что этот вызов не изменился в какой-то части приложения, и в результате пользователь не может найти понравившиеся фильмы. Что происходит в UI-тесте?
UI-тест не сможет найти объект. Это может случиться из-за неверного вызова API, баге в автоматизации, обновлении способа получения объекта, нерабочей кнопки, спрятанного объекта…
Однако при наличии API-теста вы поймете, что вызов ничего не получает в ответ. Если вам нужно проверить что-то вроде результатов поиска, лучше использовать API для проверки всего списка (что можно сделать быстрым сравнением), и убедиться через UI, что результат появляется там, где должен, а не само содержание результата. Вы также должны убедиться, что вызов API верен (и обновить тестовый вызов, если это не так).
Переходим на уровень выше
Вызовы API меньше склонны к переменам по сравнению с объектами UI, и, как правило, перемены имеют другую версию, не затрагивая предыдущие релизы приложения. Это означает, что может быть разумным добавить функциональность проверки того, какая именно версия тестируется.
Тесты API также можно использовать для ускорения UI-тестирования. Наиболее распространенный пример – это метод авторизации. Этот метод обычно становится бутылочным горлом для остальных тестов, и если он падает – вы не можете узнать, что еще падает или успешно проходит, до исправления бага вы беспомощны. Очень важно иметь под рукой тест авторизации, чтобы убедиться, что ваши пользователи способны авторизоваться, но выполнение авторизации через UI при каждом прогоне тестов, для которых она требуется, увеличивает время выполнения этих тестов.
Что же делать? Использовать тестирование API, чтобы пропустить авторизацию. Будьте осторожны, в релизном окружении это будет небезопасным. К примеру, можно настроить уникальные токены (см. пример с SoapUI) с коротким сроком жизни для выполнения этого перехода, и отправлять их вместе с URL, или задать вызов API, настраивающий куки или сессию авторизации.
Если у вас есть другие повторяющиеся зависимые тесты, рассмотрите возможность прогонять API-вызовы, прежде чем переходить к зависящим от этих вызовов тестам. Это серьезно ускорит прогон тестов, и его результаты дадут вам более достоверную информацию о проблеме.
Учитывая вышесказанное, UI-тесты – наилучший способ убедиться, что все корректно работает относительно пользовательского поведения, E2E и интеграционные тесты не должны заменяться тестами API. Используйте их как вспомогательный инструмент, если они не увеличивают сложность и отказы ваших тестов.
И еще на уровень выше: статистика
Другая интересная штука, которую можно делать благодаря API-вызовам – это выяснять информацию о приложении и том, как его использует аудитория. Для глобального анализа и визуализации вызовов можно использовать такие инструменты, как elastic search и kibana, и даже пользоваться искусственным интеллектом для получения выводов об этих вызовах… но это уже другая история.