Очень нужен фидбэк.
Основа - обертка для api java.awt.Robot
На входе - скрипт, на выходе - взаимодействие с интерфейсом ОС
Вот как выглядит скрипт для эмулятора:
AND
find strawberry => put_to_basket
где strawberry это скан клубники, а put_to_basket скрипт сбора клубники в корзину
Еще можно почитать здесь