Opisz wyzwanie NFL, rozwiązanie i co sprawiło, że było ono ekscytujące?

Konkurs miał na celu identyfikację kolizji zawodników, a ponad 1000 naukowców zajmujących się danymi z całego świata rywalizowało o zbudowanie dokładnego rozwiązania przy użyciu nagrań z meczów NFL i informacji z czujników. Futbol amerykański jest znany jako jeden z najtrudniejszych, wymagających fizycznie sportów na świecie, obejmujący kontakt o dużej sile uderzenia i chociaż gracze noszą sprzęt ochronny, urazy są powszechne. W szczególności zderzenia gł??owami często skutkują poważnymi obrażeniami lub niepełnosprawnością, a znalezienie sposobów na zmniejszenie wpływu kolizji oraz skuteczne leczenie po wystąpieniu urazu stanowiło wyzwanie.

Gdybyśmy mogli dokładnie zidentyfikować, którzy gracze doznali uderzeń głową podczas meczu, moglibyśmy skutecznie zastosować leczenie i przyspieszyć badania nad?? skutkami kasków i sposobami łagodzenia ich wpływu. Prowadzenie tego typu badań ręcznie byłoby niezwykle czasochłonne, więc NFL zorganizowało konkurs, aby wykorzystać technologię AI do rozwiązania tego problemu.

Kluczem do zwycięstwa w tym konkursie była udana integracja dwóch różny?ch typów danych, wideo i informacji z czujników. Wykorzystaliśmy obrazy wideo do identyfikacji kolizji zawodników i oszacowaliśmy pozycje zawodników za pomocą czujników przymocowanych do zawodników. Wyróżniło nas opracowanie systemu sztucznej inteligencji, który skrupulatnie analizował i przewidywał nawet najmniejsze zmiany w pozycji i postawie gracza, takie jak kucanie lub upadek. Ta innowacja znacznie poprawiła naszą dokładność w porównaniu do innych uczestników. W rezultacie nasza prędkość przetwarzania była 83 razy większa niż w przypadku operacji ręcznych, a zadania, które zajmowały 3-4 dni, można było teraz wykonać w zaledwie 2 godziny, co zostało bardzo docenione.

Kippei Matsuda

Ogólnie rzecz biorąc, analiza obrazu AI polega na wykrywaniu obiektów na obrazach, ale w tym konkursie musieliś?my wziąć pod uwagę trójwymiarowe (3D) pozyc??je graczy na boisku na ekranie, co było ekscytującym wyzwaniem, którego nigdy wcześniej nie robiliśmy. Trudno jest analizować dane, ponieważ trzeba je oglądać w kółko, ale wideo NFL było tak potężne, że z przyjemnością oglądałem je w kółko. Dzięki temu pod koniec konkursu byłem w stanie wyobrazić sobie ruchy zawodników, patrząc tylko na tytuły filmów.

Co sprawiło, że wziąłeś udział w wyzwaniu NFL i jakie były wyniki?

Wszystko zaczęło się od tego, że pomyślałem, że może to być część moich studiów. Teoretycznych aspektów ??można nauczyć się z książek i innych źródeł, ale wiedza o tym, jak wykorzystać rzeczywiste dane i przeprowadzić symulację, jest trudna. Jako programista, dotykanie i analizowanie danych oraz powtarzanie prób i błędów jest niezbędne. Konkurs przyciągnął mnie, ponieważ zapewniał materiały, które prowadziły do praktycznej nauki.

Szczerze mówiÄ…c, nigdy nie czuÅ‚em, że sam konkurs byÅ‚ trudny; to, co byÅ‚o trudne, to znalezienie czasu na studia i rodzinÄ™, ponieważ pracowaÅ‚em nad tym w czasie wolnym. Kiedy bawiÅ‚em siÄ™ z dziećmi w parku, nagle myÅ›laÅ‚em: „Może mógÅ‚bym zrobić tÄ™ część w ten sposób” i to mi przeszkadzaÅ‚o. Trudno byÅ‚o siÄ™ zrelaksować.

Byłem w pociągu i cały się trząsłem. Od początku tego projektu nie sądziłem, że mogę wygrać, ale kiedy to zrobiłem, byłem podekscytowany. Nie narzek??ałem na wygraną i z radością podzieliłem się tą wiadomością ze wszystkimi wokół mnie. Tego dnia?? prawie nie mogłem wykonać żadnej pracy!

Jak dziÅ› pracujesz z wizjÄ… AI w Kawasaki Robotics?

Obecnie zajmuj??ę się opracowywaniem produktów wykorzystujących sztuczną inteligencję specjalnie dla robotyki. Sztuczna inteligencja analizuje obrazy przechwycone przez kamery i przetwarza je na różne sposoby; na przykład w naszym rozwiązaniu do depaletyzacji przetwarza obrazy produktów, które należy rozładować. Rozwiąza?nia do depaletyzacji są wykorzystywane do poprawy wydajności rozładunku w centrach dystrybucyjnych i fabrykach. Rozwiązanie do depaletyzacji jest wyposażone w wizję 3D AI i jest zdolne do wysoce zaawansowanej analizy ładunku, który obsługuje.

Ręc??zny rozładunek jest bardzo kosztowny i czasochłonny, a konwencjonalne rozwiązania zrobotyzowane nie są wystarczająco elastyczne, aby poradzić sobie z tą pracą. Pod tym względem nasze rozwiązanie do depaletyzacji pozwoliło zwiększyć dokładność i szybkość zautomatyzowanych operacji rozładunku w porównaniu z konwencjonaln?ymi rozwiązaniami.

Przykładowo, w przypadku konwencjonalnych systemów zrobotyzowanych, wszystkie rozmiary i kształty opakowań muszą zostać zarejestrowane przed ich pobraniem. Jeśli opakowania o niezarejestrowanych kształtach znajdą się w przepływie pracy, ?nie mogą zostać przetworzone. Nasze rozwiązanie do depaletyzacji wymaga jednak rejestracji tylko najmniejszych i największych rozmiarów, a wszystkie opakowania mogą być przetwarzane.

W konwencjonalnych systemach zrobotyzowanyc??h robot musi znać prawidłowy rozmiar i kształt obsługiw?anego produktu. Do rozpoznania i potwierdzenia rozmiaru i kształtu produktu wymagana jest kamera. Jeśli zostanie to potwierdzone jako prawidłowe, ramię robota pobierze produkt, aby nauczyć system, że jest to czasochłonny proces.

Głównym powodem, dla którego rozwiązanie Kawasaki Robotics do depaletyzacji odniosło sukces, jest to, że łączymy niedrogi sprzęt kamerowy z naszym solidnym oprogramowaniem AI do przetwarzania złożonych obrazów produktów bez wielu dodatków. Osiągnęliśmy wysokowydajne i łatwe w użyciu rozwiązanie, koncentrując się na opracowaniu systemu depaletyz?acji, a dzięki zawężeniu funkcji osiągnęliśmy lepszą wydajność kosztową niż produkty innych firm, ułatwiają?c firmom wprowadzenie produktu.

Jak będzie rozwijać się depaletyzacja i rozwiązania AI?

Uważam, że wydajność rozwiązań do depaletyzacji będzie rosła w miarę gromadzenia coraz większej ilości danych i postępów w uczeniu się AI. Przykładowo, jedną z trudności w opracowaniu rozwiązania do depaletyzacji były sznurki i taśmy na powierzchni opakowań. Gdy sztuczna inteligencja je widzi, może pomylić sznurki z granicami kartonu. Może wtedy zdecydować, że pudełko jest mniejsze niż w rzeczywistości i wziąć je przez pomyłkę. Jeśli jednak system będzie używany w różnych miejscach w przyszłości i gromadzone będą dane, będzie on w stanie nauczyć się wielu odmian opakowań. Wówczas, nawet jeśli pudełko ma sznurki, taśmę lub naklejki, robot może je ??odpowiednio rozładować w oparciu o swoje wcześniejsze doświadczenia, nie dając się wprowadzić w błąd. Konieczne będzie gromadzenie wielu danych dobrej jakości dla robota.

Myślę też, że kluczo??wa będzie sztuczna inteligencja, zwana modelem infrastruktury. Jednym z przykładów jest ChatGPT, który w ostatnich latach przyciąga wiele uwagi. Ponieważ model bazowy jest trenowany w oparciu o dużą ilość danych, ma bardzo wysoką zdolność rozpoznawania, rodzaj zdrowego rozsądku. Podstawowe modele mogą obsługiwać różne informacje, w tym tekst, obrazy i dźwięk, i mają potencjał, aby znacznie rozszerzyć zastosowanie robotów, nie tylko w logistyce. W przyszłości chciałbym rozszerzyć zastosowanie sztucznej inteligencji poprzez dobre wykorzystanie danych i modelu podstawowego.

Kliknij tutaj, aby wyświetli??ć stronę produktu Depalletizing Solution (w języku japońskim)

But when it comes to actually implementing a robot, a lot of questions arise. „What tasks can you leave to the robot?” „What steps do I need to take?” „Who should I talk to in the first place?” Here are some of the best ways to take industrial robots from concept to reality.

Consult with Professionals

You’re starting at square one: No robots have been introduced yet. You are interested in automation, but not sure which tasks to automate. In the beginning, it can be difficult to judge whether a particular task can, or should, be automated or not. In this situation, there are resources to give you peace of mind when introducing a new robot system. In many cases, a specialized engineering firm called Robotic System Integrator (robot SIer) is responsible for planning, designing, and deploying robotic systems. In general, the SIer interacts between the user and the robot manufacturer, acting as a connection between them, and leads the way to the system installation. Kawasaki is a valuable robot maker that can even play the role of a robot system integrator.

Let’s take a look at the flow from the introduction of robots to installation. (An example of a basic flow is shown in Fig. 1.) In the early stages, the system integrator will conduct preliminary meetings and field observations to gain a better understanding. It’s important to know what the end-users are looking for and what’s going on in the industry, as well as basic requirements like budget, schedule, cycle time requirements, specs, variety, workspace, etc. Building a robotic system is a collaborative effort between the end-user, system integrator, and robot manufacturer, and a thorough understanding of the requirements is essential for success.

Create a robot-conducive environment

Next, you need to understand whether or not automation should be used. Robots are better at some tasks than others. For example, it is easy to accomplish repetitive tasks that require high degrees of accuracy, or dull, dirty, and dangerous jobs that aren’t ideal for humans to execute. But when it comes to complex applications requiring human senses such as sight, delicate touch, smell, and taste, extra equipment and sensors may be required, which can make a system more complicated and expensive. It is important to consider whether a robot is really suitable for the process you’re thinking of automating and whether a robot can demonstrate its power, productivity, and cost-effectiveness.

Even in the common case of partial improvement of production processes, the first step is to sort out the tasks that should be performed by humans and the processes that should be performed by robots, taking into account the a?bove viewpoints.

After narrowing down the processes to be automated by the robot, work elements are disassembled in a way that makes sense for the robot. For example, a person might think of a task the following way: Remove the screw and place it on the product on the jig. When you finish tightening, put the finished product in the next box. But in the case of a robot, it is necessary to subdivide each task:
Step 1: Remove the screw
Step 2: Place the product on the jig
Step 3: Place screw in the designated location
Step 4: Tighten screw
Step 5: Pick the finished product
Step 6: Place finished product in box

At this point, it’s easy to overlook the details of the human worker’s movements. For example, turning the parts inside out when placing them on a rack, visually checking the product for foreign objects, or tapping the surface to check the sealing performance are all simple but important movements. Once a robot is made to do the detailed work that the workers are doing almost subconsciously, it is necessary to construct a system not only for programming each and every operation but also for linking the tools used and the processes before and after.

At the same time, it is essential to create an environment in which robots can operate.
For example, if there is no storage space for equipment needed before and after the automated process, there is no problem in the operating space of the robot itself, but the process could be delayed. It is very important to design while imagining not only an automated process but also keeping in mind a realistic process flow such as whether this equipment is smoothly linked to the tasks that come before and directly follow that process. This requires a macroscopic perspective with a bird’s-eye view of how to smoothly pass complex elements such as workers, robots, parts, products, space, and time from upstream to downstream.

Follow Up After Install

Once the details of the system are established from start to finish, a risk assessment is conducted based on the basic design. Once the safety of the robot is ?confirmed, it goes into the manufacturing and programming of the robot system.

After the design drawing of the entire robot system is completed, it goes through manufacturing, testing, delivery, and installation, and then proceeds to the phase of production operation. But even with a successful deployment, the job of a robot manufacturer or system integrator isn’t over. The company has a long relationship with the end-users that use the system, including regular inspections, customer support, and assistance if failures occur. Kawasaki Heavy Industries has a dedicated call center to answer any questions end users have after installation. There is also a 24-hour help desk for problems that arise outside of business hours. Another reason for Kawasaki’s popularity among users is its extensive follow-up and customer service.

Kawasaki Heavy Industries’ after-sales service team was established more than 30 years ago. And in 1986, it established Kawasaki Robot Service Co., Ltd. (formerly Kawasaki Robotics, Ltd.), a company specializing in maintenance and after-sales service. Behind the Kawasaki robots, there is always a team of experts close to the robot’s life, from installation to operation, maintenance, and renewal.

There are many reasons why customers choose Kawasaki as a partner in the introduction of robot systems. One of the reasons for this is that, as a company that started as a manufacturer and has de?ep roots in this industry, it is fully equipped to support the introduction of robots to customers. For example, the Nishi-Kobe Plant has one of the largest robot showrooms in Japan. There are vertically articulated robots, parallel link robots, clean robots, and even duAro cobots and Successor systems. In the showroo??m, you will see work environments replicated for each robot type, such as welding, painting, and sorting lunch boxes on a production line.

Many users want to implement robots to help combat labor shortages. Or, they may want to increase production efficiency and diversify their product line. Another common reason is to prevent human error and improve product quality, or protect workers from harsh and dangerous work. Every company has its own incentive to think about robots. Industrial robots are certainly the best solution for these problems, but replacing humans and robots is not enough. There’s no such thing as a robot without a professional standing by and supporting from the beginning to the end. Automation systems can only run smoothly when they have both robot system integrators and robot manufacturers.

[Columns]
Introducing Industrial Robots Faster!
Start of K-AddOn operation

Industrial robots cannot work by themselves. They need to connect to peripheral equipment such as grippers and vision systems so the whole system can work. In order to smoothly connect devices made by the various manufacturers, it ?is necessary to connect and link the respective software types. The K-AddOn platform was launched by Kawasaki to speed up the time it takes to connect the robot to its peripheral equipment and help ensure a smooth deployment. By opening the interface of industrial and collaborative robots made by Kawasaki Heavy Industries to peripheral equipment manufacturers, the robot system integrator and end-user can reduce the verification cost of equipment connection required at the time of installat?ion.