Décrivez le défi lancé par la NFL, la solution et ce qui l’a rendu passionnant.

Le concours visait à identifier les collisions entre joueurs. Plus de 1 0??00 scientifiques des données du monde entier se sont affrontés pour élaborer une solution précise à l’aide de séquences de matchs de la NFL et d’informations provenant de capteurs. Le football américain est connu pour être l’un des sports les plus durs et les plus exigeants physiquement au monde, avec des contacts à fort impact, et bien que les joueurs portent des équipements de protection, les blessures sont fréquentes. Les collisions avec la tête, en particulier, entraînent souvent des blessures graves ou des handicaps, et il est difficile de trouver des moyens de réduire l’impact des collisions et d’offrir un traitement efficace après une blessure.

Si nous pouvions identifier avec précision les joueurs qui ont subi un choc à la t?ête au cours d’un match, nous pourrions administrer un traitement efficace et faire avancer la recherche sur les effets des casques et sur la manière d’atténuer l’impact. Effectuer ce type de recherche manuellement prendrait énormément de temps, c’est pourquoi la NFL a organisé ce concours afin d’utiliser la technologie de l’IA pour résoudre ce problème.

La clé pour remporter ce concours a été l’intégration réussie de deux types de données distincts, la vidéo et les informations des capteurs. Nous avons utilisé des images vidéo pour identifier les collisions entre les joueurs et nous avons estimé la position des joueurs à l’aid??e de capteurs fixés sur eux. Nous nous sommes distingués par le développement d’un système d’intelligence artificielle q??ui analyse et prédit méticuleusement les moindres changements de position et de posture des joueurs, comme le fait de s’accroupir ou de tomber. Cette innovation a considérablement amélioré notre précision par rapport aux autres participants. En conséquence, notre vitesse de traitement a été 83 fois supérieure à celle d’une opération manuelle, et des tâches qui prenaient 3 à 4 jours ont pu être réalisées en seulement 2 heures, ce qui a été grandement apprécié.

Kippei Matsuda

En général, l’analyse d’images par l’IA consiste à détecter des objets dans des images, mais dans cette compétition, nous devions prendre en compte les positions tridimensionnelles (3D) des joueurs sur le terrain à l’écran, ce qu??i constituait un défi passionnant que nous n’avions jamais relevé auparavant. Il est difficile d’analy??ser des données parce qu’il faut les regarder encore et encore, mais la vidéo de la NFL était si puissante que j’ai pris plaisir à la regarder encore et encore. Grâce à cela, à la fin de la compétition, j’étais capable d’imaginer les mouvements des joueurs rien qu’en regardant les titres des vidéos.

Qu’est-ce qui vous a poussé à participer au défi NFL et quels ont été les résultats ?

Tout a commencé lorsque j’ai pensé que cela pourrait faire partie de mes études. Les aspects théoriques peuvent être appris dans des livres et d’autres sources, mais il est difficile de savoir comment utiliser des données réelles et effectuer une simulation. En tant que développeur, il est essentiel de toucher et d’analyser des données et de répéter des essais et des err??eurs. Le concours m’a attiré parce qu’il fournissait du matériel qui conduisait à un apprentissage pratique.

Honnêtement, je n’ai jamais eu l’impression que le concours en lui-même était difficile ; ce qui était difficile, c’était de trouver du temps pour mes études et ma famille, car j’y travaillais pendant mon temps libre. Lorsque je jouais avec mes enfants au parc, je me disais soudain que je pourrais peut-être faire cette partie de cette façon, e??t cela me dérangeait. J’avais du mal à me détendre.

J’étais dans le train et je tremblais. Depuis le début de ce projet, je ne pensais pas pouvoir gagner, mais quand j’ai gagné, j’étais ravie. Je n’ai pas eu à me plaindre d’avoir gagné et j’étais heureuse de partager la no??uvelle avec tous ceux qui m’entouraient. J’ai eu du mal à travailler ce jour-là !

Comment travaillez-vous avec la vision de l’IA aujourd’hui chez Kawasaki Robotics ?

Je participe actuellement au développement de produits qui utilisent la vision artificielle spécifiquement pour la robotique. L’IA analyse les images capturées par les caméras et les traite de différentes manières ; par exemple, dans notre solution de dépalettisation, elle traite les images des produits qui doivent être déchargés. Les solutions de dépalettisation sont utilisées pour améliorer l’efficacité du déchargement dans les centres de distribution et les usines. La solution de dépalettisation est équipée d’une vision IA 3D et est capable d&??rsquo;analyser de manière très sophistiquée les marchandises qu’elle manipule.

Le déchargement manuel est très coûteux et prend beaucoup de temps, et les solutions robotiques co?nventionnelles ne sont pas assez flexibles pour gérer ce travail. À cet égard, notre solution de dépalettisation a permis d’augmenter la précision et la vitesse des opérations de déchargement automatisées par rapport aux solutions conventionnelles.

Par exemple, avec les solutions robotiques classiques, toutes les tailles et formes d’emballages doivent être enregistrées avant d’être prélevées. Si des emballages de formes non enregistrées arrivent dans le flux de travail, ils ne peuvent pas être traités. Notre solution de dépalettisation, en revanche, n’exige que l’enregistrement des tailles les plus petites et les plus grandes, et tous les paquets peuvent être traités.

Dans les systèmes robotiques classiques, le robot doit connaître la?? taille et la forme correctes du produit qu’il manipule. Une caméra est nécessaire pour reconnaître et confirmer la taille et la forme du produit. Si elles sont confirmées, le bras du robot prélève le produit. L’apprentissage du système est un processus qui prend du temps.

La princ??ipale raison du succès de la solution de dépalettisation de Kawasaki Robotics est que nous associons des caméras bon marché à notre logiciel d’intelligence artificielle robuste pour traiter des images de produits compl?exes sans avoir recours à une multitude d’accessoires. Nous avons obtenu une solution performante et facile à utiliser en nous concentrant sur le développement d’un système de dépalettisation, et en réduisant les fonctions, nous avons obtenu un meilleur rapport qualité-prix que les produits d’autres sociétés, ce qui facilite l’introduction du produit par les entreprises.

Comment les solutions de dépalettisation et d’IA vont-elles continuer à se développer ?

Je pense que l’efficacité des solutions de dépalettisation augmentera à mesure que de plus en plus de données seront collectées et que l’apprentissage de l’IA progressera. Par exemple, l’une des difficultés rencontrées dans le développement d’une solution de dépalettisation était la présence de ficelles et de rubans à la surface des emballages. Lorsque l’IA les voit, elle peut confondre les ficelles avec les limites du carton. Elle peut alors décider que la boîte est plus petite qu’elle ne l’est en réalité et la prendre par erreur. Toutefois, si le système est utilisé sur plusieurs sites à l’avenir et que des données sont collectées, il sera en mesure d’apprendre de multiples variations d’emballages. Ainsi, même si une boîte comporte des ficelles, du ruban adhésif ou des autocollants, le robot pourra la décharger de manière appropriée sur la base de son expérience passée, sans être induit en erreur. Il sera nécessaire de collecter un grand nombre de données de bonne qualité pour le robot.

Je pense également que l’IA, appelée modèle d’infrastructure, sera essentielle. Un exemple est ChatGPT, qui a attiré beaucoup d’attention ces dernières années. Comme le modèle sous-jacent est formé sur la base d’une grande quantité de données, il possède une capacité de reconnaissance très élevée, une sorte de bon sens. Les modèles fondamentaux peuvent traite??r une grande variété d’informations, y compris des textes, des images et des sons, et ont le potentiel d’étendre considérablement l’utilisation des robots, et pas seulement dans le domaine de la logistique. À l’avenir, j’aimerais étendre l’utilisation de l’IA en faisant bon usage des données et du modèle de base.

Cliquez ici pour la page produit de la solution d??e dé?palettisation (japonais)

But when it comes to actually implementing a robot, a lot of questions arise. « What tasks can you leave to the robot? » « What steps do I need to take? » « Who should I talk to in the first place? » Here are some of the best way?s to take industrial robots from concept to reality.

Consult with Professionals

You’re starting at square one: No robots have been introduced yet. You are interested in automation, but not sure which tasks to automate. In the beginning, it can ??be difficult to judge whether a particular task can, or should, be automated or not. In this situation, there are resources to give you peace of mind when introducing a new robot system. In many cases, a specialized engineering firm called Robotic System Integrator (robot SIer) is responsible for planning, designing, and deploying robotic systems. In general, the SIer interacts between the user and the robot manufacturer, acting as a connection between them, and leads the way to the system installation. Kawasaki is a valuable robot maker that can even play the role of a robot system integrator.

Let’s ??take a look at the flow from the introduction of robots to installation. (An example of a basic flow is shown in Fig. 1.) In the early stages, the system integrator will conduct preliminary meetings and field observations to gain a better understanding. It’s important to know what the end-users are looking for and what’s going on in the indu??stry, as well as basic requirements like budget, schedule, cycle time requirements, specs, variety, workspace, etc. Building a robotic system is a collaborative effort between the end-user, system integrator, and robot manufacturer, and a thorough understanding of the requirements is essential for success.

Create a robot-conducive environment

Next, you need to understand whether or not automation should be used. Robots are better at some tasks than others. For example, it is easy to accomplish repetitive tasks that require high degrees of accuracy, or dull, dirty, and dangerous jobs that aren’t ideal for humans to execute. But when it comes to complex applications requiring human senses such as sight, delicate touch, smell, and taste, extra equipment?? and sensors may be required, which can make ??a system more complicated and expensive. It is important to consider whether a robot is really suitable for the process you’re thinking of automating and whether a robot can demonstrate its power, productivity, and cost-effectiveness.

Even in the common case of partial improve?ment of production processes, the first step is to sort out the tasks that should be performed by humans and the processes that should be performed by robots, taking into?? account the above viewpoints.

After narrowing down the processes to be automated by the robot, work elements are disassembled in a way that makes sense for the robot. For example, a person might think of a task the following way: Remove the screw and place it on the product on the jig. When you finish tightening, put the finished product in the next box. But in the case of a robot, it is necessary to subdivide each task:
Step 1: Remove the screw
Step 2: Place the product on the jig
Step 3: Place screw in the designated location
Step 4: Tighten screw
Step 5: Pick the finished product
Step 6: Place finished product in box

At this point, it’s easy to overlook the details of the human worker’s movements. For example, turning the parts inside out when placing them on a rack, visually checking the product for foreign objects, or tapping the surface to check the sealing performance are all simple but important movements. Once a robot is made to do the detailed work that the workers are doing almost subconsciously, it is necess?ary to construct a system not only for programming each and every operation but a??lso for linking the tools used and the processes before and after.

At the same time, it is essential to create an environment in which robots can operate.
For example, if there is no storage space for equipment needed before and after the automated process, there is no problem in the operating space of the robot itself, but the process could be delayed. It is very important to design while imagining not only an automated process but also keeping in mind a realistic process flow such as whether ??this equipment is smoothly linked to the tasks that come before and directly follow that process. This requires a macroscopic perspective with a bird’s-eye view of how to smoothly pass complex elements such as workers, robots, parts, products, space, and time from upstream to downstream.

Follow Up After Install

Once the details of the system are e??stablished from start to finish, a risk assessment is conducted based on the basic design. Once the safety of the robot is confirmed, it goes into the manufacturing and programming of the robot system.

After the design drawing of the entire robot system is completed, it goes through manufacturing, testing, delivery, and installation, and then proceeds to the phase of production operation. But even with a successful deployment, the job of a robot manufacturer or system integrator isn’t over. The company has a long relationship with the end-users that use the system, including regular inspections, customer support, and assistance if failures occur. Kawasaki?? Heavy Industries has a dedicated call center to answer any questions end users have after installation. There is also a 24-hour help desk for problems that arise outside of business hours. Another reason for Kawasaki’s popularity among users is its extensive follow-up and customer service.

Kawasaki Heavy Industries’ after-sales service team was established more than 30 years ago. And in 1986, it established Kawasaki Robot Service Co., Ltd. (formerly Kawasaki Robotics, Ltd.), a company specializing in maintenance and?? after-sales service. Behind the Kawasaki robots, there is always a team of experts close to the robot’s life, from installation to operation, maintenance, and renewal.

There are many reasons why customers choose Kawasaki as a partner in the introduction of robot systems. One of the reasons for this is that, as a company that started as a manufacturer and has deep roots in this industry, it is fully equipped to support the introduction of robots to customers. For example, the Nishi-Kobe Plant has one of the largest robot showrooms in Japan. There are vertically articulated robots, parallel link robots, clean robots, and even duAro cobots and Successor systems. In the showroom, you will see work environm?ents replicated for each robot type, such as welding, painting, and sorting lunch boxes on a production line.

Many users want to implement robots to help combat labor shortages. Or, they may want to increase production efficiency and diversify their product line. Another common reason is to prevent human error a?nd impr??ove product quality, or protect workers from harsh and dangerous work. Every company has its own incentive to think about robots. Industrial robots are certainly the best solution for these problems, but replacing humans and robots is not enough. There’s no such thing as a robot without a professional standing by and supporting from the beginning to the end. Automation systems can only run smoothly when they have both robot system integrators and robot manufacturers.

[Columns]
Introducing Industrial Robots Faster!
Start of K-AddOn operation

Industrial robots cannot work by themselves. They need to connect to peripheral equipment such as grippers and vision systems so the whole system can work. In order to smoothly connect devices made by the various manufacturers, it is necessary to connect and link the respective software types. The K-AddOn platform was launched by Kawasaki to speed up the time it takes to connect the robot to its peripheral equipment and help ensure a smooth deployment. By opening the interface of industrial and collaborative robots made by Kawasaki Heavy I??ndustries to peripheral equipment manufacturers, the robot system integrator and end-user can reduce the verification cost of equipment connection required at the time of installation.