JP2009129171A - Information processor loaded in mobile body - Google Patents

Information processor loaded in mobile body Download PDF

Info

Publication number
JP2009129171A
JP2009129171A JP2007303129A JP2007303129A JP2009129171A JP 2009129171 A JP2009129171 A JP 2009129171A JP 2007303129 A JP2007303129 A JP 2007303129A JP 2007303129 A JP2007303129 A JP 2007303129A JP 2009129171 A JP2009129171 A JP 2009129171A
Authority
JP
Japan
Prior art keywords
operation pattern
information processing
input position
screen
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007303129A
Other languages
Japanese (ja)
Inventor
Widodo Ari
ウィドド アリ
Mitsuru Abe
満 安倍
Nobuhiro Mizuno
伸洋 水野
Yasutaka Yamauchi
康孝 山内
Takeshi Matsui
松井  武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso IT Laboratory Inc
Original Assignee
Denso IT Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso IT Laboratory Inc filed Critical Denso IT Laboratory Inc
Priority to JP2007303129A priority Critical patent/JP2009129171A/en
Publication of JP2009129171A publication Critical patent/JP2009129171A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information processor loaded in a mobile body, allowing a user to easily perform operation even without closely watching an operation part or a screen. <P>SOLUTION: This information processor 1 loaded in the mobile body has: a monitor 18; a touch pad 10 for receiving input of position information from the user; an operation pattern DB 28 for storing an operation pattern prescribed by a moving route of an input position, and processing corresponding to the operation pattern; an operation pattern decision part 16 for deciding whether the moving route of the input position received in the touch pad 10 accords with the operation pattern stored in the operation pattern DB 28 or not; and a screen control part 20 for performing screen control of the monitor according to the processing corresponding to the operation pattern when it is decided that the moving route of the input position accords with the operation pattern. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、移動体に搭載される情報処理装置であって、ユーザが容易に操作を行える情報処理装置に関し、特に、ユーザが操作部や画面を注視しなくても操作可能な装置に関する。   The present invention relates to an information processing apparatus that is mounted on a mobile body, and relates to an information processing apparatus that allows a user to easily operate, and more particularly, to an apparatus that can be operated without the user gazing at an operation unit or a screen.

従来から、ナビゲーション装置等の情報処理装置において、ユーザが容易に操作を行うことができる様々なインターフェースが提案されている。   Conventionally, various interfaces that can be easily operated by a user in an information processing apparatus such as a navigation apparatus have been proposed.

ナビゲーション装置においては、タッチパネル付きのモニタやリモコンが広く用いられており、ユーザは容易に操作を行うことができる。しかしながら、タッチパネルやリモコンの入力インターフェースでは、操作を行うためにはステアリングから手を離さなければならないため、ドライバが運転中に操作を行うのは危険である。現状では、運転中にナビゲーション装置を操作することは禁止されている。   In navigation devices, a monitor with a touch panel and a remote controller are widely used, and the user can easily perform operations. However, in the input interface of a touch panel or a remote controller, it is dangerous for the driver to perform the operation while driving because the hand must be released from the steering wheel in order to perform the operation. At present, it is prohibited to operate the navigation device while driving.

また、ステアリングに操作パネルを設け、ドライバがステアリングから手を離さずに操作可能なナビゲーション装置も提案されている。例えば、特許文献1は、ユーザが意図した操作を違和感なくスムースに行えるようにすることを目的とした情報操作装置を開示している。この情報操作装置では、操作パネルがステアリングに取り付けられている。ドライバがステアリングを掌握した状態で、操作パネルに触れた場合には、最初に触れた位置を中心として、操作パネル上に各選択項目に対応する接触領域を設定する。これにより、ドライバは、最初に触れた位置を中心として、その周辺に触れることにより選択項目を選択することができる。
特開2005−119540号公報
There has also been proposed a navigation device in which an operation panel is provided on a steering wheel and a driver can operate without releasing his / her hand from the steering wheel. For example, Patent Document 1 discloses an information operation device that is intended to enable an operation intended by a user to be performed smoothly without a sense of incongruity. In this information operating device, an operation panel is attached to the steering. When the driver touches the operation panel while holding the steering wheel, a contact area corresponding to each selection item is set on the operation panel with the position touched first as the center. Thus, the driver can select the selection item by touching the periphery around the position touched first.
JP 2005-119540 A

しかしながら、特許文献1に記載された情報操作装置では、ユーザが最初に触れた位置を覚えておくことが必要であり、最初に触れた位置を忘れてしまった場合には、選択項目に適切に触れることができない。特許文献1には、最初に触れた位置を示すために、中心の縦座標と横座標とに対応するインジケータを点灯させることも記載されている。しかし、操作パネルのインジケータから選択項目の表示中心に対応する位置を確認するためには、操作パネルを良く見る必要があり、その間、車両前方から目を離さなくてはならないので問題がある。   However, in the information operation device described in Patent Document 1, it is necessary to remember the position where the user first touched, and when the position touched first is forgotten, the selection item is appropriately set. I can't touch it. Patent Document 1 also describes that an indicator corresponding to the ordinate and abscissa of the center is turned on in order to indicate the position touched first. However, in order to confirm the position corresponding to the display center of the selected item from the indicator on the operation panel, it is necessary to look closely at the operation panel, and there is a problem because it is necessary to keep an eye on the front of the vehicle during that time.

そこで、本発明は上記背景に鑑み、ユーザが操作部や画面を注視しなくても容易に操作を行える情報処理装置を提供することを目的とする。   In view of the above background, an object of the present invention is to provide an information processing apparatus that allows a user to easily perform an operation without gazing at an operation unit or a screen.

本発明の情報処理装置は、移動体に搭載される情報処理装置であって、画像出力部と、ユーザから位置情報の入力を連続的に受け付ける操作部と、入力位置の移動経路によって規定した操作パターンとその操作パターンに対応する処理とを記憶した操作パターン記憶部と、前記操作部にて受け付けた入力位置の移動経路が前記操作パターン記憶部に記憶された操作パターンと合致するか判定する操作パターン判定部と、入力位置の移動経路が前記操作パターンに合致すると判定されたときに、その操作パターンに対応する処理に従って前記画像出力部の画面制御を行う画面制御部とを備える。   An information processing apparatus according to the present invention is an information processing apparatus mounted on a moving body, and includes an image output unit, an operation unit that continuously receives input of position information from a user, and an operation specified by a movement path of the input position. An operation pattern storage unit storing a pattern and a process corresponding to the operation pattern, and an operation for determining whether the movement path of the input position received by the operation unit matches the operation pattern stored in the operation pattern storage unit A pattern determination unit; and a screen control unit that performs screen control of the image output unit according to a process corresponding to the operation pattern when it is determined that the movement path of the input position matches the operation pattern.

このように入力位置の移動経路によって規定した操作パターンに基づいて画面制御を行うことにより、操作部や画面を注視しなくても操作を行うことが可能である。すなわち、本発明によれば、操作部や画面のどの位置を指示しているかではなく、入力位置の相対的な移動経路のパターンによって処理を決定するので、操作部や画面を注視しなくても操作できる。なお、本発明において、入力位置の移動経路が操作パターンに「合致する」とは、入力位置の移動経路と操作パターンとの類似度が所定の閾値よりも高いことを意味する。操作パターン記憶部に記憶された操作パターンは、移動経路の形状を規定し、大きさを規定していない。従って、例えば、操作パターンが円形である場合には、入力位置の移動経路が半径3cmの円形を描いた場合も5cmの円形を描いた場合も、操作パターンに合致することになる。   Thus, by performing screen control based on the operation pattern defined by the movement path of the input position, it is possible to perform an operation without paying attention to the operation unit or the screen. That is, according to the present invention, the process is determined by the relative movement path pattern of the input position, not the position of the operation unit or the screen, so that the operation unit or the screen is not watched. Can be operated. In the present invention, that the movement path of the input position “matches” the operation pattern means that the similarity between the movement path of the input position and the operation pattern is higher than a predetermined threshold. The operation pattern stored in the operation pattern storage unit defines the shape of the movement path and does not define the size. Therefore, for example, when the operation pattern is a circle, the movement path of the input position matches the operation pattern regardless of whether it is a circle with a radius of 3 cm or a circle with a diameter of 5 cm.

本発明の情報処理装置は、入力位置の移動経路が前記操作パターンに合致したことを報知する報知音を出力する報知音出力部を備えてもよい。   The information processing apparatus of the present invention may include a notification sound output unit that outputs a notification sound that notifies that the movement path of the input position matches the operation pattern.

この構成により、報知音によって入力位置の移動経路が操作パターンに合致したことを知ることができるので、報知音が出力されてから初めて画面を見ればよいので、それまでは画面を見なくても操作可能となる。   With this configuration, it is possible to know from the notification sound that the movement path of the input position matches the operation pattern, so it is only necessary to view the screen after the notification sound is output, so that it is not necessary to look at the screen until then. It becomes possible to operate.

本発明の情報処理装置において、前記報知音出力部は、入力位置の移動経路と合致した操作パターンの種類に応じて異なる報知音を出力してもよい。   In the information processing apparatus of the present invention, the notification sound output unit may output different notification sounds depending on the type of operation pattern that matches the movement path of the input position.

このように報知音の種類を変えることにより、画面を見なくても、どの操作パターンに合致したか知ることができる。   Thus, by changing the type of the notification sound, it is possible to know which operation pattern is matched without looking at the screen.

本発明の情報処理装置において、前記画面制御部は、以下の制御を行ってもよい。すなわち、前記操作パターン判定部にて入力位置の移動経路が、(1)起動処理に対応する操作パターンに合致したと判定された場合、複数の選択項目を有する画面を表示し、(2)選択処理に対応する操作パターンに合致したと判定された場合、前記画面に表示された選択項目を順次指示し、(3)いずれかの選択項目が指示された状態で確定処理に対応する操作パターンに合致したと判定された場合、指示された選択項目の選択を確定し、(4)キャンセル処理に対応する操作パターンに合致したと判定された場合、前記画面の表示をクリアする。   In the information processing apparatus of the present invention, the screen control unit may perform the following control. That is, when the operation pattern determination unit determines that the movement path of the input position matches (1) the operation pattern corresponding to the activation process, a screen having a plurality of selection items is displayed. When it is determined that the operation pattern corresponding to the process is matched, the selection items displayed on the screen are sequentially instructed, and (3) the operation pattern corresponding to the confirmation process is selected with any of the selection items being instructed. When it is determined that they match, the selection of the instructed selection item is confirmed. (4) When it is determined that the operation pattern corresponding to the cancel processing is matched, the display on the screen is cleared.

このように、起動処理、選択処理、確定処理およびキャンセル処理のそれぞれに対応する操作パターンを有し、各操作パターンに合致したときに、画面制御部は、上記各処理を実行することにより、操作部および画面を注視していなくても上記各処理を行なえる。   Thus, the screen control unit has an operation pattern corresponding to each of the activation process, the selection process, the confirmation process, and the cancellation process, and when the operation pattern matches each operation pattern, Each of the above processes can be performed without paying attention to the section and the screen.

前記操作部がタッチパッドの場合には、前記操作パターン記憶部は、確定処理に対応する操作パターンとして、タッチパッドから指が離れる操作、あるいはタッチパッドを所定の閾値以上の圧力で押す操作を記憶しておき、確定処理を検知してもよい。   When the operation unit is a touch pad, the operation pattern storage unit stores an operation of moving a finger away from the touch pad or an operation of pressing the touch pad with a pressure equal to or higher than a predetermined threshold as an operation pattern corresponding to the confirmation process. In addition, the confirmation process may be detected.

この構成により、指を動かして所定の移動経路を描くことにより処理を選択し、続いて、タッチパッドから指を離す、あるいはタッチパッドを強く押すことにより、確定することができるので、シンプルでかつスムースなインターフェースを実現できる。   With this configuration, a process can be selected by moving a finger and drawing a predetermined movement path, and then can be confirmed by releasing the finger from the touch pad or pressing the touch pad strongly. A smooth interface can be realized.

本発明の情報処理装置において、前記確定処理に対応する操作パターンに合致したと判定された場合、選択項目を順次指示する際に入力された入力位置の移動経路の情報を用いて前記選択処理に対応する操作パターンを更新してもよい。   In the information processing apparatus of the present invention, when it is determined that the operation pattern corresponding to the confirmation process is matched, the selection process is performed using the information on the movement path of the input position input when the selection items are sequentially specified. The corresponding operation pattern may be updated.

この構成により、選択処理に対応する操作パターンを、それぞれのユーザに合わせて学習することができる。それぞれのユーザに合った操作パターンで処理を決定できるようにすることにより、移動体を運転中のユーザが操作する場合にも迅速かつ適切な操作が可能となり、安全運転に資することができる。   With this configuration, the operation pattern corresponding to the selection process can be learned for each user. By making it possible to determine the processing with an operation pattern suitable for each user, a quick and appropriate operation can be performed even when a user operating the moving body operates, contributing to safe driving.

本発明の情報処理装置は、所定時間にわたって入力位置の移動経路と前記操作パターンとの合致を検知しなかった場合、前記画面制御部は表示中の画面をペンディング画面として記憶すると共に、前記画面の表示をクリアし、次回の起動処理時に前記ペンディング画面を表示してもよい。   When the information processing apparatus of the present invention does not detect a match between the movement path of the input position and the operation pattern for a predetermined time, the screen control unit stores the displayed screen as a pending screen, and The display may be cleared and the pending screen may be displayed during the next activation process.

この構成により、操作パターンの入力がない場合には、自動的に画面表示をクリアするとともに、次回の起動時に処理を再開することができる。   With this configuration, when no operation pattern is input, the screen display is automatically cleared and the process can be resumed at the next startup.

本発明の情報処理装置において、前記操作部は、ユーザが移動体のステアリングを掌握した状態で操作可能な位置に設けられてもよい。   In the information processing apparatus according to the present invention, the operation unit may be provided at a position where the user can operate the user while grasping the steering of the moving body.

この構成により、ステアリングから手を離さずに操作することができる。さらに、画面をメーターの部分に取り付けるか、あるいはヘッドアップディスプレイとすることにより、画面を見るときに前方から目を離さなくてよいので、安全に操作することが可能となる。   With this configuration, it is possible to operate without removing the hand from the steering wheel. Furthermore, by attaching the screen to the meter portion or using a head-up display, it is possible to operate safely because it is not necessary to keep an eye on the front when viewing the screen.

本発明の情報処理装置は、前記操作部から入力された位置情報を記憶する入力位置履歴記憶部を備え、前記操作パターン判定部は、前記入力位置履歴記憶部から所定期間における位置情報を読み出して当該所定期間における移動経路を形成し、前記移動経路と前記操作パターン記憶部に記憶された操作パターンとを比較する処理を順次行ってもよい。   The information processing apparatus of the present invention includes an input position history storage unit that stores position information input from the operation unit, and the operation pattern determination unit reads position information in a predetermined period from the input position history storage unit. A process of forming a movement route in the predetermined period and comparing the movement route with an operation pattern stored in the operation pattern storage unit may be sequentially performed.

この構成により、順次入力される位置情報と操作パターンとを適切に比較することができる。   With this configuration, it is possible to properly compare sequentially input position information and operation patterns.

本発明の情報処理方法は、移動体に搭載される情報処理装置の情報処理方法であって、入力位置の移動経路によって規定した操作パターンとその操作パターンに対応する処理とを記憶した操作パターン記憶部を準備するステップと、操作部によりユーザから位置情報の入力を連続的に受け付けるステップと、前記操作部にて受け付けた入力位置の移動経路が前記操作パターン記憶部に記憶された操作パターンと合致するか判定するステップと、入力位置の移動経路が前記操作パターンに合致すると判定されたときに、その操作パターンに対応する処理に従って画面制御を行うステップとを備える。   An information processing method of the present invention is an information processing method of an information processing device mounted on a mobile object, and stores an operation pattern defined by an input position movement path and a process corresponding to the operation pattern. A step of preparing a unit, a step of continuously receiving input of position information from the user by the operation unit, and a movement path of the input position received by the operation unit matches the operation pattern stored in the operation pattern storage unit And a step of performing screen control according to a process corresponding to the operation pattern when it is determined that the movement path of the input position matches the operation pattern.

この構成により、入力位置の移動経路によって規定した操作パターンに基づいて画面制御を行うので、操作部や画面を注視しなくても操作を行うことが可能である。なお、本発明の情報処理装置の各種の構成を本発明の情報処理方法に適用することが可能である。   With this configuration, since the screen control is performed based on the operation pattern defined by the movement path of the input position, the operation can be performed without gazing at the operation unit or the screen. Various configurations of the information processing apparatus of the present invention can be applied to the information processing method of the present invention.

本発明のプログラムは、移動体に搭載される情報処理装置の画面制御を行うためのプログラムであって、コンピュータに、操作部によりユーザから位置情報の入力を連続的に受け付けるステップと、前記操作部にて受け付けた入力位置の移動経路が、入力位置の移動経路によって規定した操作パターンとその操作パターンに対応する処理とを記憶した操作パターン記憶部に記憶された前記操作パターンと合致するか判定するステップと、入力位置の移動経路が前記操作パターンに合致すると判定されたときに、その操作パターンに対応する処理に従って画面制御を行うステップとを実行させる。   A program according to the present invention is a program for performing screen control of an information processing device mounted on a mobile body, the computer continuously receiving input of position information from a user by an operation unit, and the operation unit It is determined whether or not the movement path of the input position received in step 4 matches the operation pattern stored in the operation pattern storage unit that stores the operation pattern defined by the movement path of the input position and the processing corresponding to the operation pattern. When it is determined that the movement path of the input position matches the operation pattern, a step of performing screen control according to a process corresponding to the operation pattern is executed.

この構成により、入力位置の移動経路によって規定した操作パターンに基づいて画面制御を行うので、操作部や画面を注視しなくても操作を行うことが可能である。なお、本発明の情報処理装置の各種の構成を本発明のプログラムに適用することが可能である。   With this configuration, since the screen control is performed based on the operation pattern defined by the movement path of the input position, the operation can be performed without gazing at the operation unit or the screen. Various configurations of the information processing apparatus of the present invention can be applied to the program of the present invention.

この構成により、入力位置の移動経路によって規定した操作パターンに基づいて画面制御を行うので、操作部や画面を注視しなくても操作を行うことができるという効果を有する。   With this configuration, the screen control is performed based on the operation pattern defined by the movement path of the input position, so that an operation can be performed without gazing at the operation unit or the screen.

以下、本発明の実施の形態の情報処理装置について図面を参照して説明する。以下では、情報処理装置を搭載する移動体として車両を例として説明するが、本発明の情報処理装置は、車両以外の移動体に搭載することも可能である。   Hereinafter, an information processing apparatus according to an embodiment of the present invention will be described with reference to the drawings. Hereinafter, a vehicle will be described as an example of a moving body on which the information processing apparatus is mounted. However, the information processing apparatus of the present invention can be mounted on a moving body other than the vehicle.

図1は、実施の形態の情報処理装置1の構成を示す図である。本実施の形態の情報処理装置1は、車両に搭載され、各種の車両搭載機器30と連携する。情報処理装置1は、ドライバからの入力を受け付けるタッチパッド10と、タッチパッド10から入力された操作内容を解析する操作内容解析部12と、入力された操作内容に応じてドライバに対する出力を行うモニタ18およびスピーカ22と、モニタ18およびスピーカ22をそれぞれ制御する画面制御部20および報知音制御部24を有する。なお、操作内容解析部12、画面制御部20、および報知音制御部24は、情報処理装置1の機能を示しており、実際の装置では、CPUが、ROM等に記憶されたプログラムを実行することにより、これらの機能を実現する。情報処理装置1の機能を実現するためのプログラムも本発明の範囲に含まれる。   FIG. 1 is a diagram illustrating a configuration of an information processing apparatus 1 according to the embodiment. The information processing apparatus 1 according to the present embodiment is mounted on a vehicle and cooperates with various vehicle-mounted devices 30. The information processing apparatus 1 includes a touch pad 10 that receives input from a driver, an operation content analysis unit 12 that analyzes operation content input from the touch pad 10, and a monitor that performs output to the driver according to the input operation content. 18 and the speaker 22, and a screen control unit 20 and a notification sound control unit 24 for controlling the monitor 18 and the speaker 22, respectively. Note that the operation content analysis unit 12, the screen control unit 20, and the notification sound control unit 24 indicate the functions of the information processing apparatus 1. In an actual apparatus, the CPU executes a program stored in a ROM or the like. Thus, these functions are realized. A program for realizing the functions of the information processing apparatus 1 is also included in the scope of the present invention.

本実施の形態の情報処理装置1と連携する車両搭載機器30には、ナビゲーション装置32、エアコン34、オーディオ36、電話38が含まれる。なお、図1に記載した車両搭載機器30は例示であり、情報処理装置1と連携可能な車両搭載機器30は、図1に示す例に限定されない。例えば、情報処理装置1は、窓の開閉を制御する機器や、ヘッドライトの点灯を制御する機器と連携することも可能である。   The vehicle-mounted device 30 that cooperates with the information processing apparatus 1 of the present embodiment includes a navigation device 32, an air conditioner 34, an audio 36, and a telephone 38. Note that the vehicle-mounted device 30 illustrated in FIG. 1 is an example, and the vehicle-mounted device 30 that can cooperate with the information processing apparatus 1 is not limited to the example illustrated in FIG. For example, the information processing apparatus 1 can also cooperate with a device that controls opening / closing of a window or a device that controls lighting of a headlight.

図2は、本実施の形態の情報処理装置1が車両に搭載された様子を示す図である。図2に示すように、タッチパッド10は、ステアリング40に取り付けられている。図2では、ステアリング40の右側に取り付けた例を示しているが、取り付け位置は右側に限定されない。モニタ18は、メーター取付部42に取り付けられている。なお、モニタ18は、ナビゲーション装置32のモニタと共通であってもよい。   FIG. 2 is a diagram illustrating a state where the information processing apparatus 1 according to the present embodiment is mounted on a vehicle. As shown in FIG. 2, the touch pad 10 is attached to the steering 40. FIG. 2 shows an example in which the steering wheel 40 is attached to the right side, but the attachment position is not limited to the right side. The monitor 18 is attached to the meter attachment portion 42. The monitor 18 may be the same as the monitor of the navigation device 32.

操作内容解析部12は、入力信号受信部14と、操作パターン判定部16とを有している。入力信号受信部14は、タッチパッド10から入力される位置情報を示す信号を受信し、受信した信号から指によって指示された位置情報を入力位置履歴記憶部26に記憶する機能を有する。入力信号受信部14が行う処理を具体的に説明する。入力信号受信部14は、タッチパッド10から物体の検知信号を受信すると、受信した検知信号から物体の接触面積や接触面の形状を求め、接触している物体が人間の指であるか否かを判定する。この判定により、ステアリングを掌握しているドライバの手のひら等が意図せずしてタッチパッド10に触れてしまったことによる誤検出を防止できる。入力信号受信部14は、接触している物体が人間の指であると検知した場合に、指の代表座標を算出する。代表座標としては、接触している部分の中心の座標を用いてもよいし、重心の座標を用いてもよい。   The operation content analysis unit 12 includes an input signal reception unit 14 and an operation pattern determination unit 16. The input signal receiving unit 14 has a function of receiving a signal indicating position information input from the touch pad 10 and storing the position information instructed by a finger from the received signal in the input position history storage unit 26. The processing performed by the input signal receiving unit 14 will be specifically described. When the input signal receiving unit 14 receives the object detection signal from the touch pad 10, the input signal receiving unit 14 obtains the contact area or the shape of the contact surface of the object from the received detection signal, and determines whether or not the touching object is a human finger. Determine. By this determination, it is possible to prevent erroneous detection caused by unintentionally touching the touch pad 10 with the palm of the driver who is grasping the steering wheel. When the input signal receiving unit 14 detects that the touching object is a human finger, the input signal receiving unit 14 calculates the representative coordinates of the finger. As the representative coordinates, the coordinates of the center of the contacting portion may be used, or the coordinates of the center of gravity may be used.

操作パターン判定部16は、入力位置履歴記憶部26に記憶されているデータを読み出し、読み出したデータから算出される移動経路と、操作パターンデータベース(以下、「操作パターンDB」という)28に記憶された操作パターンとを比較する。移動経路が操作パターンに合致したか否かの判定は、両者の類似度が所定の閾値以上であるか否かによって判定する。類似度の計算は、例えば、手書き文字認識等に用いられる主成分分析と距離計算を用いて行うことができる。主成分分析によって入力された移動経路の特徴(ベクトル)と、操作パターンDB28に記憶されたパターンの特徴(ベクトル)を抽出し、距離計算によって両特徴(ベクトル)の距離を計算する。そして、この距離が所定の閾値以下である場合に両パターンが類似すると判定する。なお、主成分分析と距離計算については、例えば、松本、中川「オンライン手書き日本語文字認識のための大分類手法の改良」電子情報通信学会技術報告書、PRMU2001-273,2002年3月に記載されている。   The operation pattern determination unit 16 reads out data stored in the input position history storage unit 26 and stores it in a movement route calculated from the read data and an operation pattern database (hereinafter referred to as “operation pattern DB”) 28. Compare the operation pattern. Whether or not the movement route matches the operation pattern is determined based on whether or not the similarity between the two is equal to or greater than a predetermined threshold. The calculation of the similarity can be performed using principal component analysis and distance calculation used for handwritten character recognition, for example. The feature (vector) of the movement path input by the principal component analysis and the feature (vector) of the pattern stored in the operation pattern DB 28 are extracted, and the distance between both features (vector) is calculated by distance calculation. And when this distance is below a predetermined threshold value, it determines with both patterns being similar. Principal component analysis and distance calculation are described in, for example, Matsumoto and Nakagawa “Improvement of Large Classification Method for Online Handwritten Japanese Character Recognition” IEICE Technical Report, PRMU2001-273, March 2002. Has been.

図3は、操作パターンDB28に記憶されたデータの例を示す図である。操作パターンDB28には、操作パターンとその操作パターンに対応する処理内容とが記憶されている。図3に示すように、2回半往復する移動経路の操作パターンは、起動処理に対応付けられている。従って、2回半往復する移動経路の操作パターンに合致した場合には、起動処理が入力されたと判定し、その判定結果を画面制御部20に送る。なお、図3では、往復の方向を横向きに記載しているが、タッチパッド10の向きとは関係がない。すなわち、往復の移動経路が縦向きでも斜め向きでも、2回半往復する移動経路は、この操作パターンに合致する。これは、他の操作パターンについても同じである。   FIG. 3 is a diagram illustrating an example of data stored in the operation pattern DB 28. The operation pattern DB 28 stores operation patterns and processing contents corresponding to the operation patterns. As shown in FIG. 3, the operation pattern of the movement route that makes a reciprocation twice and a half is associated with the activation process. Therefore, when the operation pattern of the moving path that reciprocates twice and a half is matched, it is determined that the activation process has been input, and the determination result is sent to the screen control unit 20. In FIG. 3, the reciprocating direction is described as horizontal, but it is not related to the direction of the touch pad 10. In other words, regardless of whether the reciprocating movement path is vertical or oblique, the movement path that reciprocates twice and a half matches this operation pattern. This is the same for other operation patterns.

ここで、操作パターンDB28に記憶された他の操作パターンについても説明する。入力位置が円を描く移動経路の操作パターンは選択処理に対応付けられている。なお、図3では、右回りの円を描く操作パターンを示しているが、左回りの場合も選択処理に対応付けることとしてもよい。また、左回りの場合には、別の処理に対応付けることも可能である。   Here, other operation patterns stored in the operation pattern DB 28 will also be described. The operation pattern of the movement path where the input position draws a circle is associated with the selection process. Although FIG. 3 shows an operation pattern for drawing a clockwise circle, the counterclockwise case may be associated with the selection process. In the case of counterclockwise rotation, it is possible to associate with another process.

入力位置の移動経路が途切れる、すなわち指を離す操作パターンは確定処理に対応付けられている。入力位置の移動経路が一直線にタッチパネル外に出ている操作パターンはキャンセル処理に対応付けられている。   The movement pattern of the input position is interrupted, that is, the operation pattern for releasing the finger is associated with the confirmation process. An operation pattern in which the movement path of the input position is out of the touch panel in a straight line is associated with the cancel process.

操作パターン判定部16は、あらかじめ定められた所定期間(例えば、1秒間)における入力位置情報を順次読み出し、読み出したデータから算出される移動経路と、操作パターンDB28に記憶されたいずれかのパターンと合致するか否かを順次判定する。   The operation pattern determination unit 16 sequentially reads input position information in a predetermined period (for example, 1 second) set in advance, a movement route calculated from the read data, and any pattern stored in the operation pattern DB 28 It is sequentially determined whether or not they match.

図4(a)は、入力位置履歴記憶部26に記憶されたデータの例を示す図である。実際には、入力位置履歴記憶部26は、各時刻における代表座標の形式で入力位置のデータを記憶しているが、図4(a)では、移動経路が分かりやすいように、各時刻における入力位置を平面上に示している。図4(a)に示す例では、時刻t1に最初にタッチを検知し、以下、0.1秒ごとに検知した入力位置を示している。   FIG. 4A is a diagram illustrating an example of data stored in the input position history storage unit 26. Actually, the input position history storage unit 26 stores the data of the input position in the form of representative coordinates at each time, but in FIG. 4A, the input at each time is shown so that the movement route is easy to understand. The position is shown on the plane. In the example shown in FIG. 4A, the input position detected first at time t <b> 1 and detected every 0.1 second is shown below.

操作パターン判定部16は、例えば、1秒間における入力位置座標情報を順次読み出す。まず、時刻t1〜t10における入力位置座標情報を読み出して、操作パターンに合致するか否かを判定する。次に、時刻t2〜t11における入力位置座標情報を読み出して、操作パターンに合致するか否かを判定する。以下、この処理を繰り返し行う。図4(a)に示す例では、時刻t6〜t15の1秒間における移動経路が「選択」の操作パターンに合致すると判定される。このように、入力位置履歴情報記憶部26から順次データを読み出して判定を行うことにより、指の移動が一段落した時点でパターンの判定を促したり、ドライバがタッチパッド10から指をいったん離したりしなくても操作パターンの判定を行える。これにより、操作パターンの判定を開始するために操作の流れを途切れさせることなく、スムースなユーザーインターフェースを実現できる。   For example, the operation pattern determination unit 16 sequentially reads input position coordinate information for one second. First, input position coordinate information at time t1 to t10 is read out, and it is determined whether or not the operation pattern is matched. Next, the input position coordinate information at time t2 to t11 is read out, and it is determined whether or not it matches the operation pattern. Thereafter, this process is repeated. In the example illustrated in FIG. 4A, it is determined that the movement path for one second from time t <b> 6 to t <b> 15 matches the “select” operation pattern. In this way, by sequentially reading data from the input position history information storage unit 26 and making a determination, the determination of the pattern is prompted when the finger movement is completed, or the driver once lifts the finger from the touch pad 10. The operation pattern can be determined without it. As a result, a smooth user interface can be realized without interrupting the flow of operation to start the determination of the operation pattern.

図4(b)は、図4(a)と相似の移動経路を示す図である。図4(b)は、図4(a)とタッチパッド10における入力位置は異なるが、図4(a)と同様に、円形の移動経路を有しているので「選択」の操作パターンに合致すると判定される。すなわち、操作パターン判定部16は、タッチパッド10上のどの位置を触れたかということに関わらず、操作パターンを検知する。   FIG. 4B is a diagram showing a movement path similar to FIG. FIG. 4B differs from FIG. 4A in the input position on the touch pad 10, but, like FIG. 4A, has a circular movement path and matches the “select” operation pattern. Then, it is determined. That is, the operation pattern determination unit 16 detects the operation pattern regardless of which position on the touch pad 10 is touched.

画面制御部20は、操作パターン判定部16の判定結果に基づいて、モニタ18の画面制御を行う。画面制御部20は、操作パターン判定部16から起動処理の操作パターンが入力されたときに、初期画面あるいは前回操作中にペンディングとなっていたペンディング画面を表示する機能を有する。画面制御部20は、選択処理の操作パターンが入力されたときに選択項目を順次指示する表示を行う。また、画面制御部20は、確定処理の操作パターンが入力されたときには、指示された選択項目の選択を確定し、当該選択項目に対応する処理を行う。例えば、画面制御部20は、選択項目に応じて次の選択画面を表示したり、車両搭載機器30に対して選択項目に示された指示を出す。なお、選択処理が行われていない状態で確定処理が入力された場合には、画面制御部20は、その確定処理の入力を破棄し、次の指示を待つ。これにより、ドライバがうっかりタッチパッド10から指を離してしまった場合に、情報処理装置1が誤動作しないようにしている。   The screen control unit 20 controls the screen of the monitor 18 based on the determination result of the operation pattern determination unit 16. The screen control unit 20 has a function of displaying an initial screen or a pending screen that has been pending during the previous operation when an operation pattern for activation processing is input from the operation pattern determination unit 16. The screen control unit 20 performs display for sequentially instructing selection items when an operation pattern for selection processing is input. Further, when the confirmation process operation pattern is input, the screen control unit 20 confirms selection of the designated selection item, and performs processing corresponding to the selection item. For example, the screen control unit 20 displays the next selection screen according to the selection item or issues an instruction indicated in the selection item to the vehicle-mounted device 30. When the confirmation process is input when the selection process is not performed, the screen control unit 20 discards the input of the confirmation process and waits for the next instruction. This prevents the information processing apparatus 1 from malfunctioning when the driver inadvertently removes his / her finger from the touch pad 10.

報知音制御部24は、操作パターン判定部16にて、入力位置の移動経路と操作パターンとが合致すると判定されたときに、報知音を出力する機能を有する。このように移動経路と操作パターンとの合致を報知音で知らせることにより、ドライバは、モニタ18を注視していなくても、入力位置の移動経路が操作パターンに合致したことを知ることができる。これにより、報知音出力があるまでは、ドライバはモニタ18を見る必要がなく、安全運転に資することができる。なお、報知音制御部24は、操作パターンによらず、同じ報知音を出力してもよいし、操作パターンに応じて異なる報知音を出力してもよい。操作パターンに応じて異なる報知音を出力すれば、ドライバは報知音だけで、合致した操作パターンを知ることができるので便利である。例えば、ドライバが意図しない操作パターンに合致した場合には、ドライバは、モニタ18を見るまでもなく、キャンセルすることも可能である。   The notification sound control unit 24 has a function of outputting a notification sound when the operation pattern determination unit 16 determines that the movement path of the input position matches the operation pattern. By notifying the match between the movement path and the operation pattern with the notification sound in this way, the driver can know that the movement path of the input position matches the operation pattern without gazing at the monitor 18. Thus, the driver does not need to look at the monitor 18 until the notification sound is output, and can contribute to safe driving. Note that the notification sound control unit 24 may output the same notification sound regardless of the operation pattern, or may output different notification sounds depending on the operation pattern. If different notification sounds are output according to the operation pattern, the driver can conveniently find the matched operation pattern only with the notification sound. For example, when the driver matches an unintended operation pattern, the driver can cancel without watching the monitor 18.

なお、報知音制御部24は、入力位置の移動経路が操作パターンに一致したときのみならず、様々なタイミングで報知音を出力することが可能である。例えば、報知音制御部24は、選択処理を行う際に、項目が選択されたタイミングで選択された項目に応じて異なる報知音を出力することとしてもよい。これにより、報知音によって、どの選択項目が選択されたかを知ることができる。また、報知音制御部24は、選択処理において選択項目が順次指示されている最中に、指示された選択項目に応じて異なる報知音を出力することとしてもよいし、選択処理において指の動きが停止したときに指示されている選択項目に応じて異なる報知音を出力することとしてもよい。この構成により、報知音によって、どの選択項目が指示されているかを知ることができるので、慣れてくれば、モニタ18を見なくても所望の項目を選択することが可能となる。   The notification sound control unit 24 can output the notification sound at various timings as well as when the movement path of the input position matches the operation pattern. For example, when performing the selection process, the notification sound control unit 24 may output different notification sounds according to the item selected at the timing when the item is selected. Thereby, it can be known which selection item was selected by the notification sound. In addition, the notification sound control unit 24 may output a different notification sound according to the designated selection item while the selection items are sequentially designated in the selection process. Different notification sounds may be output depending on the selection item instructed when the operation stops. With this configuration, it is possible to know which selection item is instructed by the notification sound, so that it becomes possible to select a desired item without looking at the monitor 18 as the user gets used to it.

図5は、本実施の形態の情報処理装置1の動作を示すフローチャートである。図5を参照して、情報処理装置1の動作について説明する。情報処理装置1は、タッチパッド10へのタッチを検知すると(S10)、タッチを検知したときの状態が画面起動中であるか否かを判定する(S12)。本実施の形態では、情報処理装置1は、起動中フラグがオンされているか否かを判定する。起動中フラグがオンされていない場合(S12でNO)、すなわち画面起動中ではない場合には、起動処理を行う。   FIG. 5 is a flowchart showing the operation of the information processing apparatus 1 according to the present embodiment. The operation of the information processing apparatus 1 will be described with reference to FIG. When the information processing apparatus 1 detects a touch on the touch pad 10 (S10), the information processing apparatus 1 determines whether or not the state when the touch is detected is that the screen is being activated (S12). In the present embodiment, the information processing apparatus 1 determines whether or not the activation flag is turned on. If the activation flag is not turned on (NO in S12), that is, if the screen is not activated, activation processing is performed.

図6は、情報処理装置1の起動処理の動作を示すフローチャートである。情報処理装置1は、起動処理に対応する操作パターンが入力されたか否かを判定する(S40)。情報処理装置1は、起動処理に対応する操作パターンが入力されるまで、この判定を繰り返し行う。このように、起動処理に対応する操作パターンの入力を待って画面を起動することにより、情報処理装置1の誤作動を防止することができる。   FIG. 6 is a flowchart showing the operation of the activation process of the information processing apparatus 1. The information processing apparatus 1 determines whether an operation pattern corresponding to the activation process has been input (S40). The information processing apparatus 1 repeatedly performs this determination until an operation pattern corresponding to the activation process is input. In this way, the information processing apparatus 1 can be prevented from malfunctioning by activating the screen after waiting for the input of the operation pattern corresponding to the activation process.

情報処理装置1の操作パターン判定部16は、起動処理に対応する操作パターンを検知すると、検知したことを報知音制御部24および画面制御部20に通知する。報知音制御部24は、報知音を出力して、起動処理に対応する操作パターンを検知したことをドライバに知らせる(S42)。画面制御部20は、ペンディング画面があるか否かを判定する(S44)。ペンディング画面がないと判定された場合(S44でNO)、画面制御部20は、初期画面を表示する(S46)。ペンディング画面があると判定された場合(S44でYES)、画面制御部20は、そのペンディング画面を表示する(S48)。   When the operation pattern determination unit 16 of the information processing apparatus 1 detects an operation pattern corresponding to the activation process, the operation pattern determination unit 16 notifies the notification sound control unit 24 and the screen control unit 20 that the operation pattern has been detected. The notification sound control unit 24 outputs a notification sound to notify the driver that an operation pattern corresponding to the activation process has been detected (S42). The screen control unit 20 determines whether there is a pending screen (S44). When it is determined that there is no pending screen (NO in S44), the screen control unit 20 displays an initial screen (S46). When it is determined that there is a pending screen (YES in S44), the screen control unit 20 displays the pending screen (S48).

情報処理装置1は、初期画面またはペンディング画面を表示した後、起動フラグをオンにする(S50)。これにより、ドライバが手を離した後に再度タッチパッド10にタッチした場合には、起動フラグがオンされているので、起動処理をスキップする。   The information processing apparatus 1 turns on the activation flag after displaying the initial screen or the pending screen (S50). As a result, when the driver touches the touch pad 10 again after releasing his hand, the activation flag is turned on, so the activation process is skipped.

図5に戻って、起動処理後の情報処理装置1の動作について説明する。起動処理後、情報処理装置1の動作は、図5のフローチャートにおける「B」の位置に復帰する。情報処理装置1の操作パターン判定部16は、操作パターンDB28に記憶された操作パターンを検知する(S14)。操作パターンDB28に記憶されたいずれかのパターンに合致する移動経路を検知したときは、報知音制御部24は報知音を出力し、操作パターンに合致したことを報知する(S16)。   Returning to FIG. 5, the operation of the information processing apparatus 1 after the activation process will be described. After the activation process, the operation of the information processing apparatus 1 returns to the position “B” in the flowchart of FIG. The operation pattern determination unit 16 of the information processing apparatus 1 detects the operation pattern stored in the operation pattern DB 28 (S14). When a movement route that matches any of the patterns stored in the operation pattern DB 28 is detected, the notification sound control unit 24 outputs a notification sound to notify that it matches the operation pattern (S16).

次に、操作パターン判定部16は、検知した操作パターンを画面制御部20に送り、画面制御部20は、操作パターンに従って動作を行う。画面制御部20は、操作パターン判定部16から送られたパターンが何であったかを判定する(S18)。ここで、入力位置の移動経度が一直線にタッチパッド10の外に出て、「キャンセル」の操作パターンと合致すると判定された場合には、情報処理装置1は、起動フラグをオフし(S36)、画面制御を終了する。   Next, the operation pattern determination unit 16 sends the detected operation pattern to the screen control unit 20, and the screen control unit 20 performs an operation according to the operation pattern. The screen control unit 20 determines what the pattern sent from the operation pattern determination unit 16 is (S18). Here, when it is determined that the moving longitude of the input position goes out of the touchpad 10 in a straight line and matches the “cancel” operation pattern, the information processing apparatus 1 turns off the activation flag (S36). End the screen control.

入力位置の移動経路が円を描き、「選択」の操作パターンと合致すると判定された場合には、画面制御部20は、選択項目を順次指示する(S20)。情報処理装置1は、「選択」の操作パターンを検知した後は、次のパターンを検知するステップS14に戻る。   When it is determined that the movement path of the input position draws a circle and matches the “select” operation pattern, the screen control unit 20 sequentially instructs the selection items (S20). After detecting the “select” operation pattern, the information processing apparatus 1 returns to step S14 of detecting the next pattern.

タッチパッド10から指が離れ、「確定」の操作パターンと合致すると判定された場合には、情報処理装置1は、操作パターンの学習を行い(S22)、続いて、確定を検出したときに指示している選択項目の選択を確定する(S24)。   If it is determined that the finger is released from the touch pad 10 and matches the “confirm” operation pattern, the information processing apparatus 1 learns the operation pattern (S22), and then instructs when the confirmation is detected. The selection of the selected item is confirmed (S24).

ここで、操作パターンの学習について説明する。情報処理装置1は、「確定」の操作パターンを検知すると、「選択」の操作パターンを入力したときのドライバの指の移動経路の情報を用いて、操作パターンDB28に記憶された操作パターンの学習を行う。すなわち、本実施の形態では、操作パターンと入力位置の移動経路と類似度が所定の閾値以上であれば両者が合致すると判定しているので、両者が合致していると判定された場合にも、入力位置の移動経路が操作パターンと全く同じ軌跡を辿ったとは限らない。ドライバが実際に入力した移動経路を教師信号として操作パターンの学習を行うことにより、ドライバの癖を加味して適切な操作パターンDB28を生成することができる。例えば、選択処理の操作パターンを入力する際に、楕円形の円を描く癖のあるドライバに対しては、選択処理に対応する操作パターンを楕円形にすることにより、適切に操作パターンを検知できる。本実施の形態のように、情報処理装置1を車両に搭載して用いる場合には、ドライバは指がどのような移動経路となるかを注視しながら操作することはできないので、あらかじめ設定された操作パターンと全く同じ移動経路を辿ることは困難である。従って、操作パターンの学習を行う構成により、それぞれのドライバに合った操作パターンを生成することが望ましい。   Here, the learning of the operation pattern will be described. When the information processing device 1 detects the “confirm” operation pattern, the information processing device 1 learns the operation pattern stored in the operation pattern DB 28 using information on the movement path of the finger of the driver when the “select” operation pattern is input. I do. In other words, in the present embodiment, if the operation pattern and the movement path of the input position and the degree of similarity are equal to or greater than a predetermined threshold, it is determined that both match, so even when it is determined that both match The movement path of the input position does not always follow the same locus as the operation pattern. By learning the operation pattern using the movement path actually input by the driver as a teacher signal, an appropriate operation pattern DB 28 can be generated in consideration of the driver's habit. For example, when inputting an operation pattern for selection processing, an operation pattern can be appropriately detected for a driver having a habit of drawing an elliptical circle by making the operation pattern corresponding to the selection processing elliptical. . When the information processing apparatus 1 is mounted on a vehicle and used as in the present embodiment, the driver cannot perform an operation while gazing at what kind of moving path the finger is, so that it is set in advance. It is difficult to follow exactly the same movement path as the operation pattern. Therefore, it is desirable to generate an operation pattern suitable for each driver by a configuration for learning the operation pattern.

画面制御部20は、指示された項目の選択を確定すると、確定された選択項目に対応する処理を行う。選択した項目が次のメニュー画面を表示する項目である場合には、画面制御部20は次のメニュー画面を表示し、選択した項目が車両搭載機器30に対する制御の項目である場合には、画面制御部20は該当する車両搭載機器30に対して制御指示を送信する。   When the screen control unit 20 confirms the selection of the designated item, the screen control unit 20 performs processing corresponding to the confirmed selection item. When the selected item is an item for displaying the next menu screen, the screen control unit 20 displays the next menu screen. When the selected item is an item for controlling the vehicle-mounted device 30, the screen is displayed. The control unit 20 transmits a control instruction to the corresponding on-vehicle device 30.

図5のフローチャートを参照して説明する。画面制御部20は、選択された項目を確定した後(S24)、その項目に続く画面があるか否かを判定する(S26)。すなわち、さらにメニュー画面が続いていくのか、メニュー画面が終了して車両搭載機器30に対して指示を出すかを判定する。   This will be described with reference to the flowchart of FIG. After confirming the selected item (S24), the screen control unit 20 determines whether there is a screen following the item (S26). That is, it is determined whether the menu screen continues or whether the menu screen ends and an instruction is given to the vehicle-mounted device 30.

選択された項目に続く次の画面があると判定された場合には(S26でYES)、画面制御部20は、選択された項目に対応する次の画面を表示し(S28)、画面表示後一定時間以内にタッチパッド10へのタッチがあるか否かを判定する(S30)。一定時間以内にタッチパッド10へのタッチがある場合には(S30でYES)、情報処理装置1は、操作パターンを検知するステップS14に移行する。一定時間以内にタッチパッド10へのタッチがない場合には(S30でNO)、情報処理装置1は、表示中の画面をペンディング画面として記憶し(S32)、起動フラグをオフして(S36)、動作を終了する。これにより、運転状況等により操作を継続できない場合に、情報処理装置1は操作を一旦中断し、次回に起動処理を行ったときには、メインメニューではなく、ペンディング画面から操作を再開することができる。   When it is determined that there is a next screen following the selected item (YES in S26), the screen control unit 20 displays the next screen corresponding to the selected item (S28), and after the screen is displayed. It is determined whether or not there is a touch on the touchpad 10 within a certain time (S30). If there is a touch on the touchpad 10 within a certain time (YES in S30), the information processing apparatus 1 proceeds to step S14 for detecting an operation pattern. If there is no touch on the touchpad 10 within a predetermined time (NO in S30), the information processing apparatus 1 stores the displayed screen as a pending screen (S32), and turns off the activation flag (S36). End the operation. As a result, when the operation cannot be continued due to the driving situation or the like, the information processing apparatus 1 can temporarily stop the operation and resume the operation from the pending screen instead of the main menu when the activation process is performed next time.

選択された項目に続く次の画面がないと判定された場合には(S26でNO)、画面制御部20は、選択された項目に対応する車両搭載機器30に対して制御指示を出す(S34)。そして、車両搭載機器30への制御指示を出した後、起動フラグをオフして(S36)、情報処理装置1の動作が終了する。なお、図5に示す例では、車両搭載機器30への制御指示をした後、起動フラグをオフして情報処理装置1の動作を終了する例を説明したが、車両搭載機器30への制御指示の後、初期画面に遷移し、続けて別の処理を行う構成としてもよい。   If it is determined that there is no next screen following the selected item (NO in S26), the screen control unit 20 issues a control instruction to the vehicle-mounted device 30 corresponding to the selected item (S34). ). Then, after issuing a control instruction to the vehicle-mounted device 30, the activation flag is turned off (S36), and the operation of the information processing apparatus 1 is completed. In the example illustrated in FIG. 5, the example in which the operation instruction of the information processing apparatus 1 is ended by turning off the activation flag after giving the control instruction to the vehicle-mounted device 30 has been described. Thereafter, the screen may be changed to the initial screen and another process may be performed subsequently.

図7および図8は、情報処理装置1が上記したフローに従って動作するときに検知されるパターンと画面制御の例を記載した図である。情報処理装置1は、タッチの検知に続いて、2回半往復の移動経路を検知すると、起動処理パターンが入力されたと判定し、操作パターンに合致したことを示す報知音を出力すると共に、初期画面としてメインメニュー50を表示する。メインメニュー50には、オーディオ、ナビゲーション、エアコンの3つの選択項目があり、この中からドライバが所望の項目を選択する。   7 and 8 are diagrams describing examples of patterns detected when the information processing apparatus 1 operates according to the above-described flow and screen control. When the information processing apparatus 1 detects a two-and-a-half-way reciprocation path following the detection of the touch, the information processing apparatus 1 determines that the activation process pattern has been input, and outputs a notification sound indicating that the operation pattern has been matched. The main menu 50 is displayed as a screen. The main menu 50 has three selection items, audio, navigation, and air conditioner, from which the driver selects a desired item.

メインメニュー50が表示された状態で、入力位置の移動経路が円を描くと、「選択」の操作パターンに合致すると判定され、操作パターンに合致したことを示す報知音を出力すると共に、選択項目を指示する三角形のマーク52が各選択項目を順次指示する処理を開始する。画面制御部20は、「選択」の操作パターンを検知した後、引き続き、円を描く移動経路を検出すると、その回転速度に応じて速さで選択項目の指示位置を順次変えていく。   When the movement path of the input position draws a circle with the main menu 50 displayed, it is determined that the input pattern matches the “select” operation pattern, and a notification sound indicating that it matches the operation pattern is output, and the selection item The process of instructing each selection item in turn is started by the triangular mark 52 instructing. When the screen control unit 20 detects a movement path for drawing a circle after detecting the “select” operation pattern, the screen control unit 20 sequentially changes the indication position of the selection item at a speed according to the rotation speed.

「選択」の処理が行われた後に、タッチパッド10から指が離れると、「確定」に対応する操作パターンに合致すると判定され、操作パターンに合致したことを示す報知音を出力すると共に、そのときに指示された選択項目、ここでは「ナビゲーション」の選択を確定する。画面制御部20は、選択された「ナビゲーション」のメニュー選択画面54を表示する。   When the finger is removed from the touch pad 10 after the “select” process is performed, it is determined that the operation pattern corresponding to “confirm” is matched, and a notification sound indicating that the operation pattern is matched is output, and Confirm the selection of the selected item, sometimes “Navigation”. The screen control unit 20 displays a menu selection screen 54 for the selected “navigation”.

図8を参照して説明を続ける。「ナビゲーション」のメニュー選択画面54が表示された状態で一定時間内に再度タッチがなされ、入力位置の移動経路が円を描くと、「選択」の操作パターンに合致すると判定され、操作パターンに合致したことを示す報知音を出力すると共に、選択項目を指示する三角形のマーク52が各選択項目を順次指示する処理を開始する。   The description will be continued with reference to FIG. When the “navigation” menu selection screen 54 is displayed and the touch is made again within a certain period of time, and the movement path of the input position draws a circle, it is determined that the operation pattern of “selection” is met, and the operation pattern is matched. A notification sound indicating that the selection has been made is output, and a triangular mark 52 indicating a selection item starts a process of sequentially specifying each selection item.

そして、「選択」の処理が行われた後に、タッチパッド10から指が離れると、「確定」に対応する操作パターンに合致すると判定され、操作パターンに合致したことを示す報知音を出力すると共に、そのときに指示された選択項目、ここでは「地図表示」の選択を確定する。画面制御部20は、「地図表示」の選択に応じて、ナビゲーション装置32のモニタ18に車両周辺の地図46を表示する。なお、ナビゲーション装置32と情報処理装置1のモニタ18が共通である場合には、メーター部に設けられたモニタ18に地図46を表示してもよい。本実施の形態では、タッチパッド10上で指を移動させることにより、表示された地図を移動することができる。
以上、実施の形態の情報処理装置1について説明した。
When the finger is removed from the touch pad 10 after the “select” process is performed, it is determined that the operation pattern corresponding to “confirm” is matched, and a notification sound indicating that the operation pattern is matched is output. The selection item instructed at that time, here, the selection of “map display” is confirmed. The screen control unit 20 displays a map 46 around the vehicle on the monitor 18 of the navigation device 32 in response to the selection of “map display”. When the navigation device 32 and the monitor 18 of the information processing device 1 are common, the map 46 may be displayed on the monitor 18 provided in the meter unit. In the present embodiment, the displayed map can be moved by moving a finger on the touch pad 10.
The information processing apparatus 1 according to the embodiment has been described above.

本実施の形態の情報処理装置1は、タッチパッド10に入力した位置の移動経路が所定の操作パターンに合致すると判定されたときに、操作パターンに対応する画面制御ないし車両搭載機器30への指示を行うので、ドライバはタッチパッド10やモニタ18を注視していなくても容易に操作を行うことができる。   When it is determined that the movement path of the position input to the touch pad 10 matches the predetermined operation pattern, the information processing apparatus 1 according to the present embodiment performs screen control corresponding to the operation pattern or instructions to the vehicle-mounted device 30. Therefore, the driver can easily perform the operation without gazing at the touch pad 10 or the monitor 18.

本実施の形態の情報処理装置1では、タッチパッド10にタッチし、所定の移動経路を形成するように指を動かし、指を離して確定するというシンプルかつスムースな動きで操作を行うことができる。   In the information processing apparatus 1 according to the present embodiment, the touch pad 10 is touched, the finger is moved so as to form a predetermined movement path, and the operation can be performed with a simple and smooth movement in which the finger is released and confirmed. .

本実施の形態の情報処理装置1では、途中で操作が中断した場合には、そのときに表示中の画面をペンディング画面として記憶し、次回起動時にペンディング画面を表示するので、運転状況等に応じて操作を中断せざるを得ない場合に、途中から操作を行うことができる。   In the information processing apparatus 1 according to the present embodiment, when an operation is interrupted in the middle, the currently displayed screen is stored as a pending screen, and the pending screen is displayed at the next start-up. If the operation has to be interrupted, the operation can be performed halfway.

以上、本発明の情報処理装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。   The information processing apparatus of the present invention has been described in detail with reference to the embodiment, but the present invention is not limited to the above-described embodiment.

上記した実施の形態で挙げた操作パターンは一例であり、上記した以外の操作パターンも考えられる。実施の形態では、タッチパッド10から指を離す操作を「確定」の操作パターンとする例を挙げたが、例えば、タッチパッド10を所定の閾値以上の圧力で押す操作を「確定」の操作パターンとしてもよい。この場合、タッチパッド10から指を離さずに「確定」処理を行えるので、最初のタッチから最終の確定までの複数のアクションを、タッチパッド10に指を触れたままで行うことができる。   The operation patterns listed in the above-described embodiments are examples, and operation patterns other than those described above are also conceivable. In the embodiment, an example in which the operation of releasing the finger from the touch pad 10 is set as the “confirm” operation pattern. It is good. In this case, since the “confirmation” process can be performed without removing the finger from the touch pad 10, a plurality of actions from the first touch to the final confirmation can be performed with the finger touching the touch pad 10.

上記した実施の形態では、画像出力部として、モニタ18を用いる例について説明したが、モニタ18に代えてヘッドアップディスプレイを用いてもよい。フロントガラスに表示するというヘッドアップディスプレイの性質上、大量の情報を出力することは困難なので、画像出力部としてヘッドアップディスプレイを用いる場合には、例えば、アイコンや色によってメニューを表示することとしてもよい。これにより、文字情報を減らし、ドライバの視野を十分に確保すると共に、表示内容を直感的に理解できるようにすることができる。   In the above-described embodiment, an example in which the monitor 18 is used as the image output unit has been described. However, a head-up display may be used instead of the monitor 18. Since it is difficult to output a large amount of information due to the nature of the head-up display that is displayed on the windshield, when using a head-up display as an image output unit, for example, it is also possible to display a menu with icons and colors Good. As a result, the character information can be reduced, the driver's visual field can be sufficiently secured, and the display contents can be understood intuitively.

上記した実施の形態では、入力のデバイスとしてタッチパッド10を例としたが、本発明はタッチパッド10以外の入力デバイスも適用可能である。例えば、十字ボタンやジョイスティックを用いることも可能である。   In the above-described embodiment, the touch pad 10 is taken as an example of an input device, but the present invention is also applicable to input devices other than the touch pad 10. For example, it is possible to use a cross button or a joystick.

本発明によれば、入力位置の移動経路によって規定した操作パターンに基づいて画面制御を行うので、操作部や画面を注視しなくても操作を行うことができるという効果を有し、例えば、車両に搭載される情報処理装置等として有用である。   According to the present invention, since the screen control is performed based on the operation pattern defined by the movement path of the input position, the operation can be performed without gazing at the operation unit or the screen. It is useful as an information processing device mounted on

実施の形態の情報処理装置の構成を示す図である。It is a figure which shows the structure of the information processing apparatus of embodiment. 情報処理装置の設置状態を示す図である。It is a figure which shows the installation state of information processing apparatus. 操作パターンDBに記憶されたデータの例を示す図である。It is a figure which shows the example of the data memorize | stored in operation pattern DB. (a)入力位置履歴記憶部に記憶されたデータの例を示す図である。(b)入力位置履歴記憶部に記憶されたデータの例を示す図である。(A) It is a figure which shows the example of the data memorize | stored in the input position log | history memory | storage part. (B) It is a figure which shows the example of the data memorize | stored in the input position log | history memory | storage part. 実施の形態の情報処理装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the information processing apparatus of embodiment. 実施の形態の情報処理装置の起動処理を示すフローチャートである。It is a flowchart which shows the starting process of the information processing apparatus of embodiment. 情報処理装置の画面遷移を操作パターンと対比して示す図である。It is a figure which shows the screen transition of information processing apparatus as contrasted with the operation pattern. 情報処理装置の画面遷移を操作パターンと対比して示す図である。It is a figure which shows the screen transition of information processing apparatus as contrasted with the operation pattern.

符号の説明Explanation of symbols

1 情報処理装置
10 タッチパッド
12 操作内容解析部
14 入力信号受信部
16 操作パターン判定部
18 モニタ
20 画面制御部
22 スピーカ
24 報知音制御部
26 入力位置履歴記憶部
28 操作パターンDB
30 車両搭載機器
32 ナビゲーション装置
34 エアコン
36 オーディオ
38 電話
40 ステアリング
42 メーター取付部
50 メインメニュー
52 マーク
54 メニュー選択画面
DESCRIPTION OF SYMBOLS 1 Information processing apparatus 10 Touchpad 12 Operation content analysis part 14 Input signal receiving part 16 Operation pattern determination part 18 Monitor 20 Screen control part 22 Speaker 24 Notification sound control part 26 Input position history storage part 28 Operation pattern DB
30 Vehicle-mounted equipment 32 Navigation device 34 Air conditioner 36 Audio 38 Telephone 40 Steering 42 Meter mounting part 50 Main menu 52 Mark 54 Menu selection screen

Claims (15)

移動体に搭載される情報処理装置であって、
画像出力部と、
ユーザから位置情報の入力を連続的に受け付ける操作部と、
入力位置の移動経路によって規定した操作パターンとその操作パターンに対応する処理とを記憶した操作パターン記憶部と、
前記操作部にて受け付けた入力位置の移動経路が前記操作パターン記憶部に記憶された操作パターンと合致するか判定する操作パターン判定部と、
入力位置の移動経路が前記操作パターンに合致すると判定されたときに、その操作パターンに対応する処理に従って前記画像出力部の画面制御を行う画面制御部と、
を備える情報処理装置。
An information processing apparatus mounted on a moving body,
An image output unit;
An operation unit for continuously receiving position information input from a user;
An operation pattern storage unit that stores an operation pattern defined by the movement path of the input position and a process corresponding to the operation pattern;
An operation pattern determination unit that determines whether or not the movement path of the input position received by the operation unit matches the operation pattern stored in the operation pattern storage unit;
A screen control unit that performs screen control of the image output unit according to a process corresponding to the operation pattern when it is determined that the movement path of the input position matches the operation pattern;
An information processing apparatus comprising:
入力位置の移動経路が前記操作パターンに合致したことを報知する報知音を出力する報知音出力部を備える請求項1に記載の情報処理装置。   The information processing apparatus according to claim 1, further comprising: a notification sound output unit that outputs a notification sound that notifies that the movement path of the input position matches the operation pattern. 前記報知音出力部は、入力位置の移動経路と合致した操作パターンの種類に応じて異なる報知音を出力する請求項2に記載の情報処理装置。   The information processing apparatus according to claim 2, wherein the notification sound output unit outputs a different notification sound according to a type of an operation pattern that matches a movement route of the input position. 入力位置の移動経路が起動処理に対応する操作パターンに合致したと判定された場合、前記画面制御部は、複数の選択項目を有する画面を表示する制御を行う請求項1〜3のいずれかに記載の情報処理装置。   The screen control unit performs control to display a screen having a plurality of selection items when it is determined that the movement path of the input position matches the operation pattern corresponding to the activation process. The information processing apparatus described. 入力位置の移動経路が選択処理に対応する操作パターンに合致したと判定された場合、前記画面制御部は、前記画面に表示された選択項目を順次指示する制御を行う請求項4に記載の情報処理装置。   5. The information according to claim 4, wherein when it is determined that the movement path of the input position matches an operation pattern corresponding to the selection process, the screen control unit performs control for sequentially instructing selection items displayed on the screen. Processing equipment. いずれかの選択項目が指示された状態で入力位置の移動経路が確定処理に対応する操作パターンに合致したと判定された場合、前記画面制御部は、指示された選択項目の選択を確定し、その選択項目に対応する制御を行う請求項5に記載の情報処理装置。   When it is determined that the movement path of the input position matches the operation pattern corresponding to the confirmation process in a state where any of the selection items is instructed, the screen control unit confirms the selection of the instructed selection item, The information processing apparatus according to claim 5, wherein control corresponding to the selected item is performed. 入力位置の移動経路が前記確定処理に対応する操作パターンに合致したと判定された場合、選択項目を順次指示する際に入力された入力位置の移動経路の情報を用いて前記選択処理に対応する操作パターンを更新する請求項6に記載の情報処理装置。   When it is determined that the movement path of the input position matches the operation pattern corresponding to the confirmation process, the information on the movement path of the input position input when sequentially instructing selection items is used for the selection process. The information processing apparatus according to claim 6, wherein the operation pattern is updated. 前記操作部はタッチパッドであり、
前記操作パターン記憶部は、確定処理に対応する操作パターンとして、タッチパッドから指が離れる操作を記憶している請求項6または7に記載の情報処理装置。
The operation unit is a touch pad,
The information processing apparatus according to claim 6, wherein the operation pattern storage unit stores an operation of releasing a finger from the touch pad as an operation pattern corresponding to the confirmation process.
前記操作部はタッチパッドであり、
前記操作パターン記憶部は、確定処理に対応する操作パターンとして、タッチパッドを所定の閾値以上の圧力で押す操作を記憶している請求項6または7に記載の情報処理装置。
The operation unit is a touch pad,
The information processing apparatus according to claim 6, wherein the operation pattern storage unit stores an operation of pressing the touch pad with a pressure equal to or higher than a predetermined threshold as an operation pattern corresponding to the confirmation process.
入力位置の移動経路がキャンセル処理に対応する操作パターンに合致したと判定された場合、前記画面制御部は前記画面の表示をクリアする制御を行う請求項1〜9のいずれかに記載の情報処理装置。   The information processing according to any one of claims 1 to 9, wherein when it is determined that the movement path of the input position matches an operation pattern corresponding to a cancellation process, the screen control unit performs control to clear the display of the screen. apparatus. 所定時間にわたって入力位置の移動経路と前記操作パターンとの合致を検知しなかった場合、前記画面制御部は表示中の画面をペンディング画面として記憶すると共に、前記画面の表示をクリアし、次回の起動処理時に前記ペンディング画面を表示する請求項1〜10のいずれかに記載の情報処理装置。   If no match between the movement path of the input position and the operation pattern is detected for a predetermined time, the screen control unit stores the displayed screen as a pending screen, clears the display of the screen, and activates next time. The information processing apparatus according to claim 1, wherein the information processing apparatus displays the pending screen during processing. 前記操作部は、ユーザが移動体のステアリングを掌握した状態で操作可能な位置に設けられる請求項1〜11のいずれかに記載の情報処理装置。   The information processing apparatus according to any one of claims 1 to 11, wherein the operation unit is provided at a position where the user can operate in a state in which the user grasps the steering of the moving body. 前記操作部から入力された位置情報を記憶する入力位置履歴記憶部を備え、
前記操作パターン判定部は、前記入力位置履歴記憶部から所定期間における位置情報を読み出して当該所定期間における移動経路を形成し、前記移動経路と前記操作パターン記憶部に記憶された操作パターンとを比較する処理を順次行う請求項1〜12のいずれかに記載の情報処理装置。
An input position history storage unit for storing position information input from the operation unit;
The operation pattern determination unit reads position information in a predetermined period from the input position history storage unit, forms a movement route in the predetermined period, and compares the movement route with an operation pattern stored in the operation pattern storage unit The information processing apparatus according to claim 1, wherein the processing is sequentially performed.
移動体に搭載される情報処理装置の情報処理方法であって、
入力位置の移動経路によって規定した操作パターンとその操作パターンに対応する処理とを記憶した操作パターン記憶部を準備するステップと、
操作部によりユーザから位置情報の入力を連続的に受け付けるステップと、
前記操作部にて受け付けた入力位置の移動経路が前記操作パターン記憶部に記憶された操作パターンと合致するか判定するステップと、
入力位置の移動経路が前記操作パターンに合致すると判定されたときに、その操作パターンに対応する処理に従って画面制御を行うステップと、
を備える情報処理方法。
An information processing method for an information processing apparatus mounted on a mobile body,
Preparing an operation pattern storage unit storing an operation pattern defined by the movement path of the input position and a process corresponding to the operation pattern;
Continuously receiving input of position information from the user by the operation unit;
Determining whether the movement path of the input position received by the operation unit matches the operation pattern stored in the operation pattern storage unit;
Performing a screen control according to a process corresponding to the operation pattern when it is determined that the movement path of the input position matches the operation pattern;
An information processing method comprising:
移動体に搭載される情報処理装置の画面制御を行うためのプログラムであって、コンピュータに、
操作部によりユーザから位置情報の入力を連続的に受け付けるステップと、
前記操作部にて受け付けた入力位置の移動経路が、入力位置の移動経路によって規定した操作パターンとその操作パターンに対応する処理とを記憶した操作パターン記憶部に記憶された前記操作パターンと合致するか判定するステップと、
入力位置の移動経路が前記操作パターンに合致すると判定されたときに、その操作パターンに対応する処理に従って画面制御を行うステップと、
を実行させるプログラム。
A program for controlling the screen of an information processing device mounted on a mobile object,
Continuously receiving input of position information from the user by the operation unit;
The movement path of the input position received by the operation unit matches the operation pattern stored in the operation pattern storage unit that stores the operation pattern defined by the movement path of the input position and the process corresponding to the operation pattern. Determining whether or not
Performing a screen control according to a process corresponding to the operation pattern when it is determined that the movement path of the input position matches the operation pattern;
A program that executes
JP2007303129A 2007-11-22 2007-11-22 Information processor loaded in mobile body Pending JP2009129171A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007303129A JP2009129171A (en) 2007-11-22 2007-11-22 Information processor loaded in mobile body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007303129A JP2009129171A (en) 2007-11-22 2007-11-22 Information processor loaded in mobile body

Publications (1)

Publication Number Publication Date
JP2009129171A true JP2009129171A (en) 2009-06-11

Family

ID=40820023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007303129A Pending JP2009129171A (en) 2007-11-22 2007-11-22 Information processor loaded in mobile body

Country Status (1)

Country Link
JP (1) JP2009129171A (en)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010287223A (en) * 2009-06-12 2010-12-24 Honda Motor Co Ltd Vehicle commander control switch, system with the switch and method of using the switch
JP5044058B1 (en) * 2011-04-07 2012-10-10 パイオニア株式会社 Lighting equipment for moving objects
JP2013020300A (en) * 2011-07-07 2013-01-31 Konami Digital Entertainment Co Ltd Information processor, information processor control method, and program
WO2013128819A1 (en) * 2012-02-29 2013-09-06 株式会社デンソー Operation position detection device and vehicle-mounted apparatus
WO2013153750A1 (en) * 2012-04-10 2013-10-17 株式会社デンソー Display system, display device, and operation device
WO2014112397A1 (en) 2013-01-21 2014-07-24 Toyota Jidosha Kabushiki Kaisha User interface apparatus and input acquiring method
JP2014532949A (en) * 2011-11-08 2014-12-08 マイクロソフト コーポレーション Indirect user interface interaction
JP2016168958A (en) * 2015-03-13 2016-09-23 矢崎総業株式会社 Operation system for vehicle
JP2017182343A (en) * 2016-03-29 2017-10-05 ブラザー工業株式会社 Program and information processing apparatus
JP2017199394A (en) * 2012-12-29 2017-11-02 アップル インコーポレイテッド Device, method, and graphical user interface for transitioning between touch input-to-display output relationships
US10162452B2 (en) 2015-08-10 2018-12-25 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US10168826B2 (en) 2012-05-09 2019-01-01 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
US10175879B2 (en) 2012-12-29 2019-01-08 Apple Inc. Device, method, and graphical user interface for zooming a user interface while performing a drag operation
US10175757B2 (en) 2012-05-09 2019-01-08 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for touch-based operations performed and reversed in a user interface
US10175864B2 (en) 2012-05-09 2019-01-08 Apple Inc. Device, method, and graphical user interface for selecting object within a group of objects in accordance with contact intensity
US10180772B2 (en) 2015-03-08 2019-01-15 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10191627B2 (en) 2012-05-09 2019-01-29 Apple Inc. Device, method, and graphical user interface for manipulating framed graphical objects
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10203868B2 (en) 2015-08-10 2019-02-12 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10222980B2 (en) 2015-03-19 2019-03-05 Apple Inc. Touch input cursor manipulation
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10275087B1 (en) 2011-08-05 2019-04-30 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10303354B2 (en) 2015-06-07 2019-05-28 Apple Inc. Devices and methods for navigating between user interfaces
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10387029B2 (en) 2015-03-08 2019-08-20 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10402073B2 (en) 2015-03-08 2019-09-03 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10437333B2 (en) 2012-12-29 2019-10-08 Apple Inc. Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
US10496260B2 (en) 2012-05-09 2019-12-03 Apple Inc. Device, method, and graphical user interface for pressure-based alteration of controls in a user interface
US10613634B2 (en) 2015-03-08 2020-04-07 Apple Inc. Devices and methods for controlling media presentation
US10620781B2 (en) 2012-12-29 2020-04-14 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
US10775994B2 (en) 2012-05-09 2020-09-15 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
US10775999B2 (en) 2012-05-09 2020-09-15 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US10782871B2 (en) 2012-05-09 2020-09-22 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US10908808B2 (en) 2012-05-09 2021-02-02 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
US10969945B2 (en) 2012-05-09 2021-04-06 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
US11023116B2 (en) 2012-05-09 2021-06-01 Apple Inc. Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
US11231831B2 (en) 2015-06-07 2022-01-25 Apple Inc. Devices and methods for content preview based on touch input intensity
US11240424B2 (en) 2015-06-07 2022-02-01 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
EP4064567A1 (en) * 2021-03-26 2022-09-28 Toyota Jidosha Kabushiki Kaisha Operation input device, operation input method, and operation input program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0950235A (en) * 1995-08-10 1997-02-18 Zanavy Informatics:Kk On-vehicle information device
JPH11203045A (en) * 1998-01-14 1999-07-30 Matsushita Electric Ind Co Ltd Portable terminal having touch panel
JP2003323258A (en) * 2002-04-30 2003-11-14 Kenwood Corp Operation command processing program and navigation system
JP2004262437A (en) * 2003-02-14 2004-09-24 Matsushita Electric Ind Co Ltd Input device for vehicle
JP2007145106A (en) * 2005-11-25 2007-06-14 Xanavi Informatics Corp On-vehicle information terminal

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0950235A (en) * 1995-08-10 1997-02-18 Zanavy Informatics:Kk On-vehicle information device
JPH11203045A (en) * 1998-01-14 1999-07-30 Matsushita Electric Ind Co Ltd Portable terminal having touch panel
JP2003323258A (en) * 2002-04-30 2003-11-14 Kenwood Corp Operation command processing program and navigation system
JP2004262437A (en) * 2003-02-14 2004-09-24 Matsushita Electric Ind Co Ltd Input device for vehicle
JP2007145106A (en) * 2005-11-25 2007-06-14 Xanavi Informatics Corp On-vehicle information terminal

Cited By (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010287223A (en) * 2009-06-12 2010-12-24 Honda Motor Co Ltd Vehicle commander control switch, system with the switch and method of using the switch
JP5044058B1 (en) * 2011-04-07 2012-10-10 パイオニア株式会社 Lighting equipment for moving objects
WO2012137334A1 (en) * 2011-04-07 2012-10-11 パイオニア株式会社 Vehicle lighting apparatus
JP2013020300A (en) * 2011-07-07 2013-01-31 Konami Digital Entertainment Co Ltd Information processor, information processor control method, and program
US10338736B1 (en) 2011-08-05 2019-07-02 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10275087B1 (en) 2011-08-05 2019-04-30 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10540039B1 (en) 2011-08-05 2020-01-21 P4tents1, LLC Devices and methods for navigating between user interface
US10386960B1 (en) 2011-08-05 2019-08-20 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10365758B1 (en) 2011-08-05 2019-07-30 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10664097B1 (en) 2011-08-05 2020-05-26 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10345961B1 (en) 2011-08-05 2019-07-09 P4tents1, LLC Devices and methods for navigating between user interfaces
US10656752B1 (en) 2011-08-05 2020-05-19 P4tents1, LLC Gesture-equipped touch screen system, method, and computer program product
US10649571B1 (en) 2011-08-05 2020-05-12 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
JP2014532949A (en) * 2011-11-08 2014-12-08 マイクロソフト コーポレーション Indirect user interface interaction
US9594504B2 (en) 2011-11-08 2017-03-14 Microsoft Technology Licensing, Llc User interface indirect interaction
US9909852B2 (en) 2012-02-29 2018-03-06 Denso Corporation Operation position detection apparatus and vehicular apparatus
WO2013128819A1 (en) * 2012-02-29 2013-09-06 株式会社デンソー Operation position detection device and vehicle-mounted apparatus
WO2013153750A1 (en) * 2012-04-10 2013-10-17 株式会社デンソー Display system, display device, and operation device
US9996242B2 (en) 2012-04-10 2018-06-12 Denso Corporation Composite gesture for switching active regions
JP2013218570A (en) * 2012-04-10 2013-10-24 Denso Corp Display system, display device, and manipulation device
US10996788B2 (en) 2012-05-09 2021-05-04 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
US10481690B2 (en) 2012-05-09 2019-11-19 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for media adjustment operations performed in a user interface
US11947724B2 (en) 2012-05-09 2024-04-02 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US10191627B2 (en) 2012-05-09 2019-01-29 Apple Inc. Device, method, and graphical user interface for manipulating framed graphical objects
US11354033B2 (en) 2012-05-09 2022-06-07 Apple Inc. Device, method, and graphical user interface for managing icons in a user interface region
US11314407B2 (en) 2012-05-09 2022-04-26 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US11221675B2 (en) 2012-05-09 2022-01-11 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US11068153B2 (en) 2012-05-09 2021-07-20 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US11023116B2 (en) 2012-05-09 2021-06-01 Apple Inc. Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
US11010027B2 (en) 2012-05-09 2021-05-18 Apple Inc. Device, method, and graphical user interface for manipulating framed graphical objects
US10969945B2 (en) 2012-05-09 2021-04-06 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
US10942570B2 (en) 2012-05-09 2021-03-09 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US10175864B2 (en) 2012-05-09 2019-01-08 Apple Inc. Device, method, and graphical user interface for selecting object within a group of objects in accordance with contact intensity
US10908808B2 (en) 2012-05-09 2021-02-02 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
US10884591B2 (en) 2012-05-09 2021-01-05 Apple Inc. Device, method, and graphical user interface for selecting object within a group of objects
US10175757B2 (en) 2012-05-09 2019-01-08 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for touch-based operations performed and reversed in a user interface
US10782871B2 (en) 2012-05-09 2020-09-22 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US10775999B2 (en) 2012-05-09 2020-09-15 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US10168826B2 (en) 2012-05-09 2019-01-01 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
US10775994B2 (en) 2012-05-09 2020-09-15 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
US10592041B2 (en) 2012-05-09 2020-03-17 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
US10496260B2 (en) 2012-05-09 2019-12-03 Apple Inc. Device, method, and graphical user interface for pressure-based alteration of controls in a user interface
US10175879B2 (en) 2012-12-29 2019-01-08 Apple Inc. Device, method, and graphical user interface for zooming a user interface while performing a drag operation
US10620781B2 (en) 2012-12-29 2020-04-14 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
US10185491B2 (en) 2012-12-29 2019-01-22 Apple Inc. Device, method, and graphical user interface for determining whether to scroll or enlarge content
US10915243B2 (en) 2012-12-29 2021-02-09 Apple Inc. Device, method, and graphical user interface for adjusting content selection
JP2017199394A (en) * 2012-12-29 2017-11-02 アップル インコーポレイテッド Device, method, and graphical user interface for transitioning between touch input-to-display output relationships
US10437333B2 (en) 2012-12-29 2019-10-08 Apple Inc. Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
WO2014112397A1 (en) 2013-01-21 2014-07-24 Toyota Jidosha Kabushiki Kaisha User interface apparatus and input acquiring method
US9770986B2 (en) 2013-01-21 2017-09-26 Toyota Jidosha Kabushiki Kaisha User interface apparatus and input acquiring method
DE112014000496B4 (en) 2013-01-21 2022-09-29 Toyota Jidosha Kabushiki Kaisha User interface device, input capture method and vehicle input device
US10387029B2 (en) 2015-03-08 2019-08-20 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US11977726B2 (en) 2015-03-08 2024-05-07 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10268342B2 (en) 2015-03-08 2019-04-23 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10268341B2 (en) 2015-03-08 2019-04-23 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10338772B2 (en) 2015-03-08 2019-07-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US11112957B2 (en) 2015-03-08 2021-09-07 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10860177B2 (en) 2015-03-08 2020-12-08 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10402073B2 (en) 2015-03-08 2019-09-03 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10180772B2 (en) 2015-03-08 2019-01-15 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10613634B2 (en) 2015-03-08 2020-04-07 Apple Inc. Devices and methods for controlling media presentation
JP2016168958A (en) * 2015-03-13 2016-09-23 矢崎総業株式会社 Operation system for vehicle
US11054990B2 (en) 2015-03-19 2021-07-06 Apple Inc. Touch input cursor manipulation
US10222980B2 (en) 2015-03-19 2019-03-05 Apple Inc. Touch input cursor manipulation
US11550471B2 (en) 2015-03-19 2023-01-10 Apple Inc. Touch input cursor manipulation
US10599331B2 (en) 2015-03-19 2020-03-24 Apple Inc. Touch input cursor manipulation
US11240424B2 (en) 2015-06-07 2022-02-01 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US11231831B2 (en) 2015-06-07 2022-01-25 Apple Inc. Devices and methods for content preview based on touch input intensity
US10455146B2 (en) 2015-06-07 2019-10-22 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US11835985B2 (en) 2015-06-07 2023-12-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10841484B2 (en) 2015-06-07 2020-11-17 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US11681429B2 (en) 2015-06-07 2023-06-20 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10303354B2 (en) 2015-06-07 2019-05-28 Apple Inc. Devices and methods for navigating between user interfaces
US10705718B2 (en) 2015-06-07 2020-07-07 Apple Inc. Devices and methods for navigating between user interfaces
US10698598B2 (en) 2015-08-10 2020-06-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US11182017B2 (en) 2015-08-10 2021-11-23 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US10754542B2 (en) 2015-08-10 2020-08-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10203868B2 (en) 2015-08-10 2019-02-12 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US11327648B2 (en) 2015-08-10 2022-05-10 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10963158B2 (en) 2015-08-10 2021-03-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10162452B2 (en) 2015-08-10 2018-12-25 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US10209884B2 (en) 2015-08-10 2019-02-19 Apple Inc. Devices, Methods, and Graphical User Interfaces for Manipulating User Interface Objects with Visual and/or Haptic Feedback
US11740785B2 (en) 2015-08-10 2023-08-29 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10884608B2 (en) 2015-08-10 2021-01-05 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
JP2017182343A (en) * 2016-03-29 2017-10-05 ブラザー工業株式会社 Program and information processing apparatus
US11928288B2 (en) 2021-03-26 2024-03-12 Toyota Jidosha Kabushiki Kaisha Operation input device, operation input method, and non-transitory computer-readable medium storing operation input program
EP4064567A1 (en) * 2021-03-26 2022-09-28 Toyota Jidosha Kabushiki Kaisha Operation input device, operation input method, and operation input program

Similar Documents

Publication Publication Date Title
JP2009129171A (en) Information processor loaded in mobile body
US10466800B2 (en) Vehicle information processing device
US10528150B2 (en) In-vehicle device
JP6282188B2 (en) Information processing device
JP5884742B2 (en) User interface device and input acquisition method
US20170075653A1 (en) Electronic device and method for controlling the electronic device
JP2011134053A (en) Head-mounted display
US20170329489A1 (en) Operation input apparatus, mobile terminal, and operation input method
JP5968573B2 (en) Gesture guidance device for moving body, gesture guidance system for moving body, and gesture guidance method for moving body
US20140281964A1 (en) Method and system for presenting guidance of gesture input on a touch pad
WO2018061603A1 (en) Gestural manipulation system, gestural manipulation method, and program
JP5023953B2 (en) In-vehicle display control device, in-vehicle display control method, and in-vehicle display control program
CN116279746A (en) Control method and device of vehicle-mounted system
JP2004362429A (en) Command input device using touch panel display
JP5875337B2 (en) Input device
JP6167932B2 (en) Input device and input acquisition method
JP2009301263A (en) Onboard display system
US20210001914A1 (en) Vehicle input device
JP2006103358A (en) Information display device for vehicle
JP4962387B2 (en) Pointer display / movement device and program for pointer display / movement device
WO2018173179A1 (en) Touch input determination device, touch panel input device, touch input determination method, and touch input determination program
US20230249552A1 (en) Control apparatus
JP2017045472A (en) System, program, and method capable of pointer operation on head-mounted display by touch-panel device
JP2018162023A (en) Operation device
JP2017027456A (en) Gesture operation system, method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111004

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120327